Com mais de 8 milhões de habitantes, a cidade de Nova York conta com sistemas de automação que cuidam desde calendário de vistorias prediais até o manejo vagas escolares. No entanto, há certas escolhas feitas pelos algoritmos que têm consequências mais graves. Pensando nisso, em 2018, a cidade criou uma força-tarefa exclusiva para revisar esses sistemas de decisão automatizados, a fim de diminuir a reprodução do chamado “viés de algoritmo”. 

Eficiência, rapidez e economia. Palavras que todo gestor quer ouvir. Utilizando componentes computadorizados, a administração municipal novaiorquina conta com a ajuda da inteligência artificial para influenciar (e até mesmo tomar) decisões nas mais diversas áreas. Essas automações atuam, por exemplo, no sistema que determina vagas em escolas, ou em critérios de julgamentos no sistema prisional e, ainda, quais prédios devem ser vistoriados e em que ordem pelo Corpo de Bombeiros.  

Os sistemas de automação são usados para melhorar a prestação de serviços de forma geral. No entanto, alguns exemplos mostram que o uso de algoritmos, quando não supervisionados por humanos qualificados, podem ter consequências prejudiciais não intencionais. A fim de combater tais incidentes, em 2018 foi criada a chamada Força-Tarefa de Sistemas de Decisão Automatizados. O objetivo da entidade é revisar “sistemas de decisão automatizados, comumente conhecidos como algoritmos, através das lentes de equidade, justiça e responsabilidade”. 

A ideia é que a força-tarefa monitore e avalie os impactos desses sistemas nas pessoas. Um site foi criado para explicar a caixa-preta por trás dos algoritmos aos habitantes da cidade, para que eles possam monitorar esses sistemas e denunciar qualquer incoerência ou desigualdade. O objetivo é que sejam observados o propósito de cada sistema e cinco aspectos: impacto, vieses, explicabilidade (o quão o sistema é transparente), automação (o sistema já decide ou orienta a decisão) e flexibilidade (como as pessoas podem dar feedback sobre o sistema e o quanto ele pode ser alterado). Em 2019, foi criado o cargo de Algorithms Management and Policy Officer para gerenciar o uso de algoritmos pela cidade.  

Como os algoritmos funcionam no Departamento de Educação?  

Todos os anos, aproximadamente 80 mil estudantes fazem a transição para o ensino médio. São mais de 400 escolas, com diferentes requisitos de elegibilidade e número de vagas. E quem orquestra isso tudo é um algoritmo do Departamento de Educação de Nova York. 

O processo funciona da seguinte maneira: os estudantes registram-se em um sistema online, classificando até 12 escolas em ordem de preferência. Simultaneamente a cada ano, as escolas enviam suas informações, como quantas vagas têm e quais os critérios que possuem para classificar ou priorizar os alunos que desejam se inscrever em sua escola. Por exemplo, algumas escolas chamadas “escolas selecionadas” podem dizer que dão prioridade aos alunos com a maior média da 8ª série. Algumas escolas chamadas de “escolas zoneadas” podem dizer que dão prioridade aos que moram em seus bairros.  

As primeiras escolhas dos estudantes são provisoriamente combinadas com as escolas que as desejam. Os que não conseguiram a primeira opção são pareados com a escolha seguinte. O processo para quando não há vagas disponíveis restantes nas escolas nas listas de preferências dos estudantes. Aqueles que não conseguiram vaga em nenhuma das 12 escolas podem reenviar uma lista de escolas que ainda têm vagas para uma segunda rodada do processo de correspondência.  

Infelizmente, cerca de 3.000 adolescentes não conseguem ser alocados nas suas escolhas após a primeira rodada e precisam passar por uma segunda rodada. Mas o cenário era muito pior sem os algoritmos. Antes, estes 3.000 não eram alocados em nenhuma escola.  

Entretanto, o algoritmo não questiona as prioridades de admissão escolar que prejudicam certos grupos ou mantêm as escolas segregadas. Além disso, escolas altamente disputadas e com muitos recursos não estão incluídas neste sistema. O que acarreta em um sistema educacional desigual. 

Quer saber mais sobre a força-tarefa novaiorquina? Acesse o site Automating NYC.