A lei exige que os empregadores que usam certos tipos de software para auxiliar nas decisões de contratação auditem anualmente essas ferramentas para evitar possíveis preconceitos de raça e gênero.

A lei, conhecida como NYC 144, exige que os empregadores que usam certos tipos de software para auxiliar nas decisões de contratação e promoção — incluindo ferramentas de entrevista por chatbot e scanners de currículos que procuram correspondências de palavras-chave —, auditem anualmente essas ferramentas para evitar possíveis preconceitos de raça e gênero, e então divulguem os resultados em seus websites.

Há uma preocupação pública crescente com o papel que os algoritmos desempenham em aspectos importantes da vida das pessoas, desde emprego e educação a seguros de vida e financiamentos imobiliários. Como é difícil, se não impossível, para a maioria das pessoas decifrar e entender os algoritmos, os legisladores se concentraram em exigir transparência, em vez de regular o próprio software.

Embora a NYC 144 tenha sido criada para erradicar indícios de possíveis discriminações nas decisões de emprego, “ela na verdade não é uma lei antidiscriminatória. É uma lei de transparência pública”, diz Erin Connell, que representa empregadores como advogada da Orrick, Herrington and Sufcliffe. Parlamentares e grupos industriais de todo o país estão observando a cidade de Nova York como um caso de teste para uma futura regulamentação tecnológica, acrescenta ela.

Sob a nova lei, os empregadores auditarão qualquer software que desempenhe um papel significativo em suas decisões de contratação e promoção e divulgarão as chamadas relações de impacto adverso, que mostram se um procedimento tem um impacto desigual sobre uma determinada raça ou gênero.

Os empregadores que contratarem moradores de Nova York terão de publicar as relações de impacto em seus websites, juntamente com um aviso de que estão usando as ferramentas, além de uma maneira para os candidatos a emprego solicitarem uma alternativa para não serem rastreados ou classificados pelo software. Os empregadores pagarão multas diárias de até US$ 1.500 pelo não cumprimento da lei.

“Existe uma suposição de que se um empregador vir as relações de impacto indicando algum viés, talvez ele faça algo a respeito”, diz Victoria Lipnic, uma ex-comissária da Comissão Federal de Oportunidades Iguais de Emprego e hoje sócia da consultoria Resolution Economics, especializada em trabalho. “Essa é uma suposição bem grande, mas é um primeiro passo.”

Reduzir ou remover o viés das ferramentas automatizadas é possível porque os desenvolvedores têm mais meios agora de pré-testar seus softwares e programá-los com mais precisão, diz Frida Polli, fundadora da plataforma de software de recrutamento Pymetrics, hoje controlada pela Harver. Ela aconselhou o Conselho da Cidade de Nova York na elaboração da lei e apoia uma melhor regulamentação dos algoritmos.

“Isso requer mais esforço e força você a se modernizar”, diz Polli. “Mas não faz sentido continuar usando coisas que têm impactos díspares.”

Sob a lei, os trabalhadores e candidatos a emprego não podem processar as companhias com base apenas nas relações de impacto, mas eles podem usar a informação como possível evidência em casos de discriminação impetrados sob os estatutos locais e federais. Uma relação – o número entre 0 e 1 – que estiver mais perto de 1 indica pouco ou nenhum viés, enquanto que uma relação de 0,3 mostra, por exemplo, que três candidatos do sexo feminino estão passando por um processo de triagem para cada 10 candidatos do sexo masculino que passam.

Uma relação baixa não significa automaticamente que um empregador está discriminando candidatos, explica Lipnic. Segundo uma lei antiga, o impacto díspar pode ser legal se uma empresa conseguir mostrar que seus critérios de contratação estão relacionados às vagas em questão e consistentes com a necessidade do negócio.

Por exemplo, negros e hispânicos apresentam taxas de formação universitária menores do que os brancos e os asiáticos-americanos, e se um empregador conseguir mostrar que um diploma universitário é necessário para um cargo e, portanto, seu sistema exclui uma parcela maior de candidatos hispânicos porque um número menor desses candidatos têm diplomas, o empregador pode defender seu processo.

Os empregadores começaram a depender bastante de softwares para o recrutamento nas últimas duas décadas, com a tecnologia se tornando mais sofisticada e os formulários de emprego on-line se tornando a norma para quem procura emprego. Inundados por currículos e inscrições – especialmente depois do salto do desemprego que se seguiu à crise financeira de 2008-2009 -, os empregadores investiram em tecnologia para ajudá-los a fazer a triagem e selecionar candidatos de maneira rápida.

Os candidatos a emprego há muito não gostam dessas ferramentas, que às vezes excluem pessoas por lacunas em seus currículos ou por elas não incluírem palavras-chave relacionadas a requisitos de trabalho imprecisos. Um estudo feito em 2021 pelo professor da Harvard Business School Joseph Fuller constatou que os softwares de decisão automatizada excluem mais de 10 milhões de trabalhadores das discussões de contratação.

Os legisladores também estão cada vez mais preocupados com o potencial de viés embutido nos softwares. Leis regulando as ferramentas ou exigindo transparência foram propostas em várias cidades e estados, como a capital Washington, a Califórnia e Connecticut. Além disso, a Casa Branca estabeleceu um “Plano para uma Declaração de Direitos de IA”. As preocupações aumentaram nos últimos meses em razão do lançamento de novas e poderosas ferramentas de IA generativa como o ChatGPT.

A discriminação algorítmica foi documentada em vários casos. Em um deles, amplamente citado como exemplo, há quase uma década a Amazon desenvolveu um algoritmo de recrutamento que analisava 10 anos de solicitações de emprego de engenheiros de softwares e então procurava candidatos cujos históricos se assemelhavam aos de seus engenheiros. Mas como a maioria dos candidatos ao longo daqueles anos eram homens, o algoritmo rapidamente rebaixava os candidatos do sexo feminino que usavam certos termos em seus currículos ou haviam se formado por algumas faculdades femininas.

A Amazon parou de usar o programa após perceber o que estava acontecendo. “Esse projeto só foi explorado em caráter experimental e sempre foi usado sob supervisão humana”, diz um porta-voz da Amazon.

A lei NYC 144 foi aprovada pelo Conselho da Cidade de Nova York em 2021 e foi adiada por quase dois anos enquanto o conselho avaliava os comentários públicos, incluindo a oposição de muitos empregadores e vendedores de tecnologia. A BSA, uma organização que representa grandes empresas de software como Microsoft, Workday e Oracle, fez pressão pela redução dos requisitos de prestação de contas e restringir a extensão de quais tipos de usos estariam sujeitos a uma auditoria.

Algumas das mudanças solicitadas pela organização foram feitas, mas o grupo ainda se opõe a elementos da forma atual da lei e pretende trabalhar com formuladores de políticas dos EUA e do mundo para “construir abordagens baseadas no consenso para gerenciamento de riscos e modelos de regulamentação que sejam mais construtivos e duráveis do que aqueles que vemos na NYC 144”, disse Aaron Cooper, um vice-presidente da BSA, em um comunicado.