Estudo aponta viés em Inteligência Artificial para triagem de currículos

Um novo estudo da Universidade de Washington destacou o potencial de viés racial e de gênero significativo ao usar Inteligência Artificial para triagem de currículos.

Os pesquisadores testaram três modelos de código aberto e apontaram que eles favoreciam currículos com nomes associados a brancos em 85% das vezes e nomes associados a mulheres em 11% das vezes.

Entre as 3 milhões de combinações de emprego, raça e gênero testadas, homens negros tiveram o pior desempenho, com os modelos preferindo outros candidatos quase 100% das vezes.

Elon Musk quer criar cluster para IA com 200 mil GPUs

Conselheiro Sênior da OpenAI renuncia e equipe é dissolvida

Matchmaking de Deadlock foi criado com ajuda do ChatGPT

Créditos: Freepik.

Sobre o estudo

Para o estudo, os pesquisadores utilizaram 554 currículos e 571 descrições de emprego retiradas de documentos reais. Os pesquisadores alteraram os currículos, substituindo por 120 nomes associados a homens, mulheres, negros e/ou brancos.

As vagas empregos incluíam cargos de executivo, gerente de marketing e vendas, gerente de RH, trabalhador de recursos humanos, contador e auditor, engenheiro, professor de ensino médio, designer e trabalhador de vendas.

Os resultados apontam viés de gênero e raça, assim como viés interseccional quando gênero e raça são combinados. A tecnologia preferiu homens brancos mesmo para funções que são mais comumente ocupadas por mulheres, como postos de RH.

Os modelos utilizados eram todos de código aberto, sendo eles o da Salesforce, Contextual AI e Mistral.

Possível origem do viés

Para Kyra Wilson, doutorando da Escola de Informação da Universidade de Washington, o viés pode advir dos dados de treinamento. “Esses grupos têm privilégios existentes na sociedade que aparecem nos dados de treinamento. O modelo aprende com esses dados e depois reproduz ou amplifica os mesmos padrões em suas próprias tarefas de tomada de decisão”, disse ela.

A pesquisadora também afirmou que como a maioria dos modelos comerciais são caixas pretas proprietárias, é difícil para os pesquisadores investigarem esses modelos. E as empresas não são obrigadas a divulgar padrões ou vieses em seus resultados, criando um vazio de informações.

E remover nomes de currículos não resolverá o problema porque a tecnologia pode inferir a identidade de alguém a partir de sua história educacional, cidades onde vivem e até escolhas de palavras para descrever suas experiências profissionais. Parte da solução envolve a seleção do conjunto de dados de treinamento.

Respostas das empresas

Representantes da Salesforce e Contextual AI disseram que os modelos utilizados na pesquisa não foram projetados para esse tipo de aplicação por empregadores reais, o que compromete os resultados obtidos.

Em e-mail ao GeekWire, um porta-voz da Salesforce por e-mail destacou que “o modelo da Salesforce incluído no estudo foi lançado ‘para a comunidade de código aberto apenas para fins de pesquisa, não para uso em cenários de produção no mundo real’”.

Jay Chen, vice-presidente de marketing da Contextual AI, afirmou que o LLM usado foi baseado na tecnologia da Mistral e não é um produto comercial da Contextual AI.

Fontes: Universidade de Washington e GeekWire.