Algoritmos de classificação são amplamente usados em plataformas de contratação como LinkedIn, TaskRabbit e Fiverr. Por serem propensas a vieses, muitas dessas plataformas tomaram medidas para garantir que sejam justas, equilibradas e previsíveis. Mas, de acordo com um estudo de pesquisadores afiliados à Harvard e Technische Universität Berlin, que examinou o efeito de algoritmos de classificação “justos” sobre o gênero, mesmo algoritmos de classificação aparentemente desviados tratam certos candidatos a empregos de maneira inconsistente.
Os pesquisadores analisaram especificamente os algoritmos usados no TaskRabbit, um mercado que combina usuários com tarefas como limpeza, movimentação e entrega. Como eles observam em um artigo que descreve seu trabalho, o TaskRabbit utiliza algoritmos de classificação para classificar os trabalhadores disponíveis e gerar uma lista classificada de candidatos adequados para uma determinada tarefa. Uma vez que afeta diretamente os meios de subsistência, se os algoritmos subjacentes forem tendenciosos, eles podem afetar adversamente grupos sub-representados. Os efeitos podem ser particularmente agudos em cidades como São Francisco, onde os trabalhadores de show são mais provavelmente pessoas de cor e imigrantes.
Os co-autores de Harvard estudaram como os preconceitos – especificamente os preconceitos de gênero – se infiltram no TaskRabbit e afetam as decisões de contratação no mundo real. Eles analisaram várias fontes de vieses para fazer isso, incluindo os tipos de algoritmos de classificação, contextos de trabalho e vieses inerentes dos empregadores, todos os quais interagem uns com os outros.
Os pesquisadores realizaram uma pesquisa com 1.079 pessoas recrutadas pelo Amazon Mechanical Turk usando dados do mundo real do TaskRabbit. Cada entrevistado atuou como um “empregador substituto”, obrigado a selecionar candidatos para ajudá-los em três tarefas diferentes, a saber, compras, equipe de eventos e assistência na mudança. Para tanto, foi mostrada aos recrutas uma lista de 10 candidatos classificados para cada tarefa e solicitados a selecionar os 4 primeiros em cada caso. Em seguida, eles receberam listas de classificação geradas por um dos três algoritmos de classificação – um que classificou os candidatos aleatoriamente (RandomRanking), um que classificou os candidatos com base em suas pontuações no TaskRabbit (RabbitRanking) e um algoritmo de classificação “justo” (FairDet-Greedy) – ou versões dos algoritmos que trocavam os gêneros dos candidatos de masculino para feminino e vice-versa.
Em sua análise, os pesquisadores descobriram que, embora algoritmos de classificação justa como FairDet-Greedy sejam úteis para aumentar o número de candidatos sub-representados contratados, sua eficácia é limitada pelos contextos de trabalho em que os empregadores têm preferência por gêneros específicos. Os entrevistados eram menos propensos a escolher mulheres para mudar de emprego em comparação com os homens, por exemplo, e menos propensos a contratar homens para a equipe de eventos do que as mulheres.
Os pesquisadores também relataram que descobriram que a classificação justa é mais eficaz quando os candidatos sub-representados (por exemplo, mulheres) são semelhantes aos que estão sobrerrepresentados (por exemplo, homens). Mas eles também descobriram que a classificação justa é ineficaz para aumentar a representação quando os empregadores tentam representar a “paridade demográfica” – ou seja, quando tentam ativamente, mas às vezes não conseguem fazer uma escolha diversa.
“Nosso estudo revela que uma classificação justa pode aumentar com sucesso as oportunidades disponíveis para candidatos sub-representados. No entanto, descobrimos que a eficácia da classificação justa é inconsistente entre os contextos de trabalho e as características do candidato, sugerindo que pode não ser suficiente para aumentar os resultados de representação em todos os ambientes ”, escreveram os pesquisadores. “Esperamos que este trabalho represente um passo em direção a uma melhor compreensão de como as ferramentas algorítmicas podem (ou não podem) reduzir o preconceito de gênero em ambientes de contratação.”
O preconceito nos algoritmos de contratação não é novidade – em um exemplo recente, a Amazon descartou um mecanismo de recrutamento que mostrava um claro preconceito contra as mulheres. Mas está se tornando mais relevante à luz do fato de que uma lista crescente de empresas, incluindo Hilton e Goldman Sachs, está procurando automatizar partes do processo de contratação. Na verdade, cerca de 55% dos gerentes de recursos humanos dos EUA disseram que a IA seria uma parte regular de seu trabalho nos próximos cinco anos, de acordo com uma pesquisa de 2017 feita pela empresa de software de talentos CareerBuilder.
Um relatório da Brookings Institution defendeu várias abordagens para reduzir o preconceito em algoritmos usados na contratação, incluindo a identificação de uma gama de modelos de entrada que podem ser preditivos em toda uma população e o desenvolvimento de diversos conjuntos de dados contendo exemplos de candidatos bem-sucedidos de uma variedade de origens. Mas o relatório também observou que essas etapas não podem ser necessariamente executadas pela degradação de um modelo.
“A contratação algorítmica traz novas promessas, oportunidades e riscos. Se não forem verificados, os algoritmos podem perpetuar os mesmos preconceitos e discriminação presentes nas práticas de contratação existentes ”, diz o relatório da Brookings. “As proteções legais existentes contra a discriminação no emprego se aplicam quando essas ferramentas algorítmicas são usadas; no entanto, os algoritmos levantam uma série de questões políticas não resolvidas que merecem mais atenção. ”
Algoritmos de classificação são amplamente usados em plataformas de contratação como LinkedIn, TaskRabbit e Fiverr. Por serem propensas a vieses, muitas dessas plataformas tomaram medidas para garantir que sejam justas, equilibradas e previsíveis. Mas, de acordo com um estudo de pesquisadores afiliados à Harvard e Technische Universität Berlin, que examinou o efeito de algoritmos de classificação “justos” sobre o gênero, mesmo algoritmos de classificação aparentemente desviados tratam certos candidatos a empregos de maneira inconsistente.
Os pesquisadores analisaram especificamente os algoritmos usados no TaskRabbit, um mercado que combina usuários com tarefas como limpeza, movimentação e entrega. Como eles observam em um artigo que descreve seu trabalho, o TaskRabbit utiliza algoritmos de classificação para classificar os trabalhadores disponíveis e gerar uma lista classificada de candidatos adequados para uma determinada tarefa. Uma vez que afeta diretamente os meios de subsistência, se os algoritmos subjacentes forem tendenciosos, eles podem afetar adversamente grupos sub-representados. Os efeitos podem ser particularmente agudos em cidades como São Francisco, onde os trabalhadores de show são mais provavelmente pessoas de cor e imigrantes.
Os co-autores de Harvard estudaram como os preconceitos – especificamente os preconceitos de gênero – se infiltram no TaskRabbit e afetam as decisões de contratação no mundo real. Eles analisaram várias fontes de vieses para fazer isso, incluindo os tipos de algoritmos de classificação, contextos de trabalho e vieses inerentes dos empregadores, todos os quais interagem uns com os outros.
Os pesquisadores realizaram uma pesquisa com 1.079 pessoas recrutadas pelo Amazon Mechanical Turk usando dados do mundo real do TaskRabbit. Cada entrevistado atuou como um “empregador substituto”, obrigado a selecionar candidatos para ajudá-los em três tarefas diferentes, a saber, compras, equipe de eventos e assistência na mudança. Para tanto, foi mostrada aos recrutas uma lista de 10 candidatos classificados para cada tarefa e solicitados a selecionar os 4 primeiros em cada caso. Em seguida, eles receberam listas de classificação geradas por um dos três algoritmos de classificação – um que classificou os candidatos aleatoriamente (RandomRanking), um que classificou os candidatos com base em suas pontuações no TaskRabbit (RabbitRanking) e um algoritmo de classificação “justo” (FairDet-Greedy) – ou versões dos algoritmos que trocavam os gêneros dos candidatos de masculino para feminino e vice-versa.
Em sua análise, os pesquisadores descobriram que, embora algoritmos de classificação justa como FairDet-Greedy sejam úteis para aumentar o número de candidatos sub-representados contratados, sua eficácia é limitada pelos contextos de trabalho em que os empregadores têm preferência por gêneros específicos. Os entrevistados eram menos propensos a escolher mulheres para mudar de emprego em comparação com os homens, por exemplo, e menos propensos a contratar homens para a equipe de eventos do que as mulheres.
Os pesquisadores também relataram que descobriram que a classificação justa é mais eficaz quando os candidatos sub-representados (por exemplo, mulheres) são semelhantes aos que estão sobrerrepresentados (por exemplo, homens). Mas eles também descobriram que a classificação justa é ineficaz para aumentar a representação quando os empregadores tentam representar a “paridade demográfica” – ou seja, quando tentam ativamente, mas às vezes não conseguem fazer uma escolha diversa.
“Nosso estudo revela que uma classificação justa pode aumentar com sucesso as oportunidades disponíveis para candidatos sub-representados. No entanto, descobrimos que a eficácia da classificação justa é inconsistente entre os contextos de trabalho e as características do candidato, sugerindo que pode não ser suficiente para aumentar os resultados de representação em todos os ambientes ”, escreveram os pesquisadores. “Esperamos que este trabalho represente um passo em direção a uma melhor compreensão de como as ferramentas algorítmicas podem (ou não podem) reduzir o preconceito de gênero em ambientes de contratação.”
O preconceito nos algoritmos de contratação não é novidade – em um exemplo recente, a Amazon descartou um mecanismo de recrutamento que mostrava um claro preconceito contra as mulheres. Mas está se tornando mais relevante à luz do fato de que uma lista crescente de empresas, incluindo Hilton e Goldman Sachs, está procurando automatizar partes do processo de contratação. Na verdade, cerca de 55% dos gerentes de recursos humanos dos EUA disseram que a IA seria uma parte regular de seu trabalho nos próximos cinco anos, de acordo com uma pesquisa de 2017 feita pela empresa de software de talentos CareerBuilder.
Um relatório da Brookings Institution defendeu várias abordagens para reduzir o preconceito em algoritmos usados na contratação, incluindo a identificação de uma gama de modelos de entrada que podem ser preditivos em toda uma população e o desenvolvimento de diversos conjuntos de dados contendo exemplos de candidatos bem-sucedidos de uma variedade de origens. Mas o relatório também observou que essas etapas não podem ser necessariamente executadas pela degradação de um modelo.
“A contratação algorítmica traz novas promessas, oportunidades e riscos. Se não forem verificados, os algoritmos podem perpetuar os mesmos preconceitos e discriminação presentes nas práticas de contratação existentes ”, diz o relatório da Brookings. “As proteções legais existentes contra a discriminação no emprego se aplicam quando essas ferramentas algorítmicas são usadas; no entanto, os algoritmos levantam uma série de questões políticas não resolvidas que merecem mais atenção. ”
