Inteligência artificial ajuda a identificar discriminação em sistemas de recomendação baseados em machine learning

A tomada de decisões baseada em machine learning tem ganhado cada vez mais espaço. A justificativa é que a técnica permite descobrir padrões complexos em dados que passariam despercebidos de outra forma, e assim as conclusões geradas tendem a gerar decisões melhor informadas. Mas quando essas decisões envolvem pessoas – como no caso de processos de seleção para universidades ou empregos, consultoria financeira, no sistema de justiça e até no aconselhamento de políticas públicas -, existe a preocupação de que os algoritmos estejam discriminando indivíduos de forma injusta. Não é que os algoritmos em si sejam capazes de introduzir vieses capazes de prejudicar um grupo de pessoas com base em determinantes sexuais, etnia, religião ou qualquer característica irrelevante, mas sim que eles estejam sendo treinados com bases de dados enviesadas, e dessa forma chegando a conclusões que não correspondem exatamente à realidade. As bases históricas usadas para treinar sistemas de recomendação usados em processos de seleção de pessoas, ainda mais por terem sido geradas no passado, podem incluir preconceitos, intencionais ou não, característicos de seu período. Se na base não existe uma pessoa com determinada característica selecionada anteriormente para determinado cargo, por exemplo, o algoritmo pode entender que aquela característica não é desejável para o cargo, e assim direcionar decisões que perpetuam a discriminação.

Curiosamente, a inteligência artificial pode ser uma aliada na resolução de seus próprios problemas. Buscando auxiliar nesse percalço, um time de pesquisadores da Universidade do Estado da Pensilvânia e da Universidade de Columbia, nos Estados Unidos, desenvolveu uma ferramenta – baseada em inteligência artificial – para detectar discriminação. A abordagem usa o conceito da causalidade para determinar situações que podem indicar tratamento injusto no processo de seleção. Usando técnicas de inferência contrafactuais sofisticadas, o algoritmo reformula uma frase do tipo “essa característica está relacionada a essa classe” (num sistema de classificação, por exemplo) para “essa característica causa essa classe”. Assim, é possível investigar se essa relação de causa e efeito é verdadeira ou resultado do uso de uma base de dados enviesada.

Em termos simplificados, o que o algoritmo faz é procurar instâncias que sejam similares em todos seus atributos, menos um, mas que tenham sido rotulados de forma diferente. Dado o tratamento matemático adequado, é possível concluir que aquele atributo diferente causa o rótulo que a instância recebeu, pelo menos no “universo” dos dados a que o algoritmo teve acesso. Essa relação é expressa por uma métrica desenvolvida pelo grupo. A partir daí, entra o senso crítico humano, que tem uma compreensão mais ampla do cenário para concluir situações verídicas de discriminação injusta, ou aquelas justificadas – como, por exemplo, um candidato que de fato não tenha a qualificação necessária para assumir um cargo. O trabalho dos pesquisadores foi testado em vários tipos de dados disponíveis, como a base de salários do Bureau do Censo americano, e relatórios de detenção do Departamento de Polícia da Cidade de Nova York, concordando com outros estudos baseados nos mesmos dados. Os resultados foram apresentado na The Web Conference 2019, que ocorreu entre 13 e 17 de maio, em São Francisco.

Os pesquisadores enfatizam que sua ferramenta vem pra auxiliar a mitigar os efeitos da discriminação injusta, independente de sua origem. Sem a possibilidade de quantificar esses efeitos, é difícil projetar mecanismos de prevenção, e mensurar seu sucesso. Como trabalham com bases de dados complexas, a adoção dos sistemas de recomendação baseados em machine learning pode vir a revelar fontes de discriminação até então desconhecidas, portanto se faz necessário garantir que todas as pessoas sujeitas à sua avaliação tenham um tratamento justo.