Aprendizado e Transparência

Há uma investigação nos EUA se o cartão de crédito da Apple, lançado em agosto de 2019, é tendencioso contra as mulheres. As empresas de tecnologia resolveram entrar na área financeira e alguns problemas estão aparecendo. O caso mais noticiado, a moeda digital do Facebook, parece que deve encontrar mais resistências que o esperado. E agora o caso da Apple.

A empresa está oferecendo seu cartão de crédito para interessados. Mas parece que o limite para os homens é bastante superior ao das mulheres. É bem verdade que o cartão tem a chancela do Goldman Sachs, que é o responsável pela decisão. Um caso relatado no Quartz mostra um engenheiro de  software que recebeu um limite 20 vezes maior do que o da sua esposa.

O banco parece que usou um algoritmo para determinar estes limites. Mas este é um problema, pois geralmente algoritmos possuem um grave problema: a falta de transparência. Eis um trecho da Quartz

Por exemplo, em 2018, quando o Goldman quis mostrar sua capacidade quantitativa determinando o vencedor da Copa do Mundo de futebol, seus pesquisadores se voltaram para o aprendizado de máquina. Eles poderiam ter usado estatísticas básicas, mas isso não teria sido tão preciso. Os analistas quantitativos do Goldman disseram que um método de previsão que usava aprendizado de máquina era cinco vezes mais preciso do que usar uma regressão estatística mais simples.

O problema do uso de um método de aprendizado de máquina é que dificulta a explicação de como funciona uma previsão. As ferramentas de aprendizado de máquina são, na maioria das vezes, caixas pretas: prometem precisão, mas os cientistas de dados que utilizam perdem a capacidade de entender o quanto cada fator é importante para o resultado final de uma previsão (na estatística, isso é chamado de "inferência”). (...)

Como disse recentemente a matemática Cathy O'Neal à Slate, quando as empresas optam por usar algoritmos, “elas olham para o lado positivo (...) e ignoram o lado negativo, que é que eles são assumindo muitos riscos."

A ciência de dados, como um campo, tende a se concentrar em fazer previsões. Esse objetivo restrito pode levar as empresas a se distanciarem do viés ou de como elas podem explicar as metodologias de tomada de decisões para os reguladores e o público em geral. Também pode levar a uma menor consideração das deficiências de dados inseridas nos modelos algorítmicos - algumas pesquisas sugerem que a pontuação de crédito é discriminatória, e qualquer modelo que incorpore esses dados refletirá esse viés. Mas, em muitos casos, na moderna ciência de dados, se o modelo tornar uma previsão "melhor" em termos estatísticos, seus outros efeitos poderão ser negligenciados.