Preconceito racial nas avaliações

A coluna de Fernando Reinach (15 de março, O preconceito racial em avaliações, Estado de São Paulo) traz uma pesquisa interessante sobre preconceito racial e o processo avaliativo. Em uma empresa que faz a intermediação entre clientes e pessoas que prestam serviços domésticos, a avaliação dos prestadores era feita com a tradicional escala de notas de 1 a 5. No entanto, a análise da empresa revelou que os clientes levavam em consideração, de maneira sutil e inconsciente, a cor do prestador. Assim, mesmo que a qualidade do serviço fosse boa, as estrelas concedidas não faziam jus aos profissionais negros. Os dados mostraram que os prestadores brancos recebiam nota máxima em 90% a 95% das vezes, enquanto os negros atingiam cinco estrelas em 85% a 90% dos casos.

Ao mudar a escala para um sistema binário — com um polegar para cima (satisfeito) e um polegar para baixo (insatisfeito) —, a diferença na avaliação desapareceu. Esse dado é interessante, pois sugere uma forma de reduzir o impacto do preconceito.

Mas fico me perguntando: se essa solução fosse realmente eficaz e amplamente aceita, mecanismos de avaliação como os do Uber, do Booking e de outras empresas já não deveriam adotá-la? Qual seria a razão para não fazê-lo? Será que o tipo de produto ou serviço avaliado interfere na eficácia do sistema? Vale lembrar que a Netflix, no passado, usava um sistema de estrelas, depois mudou para um modelo binário e, atualmente, adota uma escala com três opções. Será que há algum fator que ainda nos escapa?

Netflix e o processo de escolha

Lendo Eric Johnson (que acabou de lançar um livro sobre escolha) no Behavioral Scientist (How the Netflix choice engine tries to maximize happiness per dollar spent) encontrei algo que tentava entender e não conseguia: a razão da mudança do sistema de classificação da empresa, de nota para binário. 

Mas antes disto é importante dizer que Johnson mostra como a Netflix trabalha para que você possa usar seus serviços. São vários itens. Por exemplo, a empresa tem um catálogo de 6 mil títulos, mas eles reduzem estas opções para algo em torno de 80, usando seus algoritmos. 

Mas a parte que me interessava: qual o motivo de deixar de usar uma escala de nota? Veja que isto interessa aos pesquisadores, que pedem para seus entrevistados responderem questionários, e gostam de usar a escala de nota. Mas a Netflix parece ter optado pela escala binária. Eis o que Johnson diz:

A Netflix usou uma escala de 5 estrelas, mas acreditava que as pessoas estavam confusas com a escala. As pessoas descobriram que a escala de polegares era mais fácil de usar e a mudança para polegares dobrou o número de classificações coletadas. Eles também descobriram que as pessoas tendiam a avaliar apenas os filmes de alto nível e sérios com uma 5 empresas, embora ficassem felizes em dar um sinal positivo para uma comédia assistida. A escala de resposta binária tornou os avaliadores menos pretensiosos e talvez mais honestos. 

Tudo isto foi feito usando os testes A/B, com milhões de espectadores.