Princípios importantes
- O Twitter espera remediar o que os usuários estão chamando de preconceito racial em seu software de visualização de imagens.
- O apelo da gigante da tecnologia pode ser o reconhecimento cultural que a indústria precisa para lidar com questões de diversidade.
- A f alta de diversidade da tecnologia está prejudicando a eficácia de seus avanços tecnológicos.
O Twitter está pronto para lançar uma investigação sobre seu algoritmo de corte de imagens depois que ele se tornou um tópico de tendências que levou a uma maior discussão sobre questões de diversidade na indústria de tecnologia.
O gigante da mídia social ganhou as manchetes depois que os usuários descobriram um aparente viés racial em seu algoritmo de visualização de imagens. A descoberta aconteceu depois que o usuário do Twitter Colin Madland usou a plataforma para denunciar a falha de Zoom em reconhecer seus colegas negros que usavam a tecnologia de tela verde, mas em uma grande demonstração de ironia, ele descobriu que o algoritmo de corte de imagens do Twitter se comportou de maneira semelhante e despriorizou os rostos negros.
Certamente, é um grande problema para qualquer minoria, mas acho que há um problema muito mais amplo também.
Outros usuários entraram na tendência provocando uma série de tweets virais mostrando que o algoritmo priorizava consistentemente rostos brancos e de pele mais clara, variando de pessoas a personagens de desenhos animados e até cães. Essa falha é indicativa de um movimento cultural maior na indústria de tecnologia que tem falhado consistentemente em explicar grupos minoritários, o que se espalhou para o lado técnico.
"Isso faz com que as minorias se sintam terríveis, como se não fossem importantes, e pode ser usado para outras coisas que podem causar danos mais sérios no futuro", Erik Learned-Miller, professor de ciência da computação da Universidade de Massachusetts, disse em uma entrevista por telefone."Depois de decidir para que um software pode ser usado e todos os danos que podem ocorrer, começamos a falar sobre as maneiras de minimizar a chance de isso acontecer."
Canário na Linha do Tempo
Twitter usa redes neurais para cortar automaticamente imagens incorporadas em tweets. O algoritmo deve detectar rostos para visualização, mas parece ter um viés de branco perceptível. A porta-voz da empresa, Liz Kelley, twittou uma resposta a todas as preocupações.
Kelley twittou: "obrigado a todos que levantaram isso. testamos o preconceito antes de enviar o modelo e não encontramos evidências de preconceito racial ou de gênero em nossos testes, mas está claro que temos mais análises para vamos abrir o código do nosso trabalho para que outros possam revisar e replicar."
Coautor do white paper "Facial Recognition Technologies in The Wild: A Call for a Federal Office", Learned-Miller é um dos principais pesquisadores sobre os excessos do software de aprendizado de IA baseado em rosto. Ele vem discutindo o potencial impacto negativo do software de aprendizagem de imagens há anos e falou sobre a importância de criar uma realidade onde esses vieses sejam mitigados da melhor maneira possível.
Muitos algoritmos para tecnologia de reconhecimento facial usam conjuntos de referência para dados, geralmente conhecidos como conjuntos de treinamento, que são uma coleção de imagens usadas para ajustar o comportamento do software de aprendizado de imagens. Em última análise, permite que a IA reconheça prontamente uma ampla variedade de rostos. No entanto, esses conjuntos de referência podem não ter um conjunto diversificado, levando a problemas como os enfrentados pela equipe do Twitter.
"Certamente, é um grande problema para qualquer minoria, mas acho que há um problema muito mais amplo também", disse Learned-Miller. "Ela está relacionada à f alta de diversidade no setor de tecnologia e à necessidade de uma força regulatória centralizada para mostrar os usos adequados desse tipo de software poderoso propenso a uso indevido e abuso."
Tecnologia sem diversidade
Twitter pode ser a mais recente empresa de tecnologia no bloco de corte, mas isso está longe de ser um problema novo. O campo de tecnologia continua sendo predominantemente branco, perpetuamente dominado por homens, e os pesquisadores descobriram que a f alta de diversidade causa uma replicação de desequilíbrios sistêmicos e históricos no software desenvolvido.
Em um relatório de 2019 do AI Now Institute da Universidade de Nova York, os pesquisadores descobriram que os negros representam menos de 6% da força de trabalho nas principais empresas de tecnologia do país. Da mesma forma, as mulheres representam apenas 26 por cento dos trabalhadores no campo - uma estatística inferior à sua participação em 1960.
Isso faz com que as minorias se sintam terríveis, como se não fossem importantes, e pode ser usado para outras coisas que podem causar danos mais sérios no futuro.
Na superfície, essas questões representacionais podem parecer mundanas, mas na prática, o dano causado pode ser profundo. Pesquisadores do relatório do AI Now Institute sugerem que isso se relaciona causalmente a problemas com softwares que geralmente não contabilizam populações não brancas e não masculinas. Sejam dispensadores de sabão infravermelho falhando em detectar pele mais escura ou software de IA da Amazon falhando em diferenciar rostos femininos daqueles de seus colegas masculinos, uma falha em abordar a diversidade na indústria de tecnologia leva a uma falha da tecnologia para lidar com um mundo diverso.
"Há muitas pessoas que não pensaram sobre os problemas e realmente não percebem como essas coisas podem causar danos e quão significativos esses danos são", sugeriu Learned-Miller sobre o aprendizado de imagens de IA. "Espero que esse número de pessoas esteja diminuindo!"
