Princípios importantes
- Uma nova ferramenta de software permite que a IA monitore comentários na Internet em busca de discurso de ódio.
- A IA é necessária para moderar o conteúdo da Internet devido ao enorme volume de material que supera as capacidades humanas.
- Mas alguns especialistas dizem que o monitoramento da fala por IA gera preocupações com a privacidade.
À medida que o discurso de ódio online aumenta, uma empresa diz que pode ter uma solução que não dependa de moderadores humanos.
Uma startup chamada Spectrum Labs fornece tecnologia de inteligência artificial para provedores de plataforma para detectar e encerrar trocas tóxicas em tempo real. Mas especialistas dizem que o monitoramento de IA também levanta problemas de privacidade.
"O monitoramento de IA geralmente requer a análise de padrões ao longo do tempo, o que exige a retenção dos dados", disse David Moody, associado sênior da Schellman, uma empresa de avaliação de conformidade de segurança e privacidade, à Lifewire em uma entrevista por e-mail. "Esses dados podem incluir dados que as leis sinalizaram como dados de privacidade (informações de identificação pessoal ou PII)."
Mais Discurso de Ódio
Spectrum Labs promete uma solução de alta tecnologia para o antigo problema do discurso de ódio.
"Em média, ajudamos as plataformas a reduzir os esforços de moderação de conteúdo em 50% e aumentar a detecção de comportamentos tóxicos em 10 vezes ", afirma a empresa em seu site.
Spectrum diz que trabalhou com institutos de pesquisa com experiência em comportamentos prejudiciais específicos para construir mais de 40 modelos de identificação de comportamento. A plataforma de moderação de conteúdo Guardian da empresa foi construída por uma equipe de cientistas de dados e moderadores para “apoiar a proteção das comunidades contra a toxicidade."
Há uma necessidade crescente de maneiras de combater o discurso de ódio, pois é impossível para um humano monitorar cada parte do tráfego online, Dylan Fox, CEO da AssemblyAI, uma startup que fornece reconhecimento de fala e tem clientes envolvidos no monitoramento do ódio discurso, disse à Lifewire em uma entrevista por e-mail.
"Há cerca de 500 milhões de tweets por dia só no Twitter", acrescentou. "Mesmo que uma pessoa pudesse verificar um tweet a cada 10 segundos, o Twitter precisaria empregar 60 mil pessoas para fazer isso. Em vez disso, usamos ferramentas inteligentes como IA para automatizar o processo."
Ao contrário de um ser humano, a IA pode operar 24 horas por dia, 7 dias por semana e potencialmente ser mais equitativa porque foi projetada para aplicar uniformemente suas regras a todos os usuários, sem interferência de crenças pessoais, disse Fox. Há também um custo para aquelas pessoas que precisam monitorar e moderar o conteúdo.
"Eles podem ser expostos à violência, ódio e atos sórdidos, que podem ser prejudiciais à saúde mental de uma pessoa", disse ele.
A Spectrum não é a única empresa que busca detectar automaticamente o discurso de ódio online. Por exemplo, a Center Malaysia lançou recentemente um rastreador online projetado para encontrar discursos de ódio entre internautas malaios. O software que eles desenvolveram, chamado Tracker Benci, usa aprendizado de máquina para detectar discursos de ódio online, principalmente no Twitter.
O desafio é como criar espaços em que as pessoas possam realmente interagir umas com as outras de forma construtiva.
Preocupações com Privacidade
Embora soluções de tecnologia como Spectrum possam combater o discurso de ódio online, elas também levantam questões sobre o quanto os computadores de policiamento deveriam estar fazendo.
Há implicações de liberdade de expressão, mas não apenas para os palestrantes cujas postagens seriam removidas como discurso de ódio, disse Irina Raicu, diretora de ética na Internet do Markkula Center for Applied Ethics da Santa Clara University, por e-mail. entrevista.
"Permitir o assédio em nome da 'liberdade de expressão' levou os alvos de tal discurso (especialmente quando direcionado a indivíduos específicos) a parar de falar - a abandonar completamente várias conversas e plataformas", disse Raicu."O desafio é como criar espaços em que as pessoas possam realmente se envolver de forma construtiva."
O monitoramento de fala por IA não deve levantar problemas de privacidade se as empresas usarem informações publicamente disponíveis durante o monitoramento, disse Fox. No entanto, se a empresa comprar detalhes sobre como os usuários interagem em outras plataformas para pré-identificar usuários problemáticos, isso pode gerar problemas de privacidade.
"Pode ser definitivamente uma área cinzenta, dependendo da aplicação", acrescentou.
Justin Davis, CEO da Spectrum Labs, disse à Lifewire em um e-mail que a tecnologia da empresa pode revisar de 2 a 5 mil linhas de dados em frações de segundo. “Mais importante, a tecnologia pode reduzir a quantidade de conteúdo tóxico a que os moderadores humanos estão expostos”, disse ele.
Podemos estar à beira de uma revolução na IA que monitora a fala humana e o texto online. Os avanços futuros incluem melhores recursos de monitoramento independente e autônomo para identificar formas anteriormente desconhecidas de discurso de ódio ou quaisquer outros padrões censuráveis que evoluirão, disse Moody.
AI em breve também será capaz de reconhecer padrões nos padrões de fala específicos e relacionar fontes e suas outras atividades por meio de análise de notícias, arquivamentos públicos, análise de padrões de tráfego, monitoramento físico e muitas outras opções, acrescentou.
Mas alguns especialistas dizem que os humanos sempre precisarão trabalhar com computadores para monitorar o discurso de ódio.
"A IA sozinha não funcionará", disse Raicu. "Tem que ser reconhecido como uma ferramenta imperfeita que deve ser usada em conjunto com outras respostas."
Correção 2022-01-25: Adicionada citação de Justin Davis no 5º parágrafo do final para refletir um e-mail pós-publicação.
