Princípios importantes
- ToxMod, da empresa Modulate, com sede em Boston, afirma detectar e agir contra discursos perturbadores automaticamente, em tempo real.
- Em vez de ser restrito por uma linguagem simples, o ToxMod usa aprendizado de máquina para descobrir intangíveis como emoção, volume e ritmo.
- ToxMod foi projetado atualmente para uso com salas de bate-papo no jogo, mas não há motivo para não chegar ao seu canal do Twitch.
Uma empresa com sede em Boston está usando aprendizado de máquina para criar o que considera o primeiro serviço de moderação nativa de voz do mundo, que pode diferenciar o que está sendo dito e o que significa.
ToxMod é uma tentativa de resolver o paradoxo de moderar qualquer espaço aberto na Internet; não há humanos suficientes para acompanhar a demanda, mas algoritmos, filtros e um sistema de relatórios não entendem nuances.
Com o banco de dados do ToxMod, ele pode rastrear fatores na fala dos jogadores, como emoção e volume, o que ajuda a distinguir entre um lapso momentâneo e um padrão de comportamento. Foi anunciado recentemente como uma adição ao jogo de futebol americano 7v7 Gridiron, atualmente no Steam Early Access.
"Todo mundo sabe que assédio, discurso de ódio e toxicidade em bate-papo por voz e jogos são um grande problema. Isso é comumente entendido ", disse Carter Huffman, diretor de tecnologia e cofundador da Modulate, em uma reunião do Google com Lifewire. "Poderíamos pegar os recursos que estávamos extraindo por meio dessa variedade de sistemas de aprendizado de máquina e fundi-los em um sistema que levasse em consideração todo esse conhecimento especializado que estávamos aprendendo com a comunidade."
Todos saúdem nossos novos moderadores de robôs
Modulate está trabalhando no ToxMod desde o outono passado e o incorporou como um dos três serviços principais da empresa. Ele também oferece VoiceWear, um disfarce de voz desenvolvido por aprendizado de máquina, e VoiceVibe, um serviço agregador que permite aos usuários descobrir o que as pessoas em suas comunidades estão discutindo.
Quando o ToxMod está sendo executado em um bate-papo, ele pode ser programado através do painel de administração do Modulate para realizar uma variedade de ações automáticas, como emitir avisos, silenciar jogadores ou ajustar individualmente o volume.
Ele usa um sistema de triagem onde sua instância local é a primeira a agir, antes de verificar com os servidores do Modulate para confirmação. Então, finalmente, chega ao ponto em que pode exigir intervenção humana. Ao executar cada verificação por vez, que o Modulate chama de "portões de triagem", a ideia é que o ToxMod forneça a uma pequena equipe de moderadores as ferramentas para moderar efetivamente uma comunidade muito maior.
"A triste verdade é que todo mundo já teve essa experiência, de tentar usar o bate-papo por voz em qualquer plataforma em que você estava e descobrir que, cara, isso foi uma má ideia", disse o CEO da Modulate, Mike Pappas, em um chamada de vídeo com Lifewire. "Ser capaz de entrar e dizer: 'Isto não é o Velho Oeste. Existem regras'. Acho que isso é muito importante."
Quebrando o sistema
Naturalmente, a segunda ou terceira pergunta a fazer sobre o ToxMod é como quebrá-lo.
Com muitos sistemas de moderação automática, como os algoritmos que regem o Twitter, é fácil jogá-los contra pessoas que você não gosta. Apenas denuncie seu alvo em massa com algumas contas de fantoches de meia e eles serão banidos de maneira confiável.
"Em um nível básico, o ToxMod não precisa depender desses relatórios adicionais de jogadores", disse Pappas. "Ainda é capaz de produzir estimativas sólidas de quais ofensas precisamos [prestar] atenção. Você não precisa se preocupar com os jogadores tentando enganar o sistema, pois não há realmente nada para jogar.
Todo mundo sabe que assédio, discurso de ódio e toxicidade em bate-papo por voz e jogos são um grande problema.
"Tudo o que você tem controle como player é o seu próprio áudio", continuou Pappas. "A pior coisa que você pode fazer é ser uma pessoa menos má para não te marcarmos como um mau ator, o que eu diria que é algo próximo ao sucesso da missão."
Em geral, então, a ideia por trás do ToxMod é uma tentativa de recuperação ativa. Muitos jogadores neste momento sofreram algum tipo de assédio de estranhos aleatórios em canais de voz abertos, variando de insultos aleatórios a ameaças ativas. Como resultado, os jogadores tendem a evitar o bate-papo por voz em geral, preferindo abrir mão de sua conveniência em troca de sua própria paz de espírito.
"O que esperamos ver [os maus atores gastando] muito menos tempo no chat de voz antes de serem encontrados e removidos", disse Pappas."Isso tem mais do que apenas um impacto linear. Quando todo mundo está vendo o bate-papo por voz como um lugar mais seguro, mais bons atores estão dispostos a voltar ao bate-papo por voz e experimentá-lo. Acho que tudo pode evoluir em uma direção positiva."
