Facebook tem falhas de linguagem que deixam brechas para discursos de ódio
Falta de compreensão por parte do sistema de dialetos e línguas exteriores aos Estados Unidos podem deixar brechas para discursos perigosos em regiões de alto risco social, como Afeganistão, Etiópia e Mianmar
Durante anos, o CEO do Facebook, Mark Zuckerberg, ostentou sua missão de conectar o mundo inteiro – e sua empresa chegou mais perto do que qualquer outra de cumprir essa meta ambiciosa, com mais de 3 bilhões de usuários mensais em suas várias plataformas. No entanto, essa expansão global tem um custo alto.
Os próprios pesquisadores do Facebook alertaram repetidamente que a empresa parece mal equipada para lidar com questões como discurso de ódio e desinformação em outros idiomas além do inglês, potencialmente tornando os usuários em alguns dos países politicamente mais instáveis mais vulneráveis à violência no mundo real, de acordo com a interna documentos vistos pela CNN.
Os documentos são parte das divulgações feitas à Comissão de Segurança e Transações e fornecidos ao Congresso de forma editada pelo consultor jurídico da denunciante do Facebook, Frances Haugen.
Um consórcio de 17 organizações de notícias dos EUA, incluindo a CNN, analisou as versões editadas recebidas pelo Congresso.
Muitos dos países aos quais o Facebook se refere como “Em risco” – uma designação interna que indica a atual volatilidade de um país – falam vários idiomas e dialetos, incluindo Índia, Paquistão, Etiópia e Iraque.
As equipes de moderação do Facebook geralmente estão equipadas para lidar com apenas alguns desses idiomas, e uma grande quantidade de discurso de ódio e desinformação ainda vaza, de acordo com os documentos, alguns dos quais foram escritos recentemente.
Embora as plataformas do Facebook suportem mais de 100 idiomas diferentes globalmente, suas equipes de moderação de conteúdo global não.
Um porta-voz da empresa disse à CNN Business que suas equipes são compostas por “15.000 pessoas que revisam o conteúdo em mais de 70 idiomas, trabalhando em mais de 20 locais” em todo o mundo.
Mesmo nos idiomas que oferece suporte, os documentos apresentam várias deficiências na detecção e redução de conteúdo prejudicial na plataforma.
Também há problemas de tradução para usuários que desejam relatar problemas. Uma nota de pesquisa, por exemplo, mostrou que apenas algumas “categorias de abuso” para relatar discursos de ódio no Afeganistão foram traduzidas para o idioma local pashto. O documento foi datado de 13 de janeiro de 2021, meses antes da tomada do país pelo grupo militante Talibã.
“Além disso, a tradução do discurso de ódio em pashto não parece ser precisa”, escreveu o autor, apontando que a maioria das subcategorias de discurso de ódio para um usuário denunciar ainda estavam em inglês. As instruções em outro idioma afegão, o dari, foram consideradas igualmente problemáticas.
Os documentos, muitos dos quais detalham a própria pesquisa da empresa, revelam as lacunas na capacidade do Facebook de evitar incitação ao ódio e desinformação em vários países fora dos Estados Unidos, onde está sediada, e podem apenas aumentar as preocupações crescentes sobre se a empresa pode policiar adequadamente sua plataforma maciça e prevenir danos no mundo real.
“Os lugares mais frágeis do mundo são linguisticamente diversos e falam línguas que não são faladas por milhares de pessoas”, disse Haugen, que trabalhou na equipe de integridade cívica do Facebook que lida com questões como desinformação e discurso de ódio, ao consórcio.
“Eles adicionam um novo idioma geralmente em condições de crise”, disse ela, o que significa que o Facebook costuma treinar novos modelos de idioma quase em tempo real em países que podem estar sob risco de violência étnica ou até genocídio.
Um documento no início deste ano, por exemplo, detalhou mais de uma dúzia de idiomas no Facebook e Instagram que a empresa “priorizou” para expandir seus sistemas automatizados durante o primeiro semestre de 2021, com base em parte no “risco de violência offline”.
Entre eles, o amárico e o oromo, duas das línguas mais faladas na Etiópia, que vive uma violenta guerra civil há quase um ano. O Facebook disse que tem uma equipe multifuncional dedicada a lidar com a situação de segurança da Etiópia e melhorou suas ferramentas de relatório no país.
O Facebook investiu um total de US$ 13 bilhões (cerca de R$ 72 bilhões) desde 2016 para melhorar a segurança de suas plataformas, de acordo com o porta-voz da empresa – em comparação, a receita anual da empresa ultrapassou US$ 85 bilhões no ano passado e seu lucro atingiu US$ 29 bilhões.
O porta-voz também destacou a rede global da empresa de verificadores de fatos terceirizados, com a maioria deles fora dos Estados Unidos.
“Também derrubamos mais de 150 redes que buscavam manipular o debate público desde 2017, e elas se originaram em mais de 50 países, com a maioria vindo ou focada fora dos Estados Unidos”, acrescentou o porta-voz. “Nosso histórico mostra que reprimimos os abusos fora dos Estados Unidos com a mesma intensidade que aplicamos nos Estados Unidos.”
Pontos cegos da linguagem em todo o mundo
Com mais de 800 milhões de usuários da Internet, a Índia há muito tempo é a peça central do impulso do Facebook para o crescimento futuro nos mercados emergentes.
O Facebook lançou um esforço fracassado em 2016 para levar internet gratuita para o país por meio de seu programa Free Basics, e posteriormente investiu US$ 5,7 bilhões em parceria com uma empresa de tecnologia digital de propriedade do homem mais rico da Índia.
Agora, a Índia é o maior mercado individual do Facebook em tamanho de público, com mais de 400 milhões de usuários em suas várias plataformas. Contudo, de acordo com os documentos, os pesquisadores sinalizaram que os sistemas da empresa estavam falhando em seus esforços para reprimir o discurso de ódio no país.
O Facebook depende de uma combinação de inteligência artificial e revisores humanos (funcionários em tempo integral e contratados independentes) para remover conteúdo prejudicial. Os modelos de IA precisam ser treinados para detectar e remover conteúdo, como discurso de ódio, usando exemplos de palavras ou frases conhecidas como “classificadores”. Isso requer uma compreensão dos idiomas locais.
“Nossa falta de classificadores em hindi e bengali significa que muito desse conteúdo nunca é sinalizado ou acionado”, escreveram pesquisadores do Facebook em uma apresentação interna sobre o discurso de ódio anti-muçulmano no país.
Essas duas línguas estão entre as mais populares da Índia, faladas coletivamente por mais de 600 milhões de pessoas, de acordo com o censo mais recente do país em 2011.
O porta-voz do Facebook disse que a empresa adicionou classificadores de discurso de ódio para hindi em 2018 e para bengali em 2020.
“Leva tempo para desenvolver a IA e para traduzir os padrões da comunidade e coisas assim”, disse Evelyn Douek, pesquisadora sênior do Instituto Knight da Primeira Emenda da Universidade de Columbia, que estuda a regulamentação global de discurso e conteúdo online problemas de moderação. “Em vez de fazer isso antes de entrar no mercado, eles tendem a fazer depois, quando os problemas aparecem.”
As lutas do Facebook contra o conteúdo prejudicial em certas regiões fora dos Estados Unidos têm riscos incrivelmente altos por causa de seu tamanho e alcance. Ela também é um sintoma das deficiências mais amplas de como as empresas americanas de tecnologia operam no exterior, em mercados que podem ser menos lucrativos e menos examinados do que os Estados Unidos, de acordo com Douek.
Embora geralmente seja difícil identificar quais recursos as plataformas de tecnologia dedicam aos mercados estrangeiros, porque elas tendem a não tornar a maioria desses dados públicos, “sabemos que são todas igualmente ruins”, disse Douek. “Todas elas investem significativamente menos nos mercados estrangeiros.”
Os problemas do Facebook com idiomas estrangeiros, alguns dos quais foram relatados anteriormente pelo Wall Street Journal, se estendem a alguns países incrivelmente voláteis, como a Etiópia e o Afeganistão.
No Afeganistão, os pesquisadores que investigaram a detecção de discurso de ódio no país descobriram que os sistemas de fiscalização do Facebook ainda estão fortemente voltados para o inglês, mesmo em regiões onde a maioria da população não o fala.
“Em um país como o Afeganistão, onde o segmento da população que entende a língua inglesa é extremamente pequeno, tornar esse sistema impecável em termos de tradução, no mínimo, é de suma importância”, disseram.
Em uma postagem de blog publicada no sábado (23), Miranda Sissons, diretora de Política de Direitos Humanos do Facebook, e Nicole Isaac, sua diretora de Resposta Estratégica Internacional, disseram que a empresa “contratou mais pessoas com experiência em idiomas, países e tópicos” em nações como Mianmar e Etiópia nos últimos dois anos, adicionando moderadores de conteúdo em 12 novos idiomas este ano.
“Adicionar mais experiência em idiomas tem sido uma área de foco prioritária para nós”, escreveram eles.
Uma falha fundamental em uma região conturbada
Na verdade, o déficit de linguagem do Facebook pode ser mais acentuado em uma das regiões mais instáveis do mundo: o Oriente Médio.
Um estudo interno dos sistemas de moderação de conteúdo em árabe do Facebook destacou as deficiências na capacidade da empresa de lidar com diferentes dialetos falados no Oriente Médio e no norte da África.
“O árabe não é uma língua…é melhor considerá-lo uma família de línguas – muitas das quais são mutuamente incompreensíveis”, escreveu o autor do documento, acrescentando que os contextos sociais e políticos de cada país tornam ainda mais difícil a identificação e eliminar a incitação ao ódio e à desinformação.
Por exemplo, um falante de árabe marroquino não seria necessariamente capaz de tomar as medidas adequadas contra o conteúdo de outros países como Argélia, Tunísia ou Líbia, disse o documento. Dialetos do Iêmen e da Líbia, e também de “todas as nações do Golfo”, foram identificados como “ausentes ou [com] representação muito baixa” entre os revisores do Facebook.
De acordo com o documento, os escritórios voltados para o apoio à comunidade de língua árabe estão principalmente na cidade marroquina de Casablanca e em Essen, na Alemanha, onde os contratantes que o Facebook usa para gerenciar as sedes contratam localmente devido a problemas de visto.
O autor do documento questionou uma pesquisa interna com funcionários do escritório de Casablanca que indicava que esses contratados eram capazes de lidar com conteúdo em todos os dialetos árabes.
“Este não pode ser o caso, embora entendamos a pressão para fazer essa afirmação”, escreveu o autor do documento.
O árabe é um ponto particular de vulnerabilidade para o Facebook, destacou o documento, por causa de questões críticas nos países e regiões que o falam.
“Eu entendo que várias delas (talvez todas elas) são grandes medidas”, escreveu o autor do documento, referindo-se às alterações recomendadas para resolver as lacunas. O autor observou que “todas as nações árabes”, exceto a região do Saara Ocidental, são designadas como “em risco” pelo Facebook e “lidam com questões graves como terrorismo e tráfico sexual”.
“É certamente da maior importância colocar mais recursos na tarefa de melhorar os sistemas árabes”, escreveu o autor. O autor do documento também pareceu concordar com os críticos do Facebook em pelo menos um ponto: a necessidade de a empresa tomar medidas para conter possíveis crises antes que elas aconteçam.
As recomendações do documento, escreveu o autor, “devem melhorar nossa capacidade de nos antecipar a eventos perigosos, incêndios de relações públicas e questões de integridade em países em risco de alta prioridade, em vez de tentar recuperar o atraso”.
Texto traduzido. Leia o original em inglês.
