TikTok apaga posts de mulheres plus size e gera críticas à moderação de conteúdo

(CNN Business) – Após perder o emprego na área de marketing devido à pandemia e ganhar quase 20 kg, Remi Bader, 25, começou a passar mais tempo no TikTok. Ela conquistou seguidores postando sobre roupas que não cabiam mais nela e sua luta para encontrar tamanhos maiores nas lojas da cidade de Nova York.

No início de dezembro, Bader, que agora tem mais de 800 mil seguidores, experimentou um par muito justo de calças de couro na Zara, e o público teve um vislumbre de suas nádegas parcialmente nuas. O TikTok rapidamente excluiu o vídeo, citando sua política contra “nudez adulta”.

Foi desagradável para Bader, já que seu vídeo, cujo objetivo era promover a positividade corporal, foi removido, enquanto vídeos de outros usuários do TikTok que pareciam sexualmente sugestivos permaneciam no aplicativo. “Isso não faz o menor sentido pra mim”, lamentou.

Julia Kondratink, uma blogueira birracial de 29 anos que se descreve como “de tamanho médio”, também sofreu uma exclusão inesperada na plataforma em dezembro. O TikTok deletou um vídeo em que ela estava de lingerie azul, com a justificativa de “nudez adulta”. “Eu fiquei chocada”, comentou com o CNN Business. “Não tinha nada explícito ou impróprio”.

Maddie Touma, 23, disse que viu isso acontecer com seus vídeos várias vezes. A influenciadora do TikTok tem quase 200 mil seguidores, e teve vídeos em que usava lingerie ou mesmo roupas normais excluídos. Isso a fez repensar sobre o conteúdo que posta, mas isso pode ser complicado, considerando que sua missão é a positividade corporal.

Na verdade, comecei a mudar meu estilo de conteúdo, porque estava com medo de que minha conta fosse removida ou simplesmente tivesse algum tipo de repercussão por receber flags, ser marcada tantas vezes como imprópria em relação às diretrizes da comunidade.

Maddie Touma, 23, influenciadora do TikTok

Ao assistir a vídeos no TikTok (aplicativo de vídeos curtos, especialmente popular entre adolescentes e jovens de 20 e poucos anos), não faltam mulheres seminuas e conteúdo sexualmente sugestivo. Assim, quando influenciadoras curvilíneas como Bader e Touma postam vídeos semelhantes que são removidos, elas não podem deixar de se perguntar: foi um erro do moderador, um erro de algoritmo ou outra coisa?

Para aumentar a confusão, fica o fato de que, mesmo depois de entrar com recursos contra o TikTok, nem sempre os vídeos são reintegrados.

Mas elas não são as únicas a se sentirem frustradas e confusas. A Adore Me, uma empresa de lingerie que tem uma parceria de posts patrocinados em redes sociais com as três mulheres citadas, foi parar recentemente nas manchetes ao postar uma série de tuítes alegando que os algoritmos do TikTok discriminam seus posts com mulheres plus size, assim como posts com modelos “portadores de necessidades especiais” e mulheres negras. (Depois da thread pública no Twitter, o TikTok reintegrou os vídeos, disse ao CNN Business Ranjan Roy, vice-presidente de estratégia da Adore Me).

A questão também não é nova: quase um ano atrás, a cantora norte-americana Lizzo, que é conhecida por apoiar abertamente a positividade corporal, criticou o TikTok por remover vídeos que a mostravam de maiô, mas não outros de mulheres com trajes de banho, segundo ela.

Os problemas de moderação de conteúdo não se limitam ao TikTok, é claro, mas o aplicativo é um novato em comparação com Facebook, Twitter e outros que sofreram golpes durante anos por erros semelhantes. Periodicamente, grupos e indivíduos apresentam suas preocupações de que as plataformas estão censurando ou limitando de forma inadequada e talvez deliberada o alcance de seus posts, quando a verdade é muito menos clara.

No caso das influenciadoras plus size, não é evidente se elas são mais afetadas do que outras pessoas pelas exclusões de conteúdo, mas seus casos são uma porta para entender o processo de moderação de conteúdo, que é confuso e, às vezes, inconsistente.

A obscuridade do que realmente aconteceu com essas influenciadoras destaca o mistério de como os algoritmos e a moderação de conteúdo funcionam, e também o poder que esses algoritmos e moderadores humanos (muitas vezes trabalhando em conjunto) têm sobre como nos comunicamos e até mesmo, possivelmente, sobre quais corpos têm o direito de serem vistos na internet.

Os profissionais do setor dizem que as prováveis explicações vão desde o preconceito da inteligência artificial (IA) até a pontos cegos culturais dos moderadores. Mas aqueles de fora do setor se sentem ignorados. Como Bader e a empresa Adore Me descobriram, os posts podem desaparecer mesmo se você achar que está seguindo as regras. E os resultados podem ser confusos e prejudiciais, mesmo se não forem intencionais.

É frustrante para mim. Já vi milhares de vídeos no TikTok de pessoas menores de maiô ou com o mesmo tipo de roupa que eu usaria, e eles não recebem um flag por nudez. No entanto, eu como uma pessoa plus size, recebo um flag.

Maddie Touma, 23, influenciadora do TikTok

Uma sensação predominante de não saber 

Durante anos, as plataformas de tecnologia confiaram em algoritmos para definir muito do que consumimos online, sejam as músicas que o Spotify toca, os tuítes que aparecem na linha do tempo do Twitter ou as ferramentas que detectam e removem incitação ao ódio no Facebook. Mesmo assim, embora muitas das grandes redes sociais utilizem a IA para complementar a experiência dos usuários, ela é ainda mais determinante no TikTok.

A página “Para você” do TikTok, que conta com sistemas de IA para fornecer um conteúdo que imaginam que os usuários individuais irão gostar, é a forma padrão e predominante como as pessoas usam o aplicativo. O destaque da página “Para você” criou um caminho de fama viral para muitos usuários do TikTok, e é um dos recursos definidores do aplicativo: a forma como ele usa a IA para destacar certos vídeos ocasionalmente permite que alguém sem seguidores acumule milhões de visualizações da noite para o dia.

Mas a escolha do TikTok de dobrar os algoritmos surge em um momento de preocupações generalizadas sobre bolhas de filtro e viés algorítmico. E, como muitas outras redes sociais, o TikTok também usa a IA para ajudar os humanos a filtrar um grande número de postagens e excluir conteúdo questionável. Como resultado, pessoas como Bader, Kondratink e Touma, que tiveram seu conteúdo removido, ficam tentando analisar a caixa preta que é a IA.

O TikTok disse ao CNN Business que não toma medidas com base na forma do corpo ou outras características, como a empresa Adore Me alega, e ainda afirmou que fez questão de trabalhar com tecnologias de recomendação que refletem mais a diversidade e a inclusão. Além disso, a empresa disse que os posts dos Estados Unidos podem ser marcados por um sistema algorítmico, mas um ser humano é quem decide se vai retirá-los (fora dos Estados Unidos, o conteúdo pode ser removido automaticamente).

Sejamos claros: o TikTok não modera o conteúdo com base em forma, tamanho ou capacidade, e continuamente tomamos medidas para fortalecer nossas políticas e promover a aceitação do corpo.

Porta-voz do TikTok

No entanto, o TikTok limitou o alcance de certos vídeos no passado: em 2019, a empresa confirmou que havia feito isso, na tentativa de prevenir o bullying. O comunicado da empresa ocorreu após uma reportagem alegar que a plataforma tomou atitudes sobre posts de usuários com sobrepeso, entre outros.

Embora as empresas de tecnologia queiram sempre falar com a imprensa e os legisladores sobre sua confiança na IA para ajudar na moderação de conteúdo (alegando que é como podem gerenciar tal tarefa em grande escala), elas podem acabar ficando quietas quando algo dá errado. Como outras plataformas, o TikTok culpou “bugs” em seus sistemas e os revisores humanos por remoções de conteúdo polêmico no passado, incluindo aqueles ligados ao movimento Black Lives Matter. Além disso, os detalhes sobre o que pode ter acontecido podem ser escassos.

Os especialistas em IA reconhecem que os processos podem parecer confusos, em parte porque a tecnologia em si nem sempre é bem compreendida, mesmo por aqueles que a desenvolvem e a utilizam. Os sistemas de moderação de conteúdo em redes sociais normalmente usam o aprendizado de máquina, uma técnica de IA em que um computador aprende a fazer algo (como sinalizar nudez em fotos, por exemplo) ao digerir uma montanha de dados e aprender a detectar padrões. No entanto, embora possa funcionar bem para certas tarefas, nem sempre fica claro exatamente como funciona.

“Acabamos tendo pouca compreensão sobre esses algoritmos de aprendizado de máquina, os insights que obtêm e como tomam suas decisões”, disse Haroon Choudery, cofundador da AI for Anyone, uma organização sem fins lucrativos voltada para melhorar a educação em IA.

E o TikTok quer ser o garoto-propaganda para mudar isso.

A caixa preta da moderação de conteúdo

Em meio ao escrutínio internacional sobre questões de segurança e privacidade relacionadas ao aplicativo, o ex-CEO do TikTok Kevin Mayer disse, em julho passado, que a empresa abriria seu algoritmo para especialistas. O CEO disse, ainda, que essas pessoas seriam capazes de observar suas políticas de moderação em tempo real “e também examinar o código real que conduz nossos algoritmos”.

Mais de 20 especialistas e departamentos do Congresso participaram até agora (de forma virtual, por causa da pandemia de Covid), de acordo com um comunicado da empresa em setembro. Isso incluía mostrar como os modelos de IA do TikTok procuram por vídeos prejudiciais, e como o software os classifica em ordem de urgência para a análise de moderadores humanos.

Por fim, disse a empresa, os participantes em escritórios reais em Los Angeles ou Washington “poderão se sentar na cadeira de um moderador de conteúdo, usar nossa plataforma de moderação, revisar e rotular uma amostra de conteúdo e experimentar vários modelos de detecção”.

“A marca do TikTok é ser transparente”, disse Mutale Nkonde, membro do conselho consultivo do TikTok e pesquisador do Digital Civil Society Lab em Stanford.

Mesmo assim, é impossível saber exatamente o que acontece a cada decisão de remover um vídeo do TikTok. Os sistemas de IA com os quais grandes redes sociais contam para ajudar a moderar o que se pode ou não postar têm algo importante em comum: eles usam uma tecnologia que ainda é mais adequada para corrigir problemas pequenos, em vez de um problema generalizado, em constante mutação, e com tantas nuances que pode até ser difícil para um ser humano entender.

Por conta disso, Miriam Vogel, presidente e CEO da organização sem fins lucrativos EqualAI, que ajuda empresas a diminuir o preconceito em seus sistemas de IA, acha que as plataformas estão tentando fazer com que a IA abrace coisas demais quando se trata de moderar conteúdo.

A tecnologia também é propensa a preconceitos: como Vogel aponta, o aprendizado de máquina é baseado no reconhecimento de padrões, o que significa tomar decisões instantâneas com base em experiências anteriores. Isso por si só já é preconceito implícito, pois os dados sobre os quais um sistema é treinado e uma série de outros fatores podem apresentar muitos vieses relacionados a gênero, raça ou outros.

A IA é certamente uma ferramenta útil, e pode gerar eficiências e benefícios tremendos. Mas só se estivermos cientes de suas limitações.

Miriam Vogel, presidente e CEO da organização sem fins lucrativos EqualAI

Como Nkonde apontou, um sistema de IA que analisa um texto postado por usuários pode ter sido treinado para detectar certas palavras como insultos: “grande”, “gordo” ou “grosso”, por exemplo. Esses termos foram reivindicados como positivos entre aqueles na comunidade de positividade corporal, mas a IA não conhece esse contexto social, ela só sabe identificar padrões nos dados.

Além disso, o TikTok emprega milhares de moderadores, incluindo funcionários em tempo integral e freelancers. A maioria está localizada nos Estados Unidos, mas também há moderadores contratados no sudeste asiático. Isso pode resultar em uma situação em que um moderador nas Filipinas, por exemplo, pode não saber o que é positividade corporal, comentou. Portanto, se esse tipo de vídeo for marcado pela IA e não fizer parte do contexto cultural do moderador, ele pode removê-lo.

Os moderadores e seu trabalho nas sombras

Ainda não está exatamente claro como os sistemas do TikTok falharam com Bader, Touma e outras, mas especialistas em IA disseram que há maneiras de melhorar a forma como a empresa e outros moderam o conteúdo. Em vez de focar em algoritmos melhores, no entanto, eles dizem que é importante prestar atenção ao trabalho que deve ser feito por humanos.

Liz O’Sullivan, vice-presidente de IA responsável da Arthur, uma empresa de auditoria de algoritmos, acredita que parte da solução para melhorar a moderação de conteúdo geralmente está em elevar o trabalho realizado por esses funcionários.

Muitas vezes, ela observou, os moderadores trabalham nas sombras do setor de tecnologia: o trabalho é terceirizado para call centers em todo o mundo como um contrato de trabalho mal pago, apesar de envolver imagens, textos e vídeos muitas vezes desagradáveis (ou com adjetivos ainda piores) para serem classificados.

Para combater preconceitos indesejados, O’Sullivan disse que a empresa também precisa examinar cada etapa da construção de seu sistema de IA, incluindo a curadoria dos dados usados para treinar a IA. Para o TikTok, que já possui um sistema instalado, isso também pode significar manter uma vigilância mais intensa sobre como o software faz seu trabalho.

Vogel concordou, dizendo que as empresas precisam ter um processo claro, não apenas para verificar os sistemas de IA quanto a vieses, mas também para determinar quais vieses estão procurando, quem é responsável por procurá-los e quais tipos de resultados são bons ou não.

“Você não pode remover os humanos do sistema”, disse ela.

Se as mudanças não forem feitas, as consequências podem ser sentidas não apenas pelos usuários das redes sociais, mas também pelas próprias empresas de tecnologia. “Isso diminuiu minha empolgação pela plataforma”, disse Kondratink. “Eu pensei em deletar meu TikTok”.

(Texto traduzido, clique aqui para ler o original em inglês).