Ele diz que, em geral, adolescentes do sexo feminino recebiam recomendações de conteúdo muito diferente com base em seus interesses.

O TikTok e outras empresas de rede social usam ferramentas de inteligência artificial (IA) para remover a grande maioria do conteúdo prejudicial e sinalizar outros conteúdos para que sejam analisados por moderadores humanos, independentemente do número de visualizações que tiveram.

Mas as ferramentas de IA não conseguem identificar tudo.

Andrew Kaung afirma que durante o tempo em que trabalhou no TikTok, todos os vídeos que não fossem removidos ou repassados para moderadores humanos pela inteligência artificial — ou denunciados por outros usuários aos moderadores — só seriam analisados ​​novamente manualmente se atingissem um determinado patamar de audiência.

Ele diz que, em dado momento, este patamar foi definido como 10 mil visualizações ou mais.

Ele temia que isso significasse que alguns usuários mais jovens estivessem sendo expostos a vídeos prejudiciais.

A maioria das principais empresas de rede social permite que pessoas com 13 anos ou mais se inscrevam.

O TikTok afirma que 99% do conteúdo que remove por violar suas regras é retirado por inteligência artificial ou moderadores humanos antes de alcançar 10 mil visualizações.

A plataforma também diz que realiza investigações proativas em vídeos com menos visualizações do que isso.

Quando trabalhou na Meta entre 2019 e dezembro de 2020, Andrew Kaung conta que havia um problema diferente.

Segundo ele, embora a maioria dos vídeos fosse removida ou repassada para moderadores por ferramentas de inteligência artificial, a plataforma dependia de usuários para denunciar outros vídeos depois de já tê-los visto.

Ele diz que levantou preocupações enquanto estava em ambas as empresas, mas se deparou sobretudo com a inércia, segundo ele, devido a temores sobre a quantidade de trabalho ou o custo envolvido.

Ele conta que foram feitas algumas melhorias posteriormente no TikTok e na Meta, mas que os usuários mais jovens, como Cai, foram deixados em situação de risco nesse meio tempo.

Vários ex-funcionários das empresas de redes sociais disseram à BBC que as preocupações de Andrew Kaung eram legítimas.

Os algoritmos de todas as grandes empresas de rede social têm recomendado conteúdo prejudicial para crianças, mesmo que involuntariamente, afirmou o Ofcom, o órgão regulador de mídia do Reino Unido, à BBC.

"As empresas têm feito vista grossa e têm tratado as crianças como tratam os adultos", diz Almudena Lara, diretora de desenvolvimento de políticas de segurança online do Ofcom.

'Meu amigo precisava de um choque de realidade'

O TikTok disse à BBC que tem configurações de segurança "líderes do setor" para adolescentes — e emprega mais de 40 mil pessoas para manter os usuários seguros.

A plataforma afirmou que só neste ano espera investir "mais de US$ 2 bilhões em segurança" — e encontra proativamente 98% do conteúdo que remove por violar suas regras.

Já a Meta, proprietária do Instagram e do Facebook, diz que conta com mais de 50 ferramentas, recursos e funcionalidades diferentes para oferecer aos adolescentes "experiências positivas e adequadas à idade".

Cai contou à BBC que tentou usar uma das ferramentas do Instagram, e uma semelhante no TikTok, para dizer que não estava interessado em conteúdo violento ou misógino — mas diz que continuou recebendo recomendações.

Ele se interessa por UFC, competição de artes marciais mistas. E também se viu assistindo a vídeos de influenciadores controversos quando foram recomendados para ele, mas diz que não queria receber esse tipo de conteúdo mais extremo.

"Você fica com a imagem na cabeça, e não consegue tirar de lá. [Isso] fica marcado na mente. E você fica pensando naquilo pelo resto do dia", relata.

Ele acrescenta que as meninas que ele conhece, que têm a mesma idade, recebem recomendações de vídeos sobre temas como música e maquiagem, em vez de violência.

Agora com 18 anos, Cai conta que continuam oferecendo para ele conteúdo violento e misógino no Instagram e no TikTok.

Quando navegamos pelos Reels (vídeos curtos) do Instagram dele, vemos uma imagem menosprezando a violência doméstica. Ela mostra dois personagens lado a lado, um deles com hematomas, com a legenda: "Minha linguagem do amor". Outra mostra uma pessoa sendo atropelada por um caminhão.

Cai diz que percebeu que vídeos com milhões de curtidas podem persuadir outros jovens da sua idade.

Ele conta, por exemplo, que um dos seus amigos foi atraído pelo conteúdo de um influenciador controverso — e começou a adotar opiniões misóginas.

Segundo Cai, o amigo dele "foi longe demais".

"Ele começou a dizer coisas sobre as mulheres. É como se você tivesse que dar ao seu amigo um choque de realidade."

Cai diz que comentou em postagens para dizer que não gostava delas e, quando acidentalmente curtiu vídeos, tentou "descurtir", na esperança de que isso reiniciasse os algoritmos. Mas ele afirma que acabou com mais vídeos inundando seus feeds.

Mas, afinal de contas, como os algoritmos do TikTok funcionam?

De acordo com Andrew Kaung, o que fomenta os algoritmos é o engajamento, independentemente de o engajamento ser positivo ou negativo. Isso pode explicar, em parte, por que os esforços de Cai para manipular os algoritmos não estavam funcionando.

O primeiro passo para os usuários é especificar quais são seus interesses quando se inscrevem. Andrew diz que parte do conteúdo inicialmente oferecido pelos algoritmos para, digamos, um jovem de 16 anos, é baseado nas preferências que eles indicam, e nas preferências de outros usuários de idade semelhante, em locais semelhantes.

De acordo com o TikTok, os algoritmos não são informados pelo gênero do usuário. Mas Andrew afirma que os interesses que os adolescentes manifestam quando se inscrevem, geralmente têm o efeito de dividi-los de acordo com o gênero.

O ex-funcionário do TikTok diz que alguns meninos de 16 anos podem ser expostos a conteúdo violento "imediatamente", porque outros usuários adolescentes com preferências semelhantes manifestaram interesse por este tipo de conteúdo —mesmo que isso signifique apenas gastar mais tempo em um vídeo que prenda a atenção deles por um pouco mais de tempo.

Os interesses indicados por muitas adolescentes do sexo feminino nos perfis que ele analisou — "cantoras pop, músicas, maquiagem" — significavam que esse conteúdo violento não era recomendado para elas, diz ele.

Andrew explica que os algoritmos utilizam o "aprendizado por reforço" — um método em que os sistemas de inteligência artificial aprendem por tentativa e erro — e se treinam para detectar o comportamento em relação a diferentes vídeos.

Ele diz que eles são desenvolvidos para maximizar o engajamento, mostrando vídeos que eles esperam que você passe mais tempo assistindo, comentando ou curtindo — tudo isso para que você volte para ver mais.

O algoritmo que recomenda conteúdo para a aba "Para Você" do TikTok, ele diz, nem sempre diferencia entre conteúdo prejudicial e não prejudicial.

De acordo com Andrew, um dos problemas que ele identificou quando trabalhava no TikTok era que as equipes envolvidas no treinamento e codificação desse algoritmo nem sempre sabiam a natureza exata dos vídeos que ele estava recomendando.

"Eles veem o número de espectadores, a idade, a tendência, esse tipo de dado muito abstrato. Eles não seriam necessariamente expostos ao conteúdo", explica o ex-analista do TikTok.

Foi por isso que, em 2022, ele e um colega decidiram dar uma olhada em que tipos de vídeos estavam sendo recomendados para uma variedade de usuários, incluindo alguns de 16 anos.

Ele conta que eles ficaram preocupados com o conteúdo violento e prejudicial sendo oferecido a alguns adolescentes — e sugeriram ao TikTok que atualizasse seu sistema de moderação.

Eles queriam que o TikTok rotulasse claramente os vídeos para que todos que trabalham lá pudessem ver por que eles eram prejudiciais — violência extrema, abuso, pornografia e assim por diante —, e contratasse mais moderadores especializados nestas diferentes áreas. Andrew diz que suas sugestões foram rejeitadas na época.

O TikTok afirmou que tinha moderadores especializados na época e, conforme a plataforma cresceu, continuou a contratar mais. Também disse que separou diferentes tipos de conteúdo prejudicial — no que chama de filas — para os moderadores.

'É como pedir a um tigre para não comer você'

Andrew Kaung afirma que, de dentro do TikTok e da Meta, foi muito difícil fazer as mudanças que ele achava necessárias.

"Estamos pedindo a uma empresa privada, cujo interesse é promover seus produtos, que se modere, o que é como pedir a um tigre para não comer você", diz ele.

Ele também acredita que a vida de crianças e adolescentes seria melhor se eles parassem de usar smartphones.

Mas, para Cai, proibir adolescentes de usar celular ou redes sociais não é a solução. O smartphone é parte integrante da sua vida — uma maneira muito importante de se comunicar com os amigos, navegar quando está fora de casa e comprar coisas.

Em vez disso, ele quer que as empresas de rede social deem mais ouvidos ao que os adolescentes não querem ver. Ele quer que as empresas tornem as ferramentas que permitem que os usuários indiquem suas preferências mais eficazes.

"Sinto que as empresas de rede social não respeitam sua opinião, desde que renda dinheiro a elas", diz Cai.

No Reino Unido, uma nova lei vai forçar as empresas de rede social a verificar a idade das crianças, e impedir que as plataformas recomendem pornografia ou outro tipo de conteúdo prejudicial aos jovens. O Ofcom, órgão regulador de mídia do Reino Unido, é responsável por aplicá-la.

Almudena Lara, diretora de desenvolvimento de políticas de segurança online do Ofcom, afirma que, embora o conteúdo prejudicial que afeta predominantemente mulheres jovens — como vídeos que promovem transtornos alimentares e automutilação — tenha estado, com razão, sob os holofotes, as vias algorítmicas que levam o ódio e a violência sobretudo para adolescentes e jovens do sexo masculino receberam menos atenção.

"Tende a ser uma minoria de [crianças] que é exposta ao conteúdo mais prejudicial. Mas sabemos, no entanto, que uma vez que você é exposto a esse conteúdo prejudicial, ele se torna inevitável", diz Lara.

O Ofcom afirma que pode multar as empresas e abrir processos criminais se elas não fizerem o suficiente, mas as medidas só vão entrar em vigor em 2025.

No Brasil, o debate sobre a regulação e moderação de conteúdo nas plataformas digitais vem ficando mais acirrado nos últimos anos — com o avanço de alguns projetos de lei em tramitação no Congresso. Entre eles, o PL 2.628/2022, que prevê a criação de mecanismos para proteger especificamente crianças e adolescentes em ambientes digitais, como as redes sociais.

A resolução 245 do Conselho Nacional dos Direitos da Criança e do Adolescente (Conanda), publicada neste ano, também representa um avanço neste sentido, estabelecendo entre outras coisas diretrizes que as empresas provedoras de produtos e serviços digitais devem adotar para garantir e proteger os direitos deste público.

O TikTok diz que usa "tecnologia inovadora" e fornece configurações de segurança e privacidade "líderes do setor" para adolescentes, incluindo sistemas para bloquear conteúdo que pode não ser adequado, e que não permite violência extrema ou misoginia.

A Meta, dona do Instagram e do Facebook, afirma que conta com mais de "50 ferramentas, recursos e funcionalidades diferentes" para oferecer aos adolescentes "experiências positivas e adequadas à idade". De acordo com a Meta, a empresa busca feedback de suas próprias equipes, e potenciais mudanças de política passam por um processo sólido.