O uso de conteúdo gerado por Inteligência Artificial (IA) tem se tornado uma prática cada vez mais comum entre grupos extremistas que disseminam mensagens de ódio na internet. Eles desafiam o controle das plataformas e buscam atrair apoiadores utilizando imagens, áudios e vídeos sintéticos para propagar discursos violentos.

Um relatório recente do Middle East Media Research Institute (Memri), que contém mais de 200 páginas, detalha dezenas de exemplos de como a IA está sendo empregada por essas organizações como uma ferramenta de disseminação de ódio, conforme informações do Globo.

Os casos incluem músicas que imitam vozes de artistas populares, como Taylor Swift, incitando violência contra pessoas negras, e imagens estereotipadas de judeus espalhando teorias conspiratórias, que são divulgadas em plataformas como Telegram e X. A IA também tem sido usada para clonar vozes de figuras políticas e criar discursos supremacistas brancos ou neonazistas.

No final de julho, um ataque em Southport, no Reino Unido, resultou na morte de três crianças e dois adultos. No mesmo dia, uma conta no X com mais de 400 mil seguidores publicou uma imagem gerada por Inteligência Artificial (IA) que mostrava homens com vestes muçulmanas, armados com facas, perseguindo um bebê.

A imagem, que trazia o Parlamento britânico ao fundo e a mensagem “precisamos proteger nossas crianças”, alcançou 920 mil visualizações até a última sexta-feira. Desde então, o perfil tem utilizado imagens geradas por IA para fomentar manifestações violentas que tomaram várias cidades britânicas nos últimos dias.

Em um dos casos documentados, Rinaldo Nazzaro, ex-líder do grupo neonazista “A Base”, que recentemente foi incluído na lista de organizações terroristas da União Europeia (UE), compartilhou em uma comunidade no Telegram prints de uma conversa com o ChatGPT.

Na conversa, a IA fornecia informações sobre redes de infraestrutura críticas dos EUA que seriam mais vulneráveis a ataques físicos. Nos últimos dias, imagens geradas por IA exaltando os protestos no Reino Unido contra imigrantes também começaram a circular entre os neonazistas monitorados pelo Memri.

Vale destacar que a criação de imagens estereotipadas e conspiratórias, a tradução de discursos de líderes fascistas, a manipulação de vídeos, a clonagem de vozes e a produção de deepfakes estão entre os principais usos da IA por grupos neonazistas.

Nos últimos meses, além do Memri, outros grupos de pesquisa que monitoram a disseminação de discurso de ódio e violência online têm emitido alertas sobre a crescente apropriação da IA por essas organizações.

Um estudo inicial do grupo Tech Against Terrorism identificou 5 mil peças de conteúdo criado por IA generativa, compartilhadas por supremacistas brancos, bem como por membros de organizações terroristas como o Estado Islâmico (EI) e a al-Qaeda.