O clipe é de um evento histórico real – um exposição proferido pelo ditador nazista Adolf Hitler em 1939, no início da Segunda Guerra Mundial.
Mas há uma grande diferença. Oriente vídeo viral foi desarranjado pela perceptibilidade sintético e nele Hitler faz comentários anti-semitas em inglês.
Um influenciador de conspiração de extrema direita compartilhou o teor no X, anteriormente divulgado porquê Twitter, no início deste ano, e rapidamente acumulou mais de 15 milhões de visualizações, informou a revista Wired em março.
É exclusivamente um exemplo do que pesquisadores e organizações que monitoram teor de ódio chamam de tendência preocupante.
Dizem que o ódio gerado pela IA está aumentando.
“Acho que todos que pesquisam teor de ódio ou mídia de ódio estão vendo cada vez mais teor gerado por IA”, disse Peter Smith, jornalista que trabalha com a Rede Canadense Anti-Ódio.
Chris Tenove, diretor assistente do Núcleo para o Estudo de Instituições Democráticas da Universidade da Colúmbia Britânica, disse que grupos de ódio, porquê os grupos de supremacia branca, “têm sido historicamente os primeiros a adotar as novas tecnologias e técnicas da Internet”.
É uma preocupação que um órgão consultivo da ONU sinalizou em dezembro. Disse estar “profundamente preocupado” com a possibilidade de teor antissemita, islamofóbico, racista e xenófobo “poder ser sobrecarregado por IA generativa”.
Às vezes, esse teor pode eclodir na vida real.
Depois que a IA foi usada para gerar o que Smith descreveu porquê “pôsteres de filmes extremamente racistas ao estilo da Pixar”, alguns indivíduos imprimiram os cartazes e os afixaram nas laterais dos cinemas, disse ele.
“Tudo o que está disponível ao público, que é popular ou emergente, mormente quando se trata de tecnologia, é rapidamente ajustado para produzir propaganda de ódio”.
Maior facilidade de geração e divulgação
Os sistemas generativos de IA podem gerar imagens e vídeos quase instantaneamente com exclusivamente um simples prompt.
Em vez de um tipo destinar horas para fazer uma única imagem, eles podem fazer dezenas “no mesmo período de tempo, exclusivamente com algumas teclas”, disse Smith.
A B’nai Brith Canada sinalizou a questão do teor de ódio gerado por IA em um relatório recente sobre anti-semitismo.
O relatório diz que no ano pretérito houve um “aumento sem precedentes de imagens e vídeos antissemitas que foram criados ou adulterados e falsificados usando IA”.
O diretor de pesquisa e resguardo, Richard Robertson, disse que o grupo observou que “imagens realmente horríveis e gráficas, geralmente relacionadas à negação, subtracção ou distorção do Sacrifício, estavam sendo produzidas usando IA”.
Ele citou o exemplo de uma imagem adulterada representando um campo de concentração com um parque de diversões dentro dele.
“As vítimas do Sacrifício estão viajando, aparentemente se divertindo em um campo de concentração nazista, e sem incerteza isso é um pouco que só poderia ser produzido usando IA”, disse ele.
O relatório da organização também afirma que a IA “teve um grande impacto” na propagação da propaganda posteriormente a guerra Israel-Hamas.
A IA pode ser usada para gerar deepfakes ou vídeos que apresentam simulações notavelmente realistas de celebridades, políticos ou outras figuras públicas.
Tenove disse que deepfakes no contexto da guerra Israel-Hamas causaram a disseminação de informações falsas sobre os eventos e atribuíram falsas alegações tanto aos militares israelenses quanto às autoridades do Hamas.
“Portanto tem havido esse tipo de coisa, que tenta atiçar a raiva ou o terror das pessoas em relação ao outro lado e usa o ilusão para fazer isso.”
Jimmy Lin, professor da escola de ciência da computação da Universidade de Waterloo, concorda que houve “um aumento em termos de teor falso… que é projetado especificamente para irritar as pessoas de ambos os lados”.
Amira Elghawaby, representante peculiar do Canadá para o combate à islamofobia, diz que tem havido um aumento nas narrativas anti-semitas e islamofóbicas desde o início do conflito.
Ela diz que a questão da IA e do teor de ódio implora por mais estudo e discussão.
Não há discordância de que o teor de ódio gerado pela IA é uma questão emergente, mas os especialistas ainda não chegaram a um consenso sobre a extensão do problema.
Tenove disse que há “muitas suposições por aí agora”, semelhantes a questões sociais mais amplas sobre “teor prejudicial ou problemático que se espalha em plataformas de mídia social”.
Liberais dizem que novo projeto de lei abordará algumas preocupações
Sistemas porquê o ChatGPT possuem proteções integradas, disse Lin. Um porta-voz da OpenAI confirmou que antes de a empresa lançar qualquer novo sistema, ela ensina o protótipo a se recusar a gerar exposição de ódio.
Mas Lin disse que existem maneiras de desbloquear sistemas de IA, observando que certos prompts podem “enganar o protótipo” para produzir o que ele descreveu porquê teor repugnante.
David Evan Harris, pesquisador público da Universidade da Califórnia, Berkeley, disse que é difícil saber de onde vem o teor de IA, a menos que as empresas por trás desses modelos garantam que ele tenha marca d’chuva.
Ele disse que alguns modelos de IA, porquê os fabricados pela OpenAI ou pelo Google, são modelos de código fechado. Outros, porquê Meta’s Llama, são disponibilizados de forma mais ensejo.
Uma vez que um sistema é ingénuo a todos, ele disse que os malfeitores podem retirar recursos de segurança e produzir discursos de ódio, golpes e mensagens de phishing de maneiras que são muito difíceis de detectar.
Um expedido da Meta disse que a empresa incorpora salvaguardas em seus sistemas e não abre o código de “tudo”.
“O software de código ingénuo é normalmente mais seguro e protegido devido ao feedback contínuo, escrutínio, desenvolvimento e mitigações da comunidade”, afirmou.
No Canadá, existe legislação federalista que, segundo o governo liberal, ajudará a resolver o problema. Isso inclui o projeto de lei C-63, uma proposta de lei para tratar dos danos online.
Chantalle Aubertin, porta-voz do ministro da Justiça, Arif Virani, disse que a definição do projeto de lei de teor que fomenta o ódio inclui “qualquer tipo de teor, porquê imagens e vídeos, e qualquer teor gerado artificialmente, porquê deepfakes”.
A Innovation Canada disse que sua proposta de legislação de regulamentação de perceptibilidade sintético, Bill C-27, exigiria que o teor de IA fosse identificável, por exemplo, por meio de marca d’chuva.
Um porta-voz disse que o projeto de lei também “exigiria que as empresas responsáveis por sistemas de IA de cimeira impacto e de uso universal avaliassem os riscos e testassem e monitorassem seus sistemas para prometer que estejam funcionando conforme solicitado, e implementassem medidas de mitigação apropriadas para mourejar com quaisquer riscos”. de dano.”