O modo de voz do ChatGPT é capaz de fazer coisas estranhas — mas veja como a OpenAI está lidando com isso. #ÚltimasNotícias #tecnologia

O Modo de Voz do ChatGPT tem algumas falhas de segurança, mas a OpenAI diz que está superando isso.

Na quinta-feira, a OpenAI publicou um relatório sobre os recursos de segurança do GPT-4o, abordando problemas conhecidos que ocorrem ao usar o modelo. O GPT-4o é o modelo subjacente que alimenta a versão mais recente do ChatGPT e vem com um Modo de Voz que foi lançado recentemente para um grupo seleto de usuários com uma assinatura do ChatGPT Plus.

Os “desafios de segurança” identificados incluem riscos padrão como incitar o modelo com respostas eróticas e violentas, outros conteúdos não permitidos e “inferência infundada” e “atribuição de traços sensíveis” — suposições que podem ser discriminatórias ou tendenciosas, em outras palavras. A OpenAI diz que treinou o modelo para bloquear quaisquer saídas sinalizadas nessas categorias. No entanto, o relatório também diz que as mitigações não incluem “vocalizações não verbais ou outros efeitos sonoros”, como gemidos eróticos, gritos violentos e tiros. Pode-se inferir, então, que incitações envolvendo certos sons não verbais sensíveis podem receber uma resposta indevidamente.

A OpenAI também mencionou desafios únicos que vêm com a comunicação vocal com o modelo. Os membros da Red-Team descobriram que o GPT-4o poderia ser solicitado a personificar alguém ou emular acidentalmente a voz do usuário. Para combater isso, a OpenAI permite apenas vozes pré-autorizadas (menos a notória voz que soa como Scarlett Johansson). O GPT-4o também pode identificar outras vozes além da voz do falante, o que apresenta um sério problema de privacidade e vigilância. Mas ele foi treinado para negar essas solicitações — a menos que o modelo esteja sendo solicitado por uma citação famosa.

Os membros da Red-Team também notaram que o GPT-4o poderia ser solicitado a falar de forma persuasiva ou enfática, um recurso que poderia ser mais prejudicial do que saídas de texto quando se trata de desinformação e teorias da conspiração.

Notavelmente, a OpenAI também abordou potenciais problemas de direitos autorais que têm atormentado a empresa e o desenvolvimento geral da IA ​​generativa, que treina em dados extraídos da web. O GPT-4o foi treinado para recusar solicitações de conteúdo protegido por direitos autorais e tem filtros adicionais para bloquear saídas contendo música. Sobre isso, o Modo de Voz do ChatGPT foi direcionado para não cantar sob nenhuma circunstância.

As inúmeras mitigações de risco da OpenAI cobertas no longo documento foram realizadas antes do Voice Mode ser lançado. Então a mensagem ostensiva do relatório diz que, embora o GPT-4o seja capaz de certo comportamento arriscado, ele não o fará.

No entanto, a OpenAI diz: “Essas avaliações medem apenas o conhecimento clínico desses modelos e não medem sua utilidade em fluxos de trabalho do mundo real”. Então, ele foi testado em um ambiente controlado, mas quando o público em geral tiver o GPT-4o em mãos, ele poderá ser uma fera diferente quando estiver disponível.

O Mashable entrou em contato com a OpenAI para obter mais esclarecimentos sobre essas mitigações e atualizará a informação se recebermos uma resposta.