Os chatbots de IA avançada têm menos probabilidade de admitir que não têm todas as respostas #ÚltimasNotícias #tecnologia

Pesquisadores identificaram uma desvantagem aparente de chatbots mais inteligentes. Embora os modelos de IA previsivelmente se tornem mais precisos à medida que avançam, eles também são mais propensos a (erroneamente) responder perguntas além de suas capacidades em vez de dizer “não sei”. E os humanos que os induzem são mais propensos a levar suas alucinações confiantes ao pé da letra, criando um efeito cascata de desinformação confiante.

“Eles estão respondendo a quase tudo hoje em dia”, disse José Hernández-Orallo, professor da Universidade Politécnica de Valência, Espanha. Natureza. “E isso significa mais correto, mas também mais incorreto.” Hernández-Orallo, o líder do projeto, trabalhou no estudo com seus colegas do Instituto Valenciano de Pesquisa em Inteligência Artificial, na Espanha.

A equipe estudou três famílias LLM, incluindo a série GPT da OpenAI, o LLaMA da Meta e o BLOOM de código aberto. Eles testaram versões iniciais de cada modelo e passaram para versões maiores e mais avançadas — mas não as mais avançadas de hoje. Por exemplo, a equipe começou com o modelo ada GPT-3 relativamente primitivo da OpenAI e testou iterações que levaram ao GPT-4, que chegou em março de 2023. O GPT-4o de quatro meses não foi incluído no estudo, nem o mais novo o1-preview. Eu ficaria curioso para saber se a tendência ainda se mantém com os modelos mais recentes.

Os pesquisadores testaram cada modelo em milhares de perguntas sobre “aritmética, anagramas, geografia e ciência”. Eles também questionaram os modelos de IA sobre sua capacidade de transformar informações, como alfabetizar uma lista. A equipe classificou seus prompts por dificuldade percebida.

Os dados mostraram que a parcela de respostas erradas dos chatbots (em vez de evitar perguntas completamente) aumentou conforme os modelos cresceram. Então, a IA é um pouco como um professor que, conforme domina mais matérias, cada vez mais acredita ter as respostas de ouro para todas elas.

Para complicar ainda mais as coisas, os humanos estão ativando os chatbots e lendo suas respostas. Os pesquisadores deram aos voluntários a tarefa de avaliar a precisão das respostas dos bots de IA, e descobriram que eles “classificaram incorretamente respostas imprecisas como precisas com surpreendente frequência”. A faixa de respostas erradas falsamente percebidas como certas pelos voluntários geralmente ficava entre 10 e 40 por cento.

“Os humanos não são capazes de supervisionar esses modelos”, concluiu Hernández-Orallo.

A equipe de pesquisa recomenda que os desenvolvedores de IA comecem a aumentar o desempenho para perguntas fáceis e a programar os chatbots para se recusarem a responder perguntas complexas. “Precisamos que os humanos entendam: ‘Eu posso usar isso nesta área, e não devo usar isso naquela área’”, disse Hernández-Orallo Natureza.

É uma sugestão bem-intencionada que poderia fazer sentido em um mundo ideal. Mas há pouca chance de empresas de IA obedecerem. Chatbots que dizem mais frequentemente “não sei” provavelmente seriam percebidos como menos avançados ou valiosos, levando a menos uso — e menos dinheiro para as empresas que os fabricam e vendem. Então, em vez disso, recebemos avisos em letras miúdas de que “ChatGPT pode cometer erros” e “Gemini pode exibir informações imprecisas”.

Isso nos deixa a responsabilidade de evitar acreditar e espalhar desinformação alucinada que pode nos machucar ou machucar outros. Para precisão, verifique as respostas do seu chatbot, pelo amor de Deus.

Você pode ler o estudo completo da equipe em Natureza.