Hospitais usam uma ferramenta de transcrição alimentada por um modelo OpenAI propenso a alucinações #ÚltimasNotícias #tecnologia

Há alguns meses, meu médico exibiu uma ferramenta de transcrição de IA que ele usou para registrar e resumir as reuniões com seus pacientes. No meu caso, o resumo estava bom, mas os pesquisadores citados por ABC Notícias descobriram que nem sempre é o caso do Whisper da OpenAI, que alimenta uma ferramenta usada por muitos hospitais – às vezes, apenas inventa tudo.

O Whisper é usado por uma empresa chamada Nabla para uma ferramenta de transcrição médica que estima ter transcrito 7 milhões de conversas médicas, de acordo com ABC Notícias. Mais de 30.000 médicos e 40 sistemas de saúde o utilizam, escreve o veículo. Nabla está supostamente ciente de que Whisper pode ter alucinações e está “resolvendo o problema”.

Um grupo de pesquisadores da Universidade Cornell, da Universidade de Washington e outros descobriram em um estudo que Whisper alucinava em cerca de 1% das transcrições, inventando frases inteiras com sentimentos às vezes violentos ou frases sem sentido durante os silêncios nas gravações. Os pesquisadores, que coletaram amostras de áudio do AphasiaBank do TalkBank como parte do estudo, observam que o silêncio é particularmente comum quando alguém com um distúrbio de linguagem chamado afasia está falando.

Uma das pesquisadoras, Allison Koenecke, da Universidade Cornel, postou exemplos como o abaixo em um tópico sobre o estudo.

Os pesquisadores descobriram que as alucinações também incluíam condições médicas inventadas ou frases que você esperaria de um vídeo do YouTube, como “Obrigado por assistir!” (A OpenAI costumava transcrever mais de um milhão de horas de vídeos do YouTube para treinar o GPT-4.)

O estudo foi apresentado em junho na conferência da Association for Computing Machinery FAccT no Brasil. Não está claro se foi revisado por pares.

A porta-voz da OpenAI, Taya Christianson, enviou uma declaração por e-mail para A beira:

Levamos esta questão a sério e trabalhamos continuamente para melhorar, incluindo a redução das alucinações. Para uso do Whisper em nossa plataforma API, nossas políticas de uso proíbem o uso em determinados contextos de tomada de decisão de alto risco, e nosso cartão modelo para uso de código aberto inclui recomendações contra o uso em domínios de alto risco. Agradecemos aos pesquisadores por compartilhar suas descobertas.

Continue após a publicidade