Médicos usam IA para responder mensagens de pacientes; tendência preocupa especialistas #ÚltimasNotícias

• Mulher de 80 anos, que parece ter 40, viraliza no TikTok ao revelar segredo da juventude: ‘não ter um homem em casa’
• Entenda: O truque de tomar cerveja sem engordar

No entanto, cada vez mais, as respostas a essas mensagens não são escritas por médicos — pelo menos, não totalmente. Cerca de 15 mil médicos e seus assistentes, em mais de 150 sistemas de saúde, estão usando um novo recurso de inteligência artificial no MyChart para elaborar respostas a essas mensagens.

Muitos pacientes que recebem essas respostas não têm ideia de que foram escritos com ajuda de inteligência artificial (IA). Em entrevistas, representantes de vários sistemas de saúde que utilizam a ferramenta não divulgaram que as mensagens contêm conteúdo gerado por IA.

A tendência preocupa alguns especialistas, que temem que os médicos possam não estar atentos o suficiente para detectar erros potencialmente perigosos em mensagens médicas significativas elaboradas por inteligência artificial.

Em uma indústria que tem usado amplamente IA para lidar com inteligência com tarefas administrativas, como resumir notas de consultas ou solicitar negativas de segurança, críticos temem que a ampla adoção da ferramenta MyChart tenha permitido que uma invasão artificial na tomada de decisões clínicas e as relações entre médicos e pacientes.

A ferramenta já pode ser instruída a escrever na voz de um médico individual. Mas não redija sempre respostas corretas.

— A proposta de venda é que isso deve economizar tempo, para que eles possam passar mais tempo conversando com os pacientes — explica Athmeya Jayaram, pesquisadora do Centro Hastings, um instituto de pesquisa em bioética em Garrison, em Nova York. — No caso, estão tentando economizar tempo falando com os pacientes com IA generativa.

Durante o pico da pandemia, quando as consultas presenciais eram frequentemente reservadas para os pacientes mais graves, muitos recorreram às mensagens do MyChart como uma rara linha direta de comunicação com seus médicos. Apenas anos mais tarde, os provedores perceberam um problema: mesmo após a maioria dos aspectos da saúde ter voltado ao normal, ainda estavam sobrecarregados com mensagens de pacientes.

Médicos já sobrecarregados estavam repentinamente passando por intervalos para o almoço e noites respondendo essas demandas. Os líderes hospitalares temiam que, se não encontrassem uma maneira de reduzir esse trabalho extra — em grande parte não remunerado —, as mensagens dos pacientes se tornariam um grande fator de esgotamento entre os profissionais da saúde.

Assim, no início de 2023, quando a Epic, gigante de software que desenvolveu o MyChart, começou a oferecer uma nova ferramenta que usava IA para compor respostas, alguns dos maiores centros médicos acadêmicos do país estavam ansiosos para adotá-la. Ao invés de começar cada mensagem com uma tela em branco, o médico vê uma resposta gerada automaticamente acima da pergunta do paciente.

A resposta é criada com uma versão do GPT-4 (a tecnologia por trás do ChatGPT), que está em conformidade com as leis de privacidade médica. A ferramenta MyChart, chamada In Basket Art, utiliza o contexto das mensagens anteriores do paciente e informações de seus registros médicos eletrônicos, como uma lista de medicamentos, para criar um rascunho para que os provedores possam aprovar ou alterar.

Ao permitir que os médicos atuem mais como editores, os sistemas de saúde esperados consigam responder mais rapidamente às mensagens dos pacientes e gastem menos energia mental ao fazê-lo. Isso foi parcialmente confirmado em estudos iniciais, que dizia respeito à arte, sentimentos de esgotamento e carga cognitiva, mas não necessariamente economizava tempo.

Centenas de clínicos na UC San Diego Health, mais de cem provedores na UW Health, em Wisconsin, e todos os clínicos licenciados nas práticas de cuidados primários do Stanford Health Care — incluindo médicos, enfermeiros e farmacêuticos — têm acesso à ferramenta de IA. Duzentos médicos da Northwestern Health, da Universidade de Nova Yourk. Langone Health e UNC Health estão testando a Art enquanto os líderes consideram uma expansão mais ampla.

Na ausência de regulamentações federais fortes ou estruturas éticas amplamente aceitas, cada sistema de saúde decide como testar a segurança da ferramenta e deve informar os pacientes sobre seu uso.

Alguns sistemas hospitalares, como o UC San Diego Health, colocam uma divulgação na parte inferior de cada mensagem explicando que ela foi “gerada automaticamente” e revisada e editada por um médico.

— Não vejo, pessoalmente, nenhuma desvantagem em ser transparente — avalia Christopher Longhurst, o chefe clínico e oficial de inovação do sistema de saúde.

Os pacientes geralmente aceitam bem a nova tecnologia, conta ele. (Um médico recebeu um e-mail dizendo: “Quero ser o primeiro a te parabenizar pelo seu co-piloto de ia e ser o primeiro a te enviar uma mensagem de paciente gerada por ela”)

Outros sistemas — incluindo Stanford Health Care, UW Health, UNC Health e NYU Langone Health — decidiram que notificariam as causas mais mal do que bem. Alguns administradores temiam que os médicos vissem o aviso como uma desculpa para enviar mensagens aos pacientes sem revisar os detalhes, relembra Brian Patterson, diretor administrativo clínico de IA no UW Health.

E informar aos pacientes que uma mensagem contida com conteúdo gerado por inteligência artificial poderia desvalorizar o aconselhamento clínico, mesmo que fosse endossado por seus médicos, completou Paul Testa, chefe de informações médicas da NYU Langone Health.

Para Jayaram, a decisão de divulgar o uso da ferramenta se resume a uma pergunta simples: o que os pacientes esperam? Quando eles enviam uma mensagem sobre sua saúde, explicada pelo profissional, presumem que seus médicos consideraram seu histórico, preferências de tratamento e dinâmicas familiares — intangíveis extraídos de relacionamentos íntimos.

— Quando você lê uma nota de um médico, faça isso na voz dele — descrevendo-o. — Se um paciente relatou que, na verdade, a mensagem que está trocando com seu médico foi gerada por IA, acho que ele se sentiria legitimamente traído.

Para muitos sistemas de saúde, crie um algoritmo que imite convincente a “voz” de um médico específico para ajudar a se tornar uma ferramenta útil. Na verdade, um Epic começou recentemente a dar ao seu sistema maior acesso às últimas mensagens, para que os rascunhos pudessem imitar o estilo de escrita individual de cada médico.

Brent Lamm, chefe de informações da UNC Health, relata que esse movimento abordou queixas comuns que ouvia dos médicos: “Minha voz pessoal não está se manifestando” ou “Conheço esse paciente há sete anos. Ele vai saber que não sou eu”

Administradores de saúde frequentemente se referem à Arte como um uso de IA de baixo risco, já que, idealmente, um provedor está sempre revisando os rascunhos e corrigindo erros. Essa caracterização da irritação de pesquisadores que estudam como os humanos trabalham em relação à inteligência artificial. Ken Holstein, professor do instituto de interação humano-computador da Carnegie Mellon, disse que a representação “vai contra cerca de 50 anos de pesquisa”.

Os humanos têm uma tendência bem documentada, chamada de vias de automação, de aceitar as recomendações de um algoritmo, mesmo que contradiga a própria experiência, pondera o pesquisador. Essa visão poderia fazer com que os médicos fossem menos críticos ao examinar rascunhos gerados por IA, permitindo que erros perigosos chegassem aos pacientes.

E a Art não está imune a erros. Um estudo recente descobriu que sete dos 116 rascunhos gerados por inteligência artificial continham o que são chamados de alucinações — invenções pelas quais a tecnologia é notoriamente conhecida

Vinay Reddy, médico de família da UNC Health, lembrou-se de um caso em que um paciente invejoso uma mensagem a um colega para verificar se ele precisava de uma vacina contra hepatite B. O rascunho gerado assegurou que ele havia recebido as vacinas e trouxe dados para comprová-las. No entanto, isso era completamente falso e ocorreu porque o modelo não tinha acesso aos registos de vacinação dela, segundo ele.

Um pequeno estudo publicado no The Lancet Digital Health descobriu que o GPT-4, o mesmo modelo de IA que fundamenta a ferramenta da Epic, cometeu erros mais insidiosos ao responder perguntas hipotéticas de pacientes.

Os médicos que revisaram suas respostas específicas que os rascunhos, se deixaram sem edição, apresentaram risco de dano grave cerca de 7% das vezes.

O que tranquiliza Eric Poon, chefe de informações de saúde da Duke Health, é que o modelo produz rascunhos ainda “moderados em qualidade”, o que acredita manter os médicos céticos e vigilantes quanto à detecção de erros.

Em média, menos de um terço dos rascunhos gerados por IA. são enviados aos pacientes sem edição, de acordo com Epic. É um indicativo para os administradores hospitalares de que os médicos não estão apenas carimbando mensagens.

— Uma pergunta que fica na minha mente é: e se a tecnologia melhorar? E se os clínicos começarem a relaxar a guarda? Os erros vão passar despercebidos?

A Epic construiu barreiras no programa para evitar que a Art apresente conselhos clínicos, detalhadamente Garrett Adams, vice-presidente de pesquisa e desenvolvimento da empresa. Ele afirma que a ferramenta é mais adequada para responder perguntas administrativas comuns, como “Quando é minha consulta?” ou “Posso remarcar meu check-up?”

Mas os pesquisadores não desenvolveram maneiras de forçar a forma confiável dos modelos a seguir as instruções, critica Holstein.

Anand Chowdhury, que ajudou a supervisionar a implantação da Art na Duke Health, disse que ele e os colegas ajustaram repetidamente as instruções para impedir que a ferramenta desses conselhos clínicos, com pouco sucesso.

— Não importa o quanto tentamos, não conseguíamos eliminar seu instinto de tentar ser útil — recorda.

Três sistemas de saúde foram informados ao The New York Times que removeram algumas barreiras das instruções.

Longhurst, da UC San Diego Health, disse que o modelo “desempenhou melhor” quando a linguagem que instruía a Art a não “responder com informações clínicas” foi removida. Os administradores se sentiram confortáveis ​​em dar mais liberdade à inteligência artificial, uma vez que os médicos revisaram as mensagens.

A Stanford Health Care contratou um “risco gerenciado” para permitir que a Art “pense mais como um clínico”, depois que algumas das barreiras mais rígidas pareceram tornar os rascunhos genéricos e pouco úteis, segundo Christopher Sharp, chefe de informações médicas do sistema de saúde.

Além das questões de segurança e transparência, alguns bioeticistas têm uma preocupação mais fundamental: é assim que queremos usar IA na medicina? Diferentemente de muitas outras ferramentas de IA na saúde, a Art não foi projetada para melhorar os resultados clínicos (embora um estudo sugira que as respostas possam ser mais empáticas e positivas) e não está focada em tarefas administrativas.

Em vez disso, parece estar invadindo raros momentos em que pacientes e médicos poderiam realmente se comunicar diretamente — o tipo de momentos que a tecnologia deveria estar permitindo, avalia Daniel Schiff, co-diretor do Laboratório de Governança e IA Responsável da Universidade de Purdue.