ChatGPT falha ao responder perguntas sobre remédios, diz estudo
Ferramenta de IA inventa referências, orienta dosagens equivocadas e pode oferecer risco ao paciente que usá-la para tirar dúvidas
Um novo estudo sugere que o ChatGPT pode não ser útil para encontrar respostas a perguntas médicas.
Pesquisadores da Universidade de Long Island fizeram 39 perguntas relacionadas a medicamentos na versão gratuita do chatbot de inteligência artificial (IA) e depois comparam as respostas com respostas reais escritas e revisadas por farmacêuticos treinados. Todas elas eram perguntas reais do serviço de informações sobre medicamentos da Faculdade de Farmácia da universidade.
O estudo descobriu que o ChatGPT forneceu respostas precisas para apenas cerca de 10 perguntas, ou cerca de um quarto do total. Para as outras 29 perguntas, as respostas estavam incompletas ou imprecisas, ou não abordavam as questões.
As descobertas foram apresentadas na terça-feira (12) durante a reunião anual da Sociedade Americana de Farmacêuticos de Sistemas de Saúde em Anaheim, na Califórnia.
O ChatGPT, o chatbot experimental de IA da OpenAI, foi lançado em novembro de 2022 e se tornou o aplicativo de consumo de crescimento mais rápido da história, com quase 100 milhões de pessoas registradas em dois meses.
Dada essa popularidade, o interesse dos investigadores foi despertado pela preocupação de que os seus estudantes, outros farmacêuticos e consumidores comuns recorressem a recursos como o ChatGPT para explorar questões sobre os seus planos de saúde e medicação.
É o que disse Sara Grossman, professora-associada de prática farmacêutica na Universidade de Long Island e uma dos autores do estudo.
Eles descobriram que essas perguntas muitas vezes produziam respostas imprecisas, ou mesmo perigosas.
Em uma questão, por exemplo, os pesquisadores perguntaram ao ChatGPT se o medicamento antiviral Covid-19 Paxlovid e o medicamento para baixar a pressão arterial verapamil reagiriam entre si no corpo. O ChatGPT respondeu que tomar os dois medicamentos juntos não produziria efeitos adversos.
Na realidade, as pessoas que tomam os dois medicamentos podem apresentar uma grande queda na pressão arterial, o que pode causar tonturas e desmaios.
Para os pacientes que tomam ambos, os médicos muitas vezes criam planos específicos para o paciente, incluindo a redução da dose de verapamil ou alertando a pessoa para se levantar lentamente da posição sentada, disse Grossman.
A orientação do ChatGPT, acrescentou ela, teria colocado as pessoas em perigo.
“Usar o ChatGPT para resolver esta questão colocaria o paciente em risco de uma interação medicamentosa indesejada e evitável”, escreveu Grossman num e-mail para a CNN.
Quando os pesquisadores pediram ao chatbot referências científicas para apoiar cada uma de suas respostas, eles descobriram que o software poderia fornecê-las apenas para oito das perguntas que eles fizeram. E em cada caso, ficaram surpresos ao descobrir que o ChatGPT estava fabricando referências.
À primeira vista, as citações pareciam legítimas: muitas vezes eram formatadas adequadamente, forneciam URLs e eram listadas em revistas científicas legítimas. Mas quando a equipe tentou encontrar os artigos referenciados, percebeu que o ChatGPT lhes havia fornecido citações fictícias.
Em um caso, os pesquisadores perguntaram ao ChatGPT como converter doses de injeção espinhal do medicamento para espasmo muscular baclofen em doses orais correspondentes.
A equipe de Grossman não conseguiu encontrar uma taxa de conversão de dose cientificamente estabelecida, mas o ChatGPT apresentou uma taxa de conversão única e citou orientações de duas organizações médicas, disse ela.
No entanto, nenhuma das organizações fornece qualquer orientação oficial sobre a taxa de conversão da dose. Na verdade, o fator de conversão sugerido pelo ChatGPT nunca foi estabelecido cientificamente.
O software também forneceu um exemplo de cálculo para a conversão de dose, mas com um erro crítico: misturou unidades ao calcular a dose oral, prejudicando a recomendação de dose.
Se essa orientação fosse seguida por um profissional de saúde, disse Grossman, ele poderia administrar ao paciente uma dose oral de baclofeno 1.000 vezes menor do que a necessária, o que poderia causar sintomas de abstinência, como alucinações e convulsões.
“Houve numerosos erros e ‘problemas’ com esta resposta e, em última análise, ela poderia ter um impacto profundo no atendimento ao paciente”, escreveu ela.
O estudo da Universidade de Long Island não é o primeiro a levantar preocupações sobre as citações fictícias do ChatGPT.
Pesquisas anteriores também documentaram que, quando questionado sobre questões médicas, o ChatGPT pode criar falsificações enganosas de referências científicas, até mesmo listando nomes de autores reais com publicações anteriores em revistas científicas.
Grossman, que havia trabalhado pouco com o software antes do estudo, ficou surpresa com a confiança com que o ChatGPT foi capaz de sintetizar informações quase instantaneamente, com respostas que levariam horas para profissionais treinados compilarem.
“As respostas foram formuladas de uma forma muito profissional e sofisticada e parece que podem contribuir para um sentimento de confiança na precisão da ferramenta”, disse ela.
“Um usuário, um consumidor ou outras pessoas que talvez não sejam capazes de discernir podem ser influenciados pela aparência de autoridade.”
Um porta-voz da OpenAI, a organização que desenvolve o ChatGPT, disse que aconselha os usuários a não confiarem nas respostas como substitutos de aconselhamento ou tratamento médico profissional.
O porta-voz apontou para as políticas de uso do ChatGPT, que indicam que “os modelos do OpenAI não são ajustados para fornecer informações médicas”.
A política também afirma que os modelos nunca devem ser utilizados para fornecer “serviços de diagnóstico ou tratamento para condições médicas graves”.
Embora Grossman não tivesse certeza de quantas pessoas usam o ChatGPT para responder a questões sobre medicamentos, ela levantou preocupações de que elas poderiam usar o chatbot da mesma forma que procurariam aconselhamento médico em mecanismos de pesquisa como o Google.
“As pessoas estão sempre procurando respostas instantâneas quando têm isso ao seu alcance”, disse Grossman. “Acho que esta é apenas mais uma abordagem de usar ‘Dr. Google’ e outros métodos aparentemente fáceis de obter informações.”
Para obter informações médicas on-line, ela recomendou que os consumidores usassem sites governamentais que fornecem informações confiáveis, como a página MedlinePlus do National Institutes of Health.
Ainda assim, Grossman não acredita que as respostas online possam substituir o conselho de um profissional de saúde.
“[Os sites são] talvez um ponto de partida, mas podem tirar seus fornecedores de cena quando procuram informações sobre medicamentos que lhes são diretamente aplicáveis”, disse ela.
“Mas pode não ser aplicável aos próprios pacientes devido ao seu caso pessoal, e cada paciente é diferente. Portanto, a autoridade aqui não deve ser removida de cena: o profissional de saúde, o prescritor, os médicos do paciente.”
Veja também: Criador do ChatGpt volta ao cargo de CEO da empresa
