Visão Geral do Estudo

Uma investigação recente apresentada na Nature Medicine avaliou a precisão diagnóstica de grandes modelos de linguagem (GMLs) quando usados para conselhos médicos. O estudo recrutou 1.298 participantes no Reino Unido que interagiram com sistemas de IA, como o ChatGPT e o Llama 3 da Meta. Ao longo da amostra, os modelos identificaram corretamente a condição médica subjacente em menos de 34,5% das interações.

Detalhes de Desempenho

Embora os GMLs tenham alcançado pontuações de referência comparáveis ao exame de licenciamento médico dos Estados Unidos e seus documentos clínicos gerados às vezes sejam avaliados como equivalentes ou melhores do que os escritos por médicos, o desempenho diagnóstico no mundo real ficou aquém. Quando os participantes forneceram apenas informações parciais — um cenário observado em 16 de 30 trocas amostradas — os modelos frequentemente produziram respostas incompletas ou incorretas. Em dois casos, um diagnóstico inicialmente correto foi alterado posteriormente com novas informações imprecisas após o usuário fornecer detalhes adicionais.

Orientação de Acompanhamento

Além do diagnóstico inicial, os sistemas de IA também tiveram dificuldade em recomendar etapas de acompanhamento apropriadas. Instruções de acompanhamento corretas foram fornecidas apenas 44,2% do tempo, destacando limitações na capacidade dos modelos de orientar pacientes por meio de cuidados subsequentes.

Comportamento e Expectativas do Usuário

Uma pesquisa realizada pela OpenAI revelou que três em cada cinco adultos nos EUA relatam usar IA para fins relacionados à saúde. Os respondentes disseram que recorrem à IA quando se sentem mal, para se preparar para consultas e para entender melhor as instruções médicas. Apesar de um aviso no ChatGPT que afirma: "O ChatGPT pode cometer erros. Verifique as informações importantes", muitos usuários ainda aceitam os conselhos do chatbot como verdadeiros.

Implicações

Os resultados servem como um lembrete de que os chatbots de IA não devem ser a principal fonte de orientação médica, especialmente em situações sérias ou complexas. Embora a tecnologia mostre promessa, o estudo enfatiza a necessidade de cautela, entrada de usuário completa e consulta médica profissional para garantir decisões de saúde seguras e precisas.

Usado: News Factory APP - descoberta e automação de notícias - ChatGPT para Empresas