Resumen del estudio

Una investigación reciente publicada en Nature Medicine evaluó la precisión diagnóstica de los grandes modelos de lenguaje (GML) cuando se utilizan para consejo médico. El estudio reclutó a 1,298 participantes en el Reino Unido que interactuaron con sistemas de IA como ChatGPT y Llama 3 de Meta. En todo el conjunto de muestras, los modelos identificaron correctamente la condición médica subyacente en menos del 34,5% de las interacciones.

Detalles del desempeño

Aunque los GML han alcanzado puntuaciones de referencia comparables a las del Examen de Licencia Médica de los Estados Unidos y sus documentos clínicos generados a veces son calificados como equivalentes o mejores que los escritos por médicos, el desempeño diagnóstico en el mundo real fue deficiente. Cuando los participantes proporcionaron solo información parcial, un escenario observado en 16 de 30 intercambios de muestra, los modelos produjeron frecuentemente respuestas incompletas o incorrectas. En dos casos, un diagnóstico inicialmente correcto se alteró más tarde con nueva información inexacta después de que el usuario proporcionó detalles adicionales.

Orientación de seguimiento

Más allá del diagnóstico inicial, los sistemas de IA también lucharon para recomendar pasos de seguimiento adecuados. Las instrucciones de seguimiento correctas se dieron solo el 44,2% de las veces, lo que subraya las limitaciones en la capacidad de los modelos para guiar a los pacientes a través del cuidado posterior.

Comportamiento y expectativas del usuario

Una encuesta realizada por OpenAI reveló que tres de cada cinco adultos estadounidenses informan que utilizan la IA para fines relacionados con la salud. Los encuestados dijeron que recurren a la IA cuando se sienten mal por primera vez, para prepararse para las citas y para entender mejor las instrucciones médicas. A pesar de un aviso en ChatGPT que establece: "ChatGPT puede cometer errores. Verifique la información importante", muchos usuarios todavía aceptan el consejo del chatbot como válido.

Implicaciones

Los hallazgos sirven como recordatorio de que los chatbots de IA no deben ser la fuente principal para la orientación médica, especialmente en situaciones serias o complejas. Si bien la tecnología muestra promesa, el estudio enfatiza la necesidad de precaución, una entrada de usuario completa y consulta médica profesional para garantizar decisiones de atención médica seguras y precisas.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas