Nuevo modelo de IA supera a médicos en razonamiento clínico y diagnóstico

Un modelo de lenguaje grande (LLM) igualó o superó a cientos de médicos expertos en tareas de razonamiento diagnóstico y de manejo en seis experimentos, según un nuevo estudio.

Ventajas del LLM

La ventaja del LLM fue más pronunciada en la triaje en el departamento de emergencias en etapas tempranas, donde identificó el diagnóstico exacto o muy cercano en el 67.1% de los casos, en comparación con dos médicos cuya precisión fue del 55.3% y 50%, reportaron Arjun K. Manrai, PhD, del departamento de informática biomédica de la Facultad de Medicina de Harvard en Boston, y sus colegas en Science.

Para este experimento, los investigadores copiaron y pegaron los registros electrónicos de salud de los pacientes sin curación de datos en el LLM para simular la utilidad en el mundo real. Pero el LLM también tuvo un buen desempeño en evaluaciones de diagnóstico diferencial, selección de pruebas diagnósticas y otras tareas.

«En general, nuestros hallazgos muestran que los LLM ahora demuestran un rendimiento sustancial en diagnóstico diferencial, razonamiento clínico diagnóstico y razonamiento de manejo, y superan tanto a las generaciones de modelos anteriores como a los clínicos humanos en múltiples dominios», escribieron los autores.

Tecnología y Medicina

Manrai indicó que no piensa que los hallazgos del estudio signifiquen que la inteligencia artificial (IA) reemplazará a los médicos, sino que «estamos presenciando un cambio realmente profundo en la tecnología que remodelará la medicina, y que necesitamos evaluar esta tecnología ahora en ensayos clínicos prospectivos rigurosamente conducidos».

En un editorial acompañante, Ashley Hopkins, PhD, y Erik Cornelisse, ambos de la Universidad de Flinders en Adelaide, Australia, estuvieron de acuerdo en que el uso de IA en la práctica clínica necesita ser comprobado para beneficiarse en aplicaciones del mundo real en ensayos aleatorios.

«Aunque los métodos de evaluación están progresando, la implementación de sistemas de IA está superando a estos», señalaron. «La precisión en una tarea validada no garantiza que un sistema desplegado se confine a esa tarea».

Resultados del Estudio

Manrai mencionó que es una cuestión de décadas si es posible que las computadoras piensen o razonen como los médicos, pero en los últimos años, la IA ha mejorado drásticamente. Gran parte de la literatura existente sobre las capacidades de diagnóstico y manejo de los LLMs ha carecido de baselines de médicos humanos y se ha concentrado en tareas diagnósticas estrechas y viñetas clínicas curadas.

Para abordar esta brecha, el equipo evaluó sistemáticamente las habilidades de razonamiento médico de la versión previa de OpenAI o1, un modelo de razonamiento LLM, contra los baselines de médicos de estudios previos.

Los investigadores evaluaron primero o1-preview usando 143 conferencias clínico-patológicas publicadas en New England Journal of Medicine con dos médicos evaluando la calidad de su diagnóstico diferencial. El LLM incluyó el diagnóstico correcto en su diferencial en el 78.3% de los casos y su primer diagnóstico sugerido fue correcto en el 52% de los casos. Cuando se amplió para incluir diagnósticos potencialmente útiles o muy cercanos, o1-preview fue preciso en el 97.9% de los casos.

El equipo también evaluó la selección de pruebas diagnósticas de o1-preview, donde en el 87.5% de los casos, el plan de pruebas elegido fue considerado correcto.

Por último, se destacó que esta investigación solo refleja la versión previa de OpenAI o1 y que ya existen modelos más nuevos; más investigación es necesaria comparando estos modelos más recientes. Además, su estudio se centró en emergencias y medicina interna, por lo que los hallazgos no son aplicables a todas las especialidades.

Descargo de responsabilidad

Este contenido se proporciona solo con fines informativos y no debe considerarse como un sustituto de una consulta médica profesional. Siempre consulte a su médico o a otro proveedor de salud calificado con cualquier pregunta que pueda tener sobre una afección médica.

Fuente: https://www.medpagetoday.com/practicemanagement/informationtechnology/121049