La llegada de los modelos de lenguaje a gran escala a medicina

Bienvenidos a Factor de impacto, su dosis semanal de comentarios sobre un nuevo estudio en medicina. Soy el Dr. F. Perry Wilson, de la Facultad de Medicina de Yale, en New Haven, Estados Unidos.

Hay un nuevo género de artículos médicos en el ámbito de la «inteligencia artificial en la medicina» y al igual que Mulder en Los Expedientes Secretos X, quiero creer en él.

El tema de estos artículos es algo así como: «Los modelos de lenguaje a gran escala no van a sustituir a los buenos médicos» y eso es muy tranquilizador para este médico, que definitivamente no quiere ser sustituido por una inteligencia artificial amigable. Pero si soy sincero conmigo mismo, mi creencia en la supremacía humana en este ámbito se está tambaleando.

Recientemente se publicó un nuevo artículo en JAMA Network Open en el que se evalúa el rendimiento de varios modelos de lenguaje a gran escala en una tarea de diagnóstico.

Estaba repleto de frases como: «Nuestra evaluación indica que a pesar de los rápidos avances en el reconocimiento de patrones y la recuperación de conocimientos, los modelos de lenguaje a gran escala actuales siguen careciendo de los procesos de razonamiento necesarios para un uso clínico seguro».

Eso es tranquilizador.

También afirma que «la promesa de los modelos de lenguaje a gran escala en la medicina clínica reside en su potencial para complementar —no sustituir— el razonamiento médico». Perfecto. Me complace que me complementen. Prefiero no ser sustituido.

Pero luego leí el estudio y francamente, ahora estoy más preocupado que nunca.

Los investigadores evaluaron 21 modelos de lenguaje a gran escala disponibles en el mercado, incluidos los principales (ChatGPT, Claude, DeepSeek, Grok, Gemini), en 29 casos clínicos extraídos del Manual MSD.

La innovación clave de este estudio con respecto a evaluaciones anteriores es la forma en que se estructuran estos casos clínicos. Otros estudios que evalúan los modelos de lenguaje a gran escala suelen presentar un caso completo y simplemente preguntan «¿cuál es el diagnóstico?», pero no es así como funcionan estos casos clínicos.

En su lugar se desarrollan de forma iterativa. Se obtiene una presentación inicial y a continuación se formula un diagnóstico diferencial, se eligen las pruebas adecuadas, se obtienen los resultados, se refina el diagnóstico diferencial y así sucesivamente hasta llegar al diagnóstico final. Esto refleja cómo funciona la medicina en la práctica clínica. Nadie acude nunca a urgencias con un historial completo de la enfermedad actual, los análisis y las pruebas de imagen, todo reunido en un solo paquete.

Por supuesto, al final aún hay que establecer un diagnóstico definitivo y los modelos obtuvieron muy buenos resultados en este aspecto, acertando en más de 90 % de los casos. Les mostraré aquí la precisión; parece que DeepSeek superó ligeramente a los demás, pero todos están muy igualados y casi siempre dan en el blanco.

Una de las principales limitaciones radica en que los autores no incluyen ningún dato de comparación con seres humanos en su estudio. Busqué en la bibliografía estas viñetas del Manual MSD para averiguar cómo las resolvería un médico humano y para mi gran sorpresa, todos los estudios que encontré en realidad eran sobre el rendimiento de diversos chatbots. ¿Alguien ha intentado alguna vez ver cómo lo hace un ser humano con estos casos? ¿Es buena una precisión de 95 %? Parece buena.

Por si sirve de algo, examiné varios casos —disponibles públicamente—. No son fáciles ni sencillos. No pretendo decir que sea un experto en diagnóstico ni nada por el estilo, pero es imposible que acertara 95 % en cuanto al diagnóstico final.

Sin embargo, los autores no se centraron únicamente en esa métrica, por muy importante que sea. En cambio, la precisión del diagnóstico final es un elemento de un sistema de puntuación de cinco partes que incluye precisión del diagnóstico diferencial, pruebas diagnósticas, tratamiento y razonamiento clínico diverso.

Estas cinco métricas conforman una novedosa puntuación PriME-LLM, definida por el área de un pentágono irregular que alcanza un máximo de 100 % si el modelo obtiene un rendimiento perfecto en todas y cada una de las preguntas. Ningún modelo lo logró.

Las puntuaciones de PriME-LLM fluctuaron entre 0,64 en el extremo inferior (Gemini 1,5) y 0,78 en el extremo superior (Grok 4, Gemini 3 Flash, Gemini 3 Pro). No puedo decir si eso es bueno o no, ya que no hay datos humanos con los cuales compararlos.

Sin embargo, el artículo está redactado, al igual que muchos otros en este ámbito, con lo que me parece un claro sesgo en contra de los modelos de lenguaje a gran escala. Por ejemplo, los autores afirman que las tasas de fracaso en la generación de un diagnóstico diferencial oscilaron entre 90 % y 100 %. Pero debemos analizar cómo definieron el fracaso en este contexto.

Las viñetas se estructuran con una parte de la presentación del caso seguida de una pregunta y una larga lista de posibles elementos que podrían formar parte del diagnóstico diferencial. Para ser «correcto», el modelo debe señalar todo lo que podría estar en el diagnóstico diferencial y nada que no deba estar en él. Es evidente que no se les da bien esto. Pero no estoy seguro hasta qué punto se nos daría bien a cualquiera de nosotros.

En otros aspectos me pareció que los modelos tenían limitaciones. A los modelos con capacidad de razonamiento se les desactivó dicha función, si es que disponían de ella. A los modelos que podían acceder a internet no se les permitió hacerlo. Supongo que esto se hizo para igualar las condiciones, pero me parece que estas son algunas posibles fortalezas de un diagnosticador de inteligencia artificial.

Por otro lado, los autores reconocen que no pueden estar seguros de que estas preguntas del MSD no formaran ya parte del conjunto de entrenamiento del modelo y siendo así, todas estas respuestas serían sospechosas en cualquier caso. Aunque si todo esto no fuera más que una repetición de los datos de entrenamiento cabría esperar que los modelos acertaran en esa pregunta de diagnóstico diferencial tan complicada.

Básicamente, lo que tenemos aquí es un conjunto de preguntas que sea cual sea el propósito inicial de su diseño se han convertido fundamentalmente en un punto de referencia estándar para los modelos de lenguaje a gran escala. Por tanto, podemos comparar estos entre sí según este parámetro, pero sin datos humanos estandarizados no tenemos ni idea de cómo se desempeñan en comparación con los médicos habituales.

Y esa precisión de 95 % en el diagnóstico final no es nada despreciable. Me sorprendería que alguno de nosotros pudiera hacerlo igual de bien.

Así pues, así es como veo que se desarrollará el futuro. Pronto los pacientes exigirán que un agente de inteligencia artificial, tal vez uno entrenado específicamente para ese fin, «revise» el diagnóstico y el plan de tratamiento elaborado por el médico. O si los pacientes no lo hacen, lo harán las compañías de seguros. Como plantean los autores, la inteligencia artificial «complementará» el trabajo del médico.

Y entonces los agentes de inteligencia artificial se irán introduciendo poco a poco. Quizá una línea de triaje de urgencias cuente con personal de inteligencia artificial antes de derivar a un paciente a un médico. Tal vez un agente de inteligencia artificial pueda realizar una anamnesis inicial e incluso solicitar algunas pruebas básicas, mientras el paciente espera en la sala de espera de urgencias, preparándolo para cuando el médico esté listo.

Y entonces en algún momento un ensayo aleatorizado comparará directamente los agentes de inteligencia artificial con los humanos en estos ámbitos y probablemente demostrará su no inferioridad. La Administración de Alimentos y Medicamentos (FDA) de Estados Unidos aprobará un primer proveedor de atención asistida por inteligencia artificial y posteriormente otros a través de la vía 510 (K). Algún estado aprobará una ley que permita a los agentes de inteligencia artificial solicitar pruebas o fármacos sin la intervención de un médico. Por supuesto, seguirá habiendo médicos, pero serán menos y desempeñarán funciones más de supervisión.

No estoy seguro de cuál será el calendario de todo esto, pero creo que será más corto de lo que esperamos. Y cuando suceda miraremos atrás a artículos como este, que señalan lo malos que son los modelos de lenguaje a gran escala en el diagnóstico diferencial y nos preguntaremos cómo se nos pasaron por alto tantos indicios evidentes de hacia dónde soplaba el viento.

El Dr. F. Perry Wilson, M. S.C. E. (@fperrywilson) es profesor asociado de medicina y director del Acelerador de Investigación Clínica y Traslacional de Yale. Su trabajo de comunicación científica puede encontrarse en el Huffington Post, en NPR y aquí en Medscape. Su nuevo libro, How Medicine Works and When It Doesn’t , ya está disponible.

Este contenido se tradujo de la edición en inglés de Medscape.

Disclaimer: La información presentada aquí es solo para fines informativos y no debe considerarse un consejo médico. Consulte a un profesional de la salud para obtener orientación específica.

Fuente: https://espanol.medscape.com/viewarticle/llegada-modelos-lenguaje-gran-escala-medicina-2026a1000gfc