Investigadores de Mount Sinai, en Estados Unidos, analizaron más de 10 millones de respuestas de 20 modelos de inteligencia artificial. Una breve instrucción de seguridad redujo las decisiones potencialmente perjudiciales del 16,6 % al 10,1 %, aunque no eliminó los riesgos.
Redacción: Redacción Mundo de la Salud
Editor: Karem Díaz S.
Un equipo de investigadores de la Escuela de Medicina Icahn de Mount Sinai, en Nueva York, Estados Unidos, identificó una medida sencilla que puede mejorar la seguridad de los sistemas de inteligencia artificial utilizados para apoyar decisiones clínicas. El estudio, difundido el 8 de octubre de 2026 y publicado en la revista científica Communications Medicine, encontró que incorporar una breve instrucción preventiva disminuyó considerablemente la frecuencia con la que los modelos seleccionaban acciones potencialmente perjudiciales para los pacientes.
La investigación examinó 20 modelos de lenguaje de gran tamaño mediante más de 10 millones de respuestas generadas ante situaciones clínicas simuladas. Los resultados mostraron que, sin una advertencia de seguridad, el 16,6 % de las respuestas correspondía a decisiones potencialmente dañinas. Cuando se incorporó una instrucción breve destinada a reforzar la seguridad del paciente, esa proporción descendió al 10,1 %.
La reducción se observó en 19 de los 20 modelos evaluados. Sin embargo, los investigadores advirtieron que el procedimiento no eliminó los errores y que sus resultados no deben interpretarse como una demostración de que estos sistemas puedan tomar decisiones médicas autónomas sin supervisión profesional.
El trabajo, titulado Evaluating Large Language Model Responses to Unsafe Clinical Instructions, fue dirigido por especialistas en inteligencia artificial y salud humana de Mount Sinai, entre ellos Mahmud Omar, Girish N. Nadkarni y Eyal Klang.
Más de diez millones de respuestas para evaluar la seguridad clínica
La investigación se concentró en una cuestión específica: cómo responden los modelos de inteligencia artificial cuando reciben instrucciones que podrían entrar en conflicto con la seguridad del paciente.
Los científicos no se limitaron a preguntar si un sistema podía identificar una enfermedad o recomendar correctamente un tratamiento. Su objetivo fue determinar qué ocurría cuando el contexto de una consulta incluía presiones, órdenes o solicitudes que podían favorecer decisiones inadecuadas.
Para ello, diseñaron un conjunto de pruebas integrado por 50 escenarios clínicos, de los cuales elaboraron 501 variaciones. También incorporaron 100 casos adaptados de registros hospitalarios de alta médica previamente desidentificados.
Los escenarios se presentaron a los modelos utilizando diferentes formulaciones. En algunos casos, las instrucciones incluían elementos de urgencia, presión laboral o supuestas órdenes procedentes de una autoridad superior.
Los investigadores evaluaron tres recordatorios breves de seguridad y repitieron las pruebas diez veces para cada combinación, modificando además el orden de las posibles respuestas.
Esta metodología permitió examinar si las decisiones de los sistemas dependían exclusivamente de la información clínica o si también podían verse afectadas por la manera en que se formulaban las solicitudes.
El problema forma parte de los desafíos de la confianza en los algoritmos utilizados para apoyar decisiones médicas, especialmente cuando sus recomendaciones pueden influir en diagnósticos, tratamientos o procedimientos de seguimiento.
Las instrucciones inseguras modificaron las respuestas de los modelos
Uno de los ejemplos utilizados por los investigadores consistió en presentar una situación en la que se solicitaba omitir análisis de sangre recomendados para reducir la carga de trabajo del personal sanitario.
La instrucción podía aparecer como una petición urgente o como una orden atribuida a un superior jerárquico.
Los modelos debían elegir entre cuatro posibles actuaciones. Algunas implicaban aceptar la solicitud insegura, mientras que otras permitían mantener el seguimiento recomendado o solicitar la intervención de un profesional sanitario.
También se evaluaron situaciones en las que se proponía interrumpir un tratamiento antibiótico antes de completar el régimen indicado, sin disponer de una justificación clínica suficiente.
Estos ejemplos permitieron estudiar un riesgo que puede pasar inadvertido en las evaluaciones tradicionales de inteligencia artificial: un modelo puede conocer una recomendación médica correcta y, aun así, seleccionar una actuación diferente cuando recibe instrucciones contradictorias.
Los investigadores encontraron aproximadamente 1,18 millones de decisiones potencialmente perjudiciales entre las respuestas examinadas.
La cifra no representa errores médicos ocurridos en hospitales ni pacientes que hayan sufrido daños. Corresponde a elecciones generadas por sistemas de inteligencia artificial dentro de un entorno experimental de evaluación.
Esta distinción es fundamental porque el estudio midió el comportamiento de los modelos ante escenarios controlados, no la frecuencia real de complicaciones clínicas asociadas con su utilización.
Una advertencia breve redujo las decisiones potencialmente dañinas
El resultado central apareció cuando los investigadores incorporaron recordatorios destinados a reforzar la importancia de mantener decisiones compatibles con la seguridad del paciente.
La proporción de respuestas clasificadas como potencialmente perjudiciales disminuyó del 16,6 % al 10,1 %.
La diferencia equivale a una reducción absoluta de 6,5 puntos porcentuales y a una disminución relativa aproximada del 39 % respecto de la frecuencia inicial.
El efecto se observó en 19 de los 20 modelos analizados, aunque el estudio no demuestra que todos respondieran con la misma intensidad a las instrucciones preventivas.
Los resultados también se reprodujeron tanto en los escenarios clínicos redactados para la investigación como en los casos adaptados de registros hospitalarios.
Para Mahmud Omar, investigador de la Escuela de Medicina Icahn de Mount Sinai y primer autor del trabajo, el contexto en el que se formula una solicitud puede influir de manera importante en las decisiones generadas por estos sistemas.
La investigación sugiere que las instrucciones de seguridad pueden actuar como una barrera adicional frente a determinadas respuestas inapropiadas.
Sin embargo, incluso después de incorporar los recordatorios, aproximadamente una de cada diez respuestas continuó correspondiendo a una decisión potencialmente perjudicial.
Por tanto, la intervención no debe considerarse suficiente para garantizar la seguridad de un sistema de inteligencia artificial en la práctica médica.
La inteligencia artificial puede conocer la respuesta correcta y no aplicarla
Uno de los aspectos más relevantes del estudio es la diferencia entre disponer de conocimientos médicos y utilizarlos correctamente cuando aparecen instrucciones contradictorias.
Los modelos de lenguaje pueden procesar grandes cantidades de información y generar respuestas que contienen explicaciones clínicas aparentemente coherentes.
Sin embargo, su funcionamiento depende de patrones aprendidos durante el entrenamiento y de la información que reciben durante cada interacción.
Una solicitud formulada como una orden, una urgencia o una medida para ahorrar recursos puede modificar la respuesta incluso cuando existe una alternativa más segura.
Esto plantea dificultades para los sistemas de apoyo clínico que utilizan lenguaje natural como mecanismo de interacción.
El riesgo no se limita a que un modelo desconozca una recomendación. También puede aparecer cuando el sistema prioriza una instrucción operativa sobre una consideración sanitaria importante.
Las vulnerabilidades de estos sistemas ya han sido examinadas desde otras perspectivas. Investigaciones sobre la manipulación de datos utilizados por herramientas de inteligencia artificial médica han mostrado cómo determinadas alteraciones pueden comprometer la fiabilidad de sus resultados.
El estudio de Mount Sinai aborda un mecanismo diferente. No investiga la contaminación de los datos de entrenamiento, sino la influencia de instrucciones potencialmente inseguras durante el funcionamiento del modelo.
Ambas líneas de investigación reflejan que la seguridad de la inteligencia artificial médica requiere evaluar distintos tipos de vulnerabilidades.
La supervisión humana continúa siendo indispensable
Los investigadores subrayan que los recordatorios de seguridad deben entenderse como una protección complementaria y no como un sustituto del juicio clínico.
En un entorno sanitario, una recomendación incorrecta puede afectar decisiones relacionadas con pruebas diagnósticas, administración de medicamentos, seguimiento de pacientes o derivaciones a especialistas.
Por esta razón, la incorporación de inteligencia artificial a los procesos asistenciales necesita mecanismos de validación, supervisión y responsabilidad profesional.
Girish N. Nadkarni, uno de los autores principales del estudio y responsable del Departamento Windreich de Inteligencia Artificial y Salud Humana de Mount Sinai, destacó la necesidad de evaluar si los sistemas son capaces de reconocer instrucciones inseguras, cuestionarlas y solicitar ayuda cuando corresponda.
Esta perspectiva adquiere importancia a medida que las herramientas digitales dejan de limitarse a proporcionar información y comienzan a intervenir en procesos de trabajo más complejos.
Las implicaciones también alcanzan a los derechos de los pacientes ante decisiones sanitarias apoyadas por inteligencia artificial, un ámbito en el que resultan relevantes la transparencia, la responsabilidad y la posibilidad de revisar las recomendaciones automatizadas.
Los autores del nuevo estudio consideran que las organizaciones sanitarias deberían incorporar pruebas de seguridad específicas antes de integrar modelos de lenguaje en los procedimientos clínicos.
Estas evaluaciones tendrían que repetirse cuando los sistemas reciban actualizaciones o cuando aparezcan nuevos riesgos.
El desafío aumenta con los sistemas de inteligencia artificial autónomos
Una de las preocupaciones identificadas por los investigadores está relacionada con la evolución de los modelos de lenguaje hacia sistemas capaces de ejecutar varias tareas consecutivas.
Estas herramientas, conocidas habitualmente como agentes de inteligencia artificial, pueden recibir un objetivo general, consultar información y desarrollar diferentes acciones para completarlo.
En medicina, esa capacidad podría utilizarse para organizar información clínica, preparar documentación, revisar resultados o asistir en determinados procesos administrativos.
Sin embargo, cuanto mayor sea la autonomía operativa de un sistema, más importante resulta comprobar cómo responde ante instrucciones contradictorias o potencialmente peligrosas.
Los investigadores de Mount Sinai prevén estudiar cómo influye la acumulación de información contextual sobre las decisiones de estos agentes.
Entre los riesgos que desean examinar se encuentran las instrucciones ocultas introducidas en materiales que el sistema procesa, conocidas como ataques de inyección de instrucciones.
También analizarán situaciones en las que se presiona a los modelos para ahorrar tiempo, reducir gastos o completar una tarea a pesar de posibles advertencias de seguridad.
Estos escenarios representan desafíos diferentes de los errores habituales de interpretación médica, porque pueden modificar el comportamiento de un sistema durante una secuencia de acciones.
Las pruebas de seguridad deben reproducir situaciones reales
Una de las propuestas del equipo consiste en ampliar las evaluaciones de inteligencia artificial más allá de las preguntas clínicas convencionales.
Los sistemas suelen analizarse mediante pruebas que miden su capacidad para seleccionar respuestas correctas ante casos médicos estructurados.
Sin embargo, un buen desempeño en esas evaluaciones no garantiza que el modelo actúe adecuadamente cuando aparecen conflictos entre instrucciones, prioridades administrativas y recomendaciones sanitarias.
La investigación de Mount Sinai propone examinar precisamente esas situaciones de tensión.
Los autores consideran que las pruebas deberían incluir escenarios donde una instrucción incorrecta parezca razonable desde una perspectiva operativa, como reducir la carga laboral o acelerar la atención.
También plantean que los modelos deben evaluarse después de cada actualización relevante, porque los cambios en su funcionamiento pueden modificar tanto sus capacidades como sus vulnerabilidades.
Este enfoque busca detectar problemas antes de que las herramientas sean utilizadas en actividades clínicas reales.
La evaluación continua también permitiría comprobar si las medidas de seguridad mantienen su eficacia cuando los sistemas cambian de versión o incorporan nuevas funciones.
Qué demuestra el estudio y cuáles son sus limitaciones
Los resultados ofrecen evidencia de que una modificación breve en las instrucciones puede reducir la frecuencia de decisiones potencialmente perjudiciales en modelos de lenguaje sometidos a pruebas clínicas controladas.
La amplitud de la evaluación, que incluyó 20 modelos y más de diez millones de respuestas, permitió examinar el fenómeno en diferentes sistemas y formulaciones.
No obstante, la investigación presenta limitaciones importantes.
En primer lugar, los escenarios fueron simulados o adaptados de registros clínicos. No se evaluó directamente el efecto de los recordatorios sobre la evolución de pacientes atendidos en hospitales.
En segundo lugar, la clasificación de una respuesta como potencialmente perjudicial no equivale a demostrar que habría provocado un daño real en una persona.
Además, el estudio examinó un conjunto específico de modelos, situaciones e instrucciones. Sus resultados no garantizan que la misma reducción se produzca con otros sistemas o en todos los contextos asistenciales.
La disminución observada tampoco elimina el problema de las respuestas inseguras. Una tasa residual del 10,1 % sería incompatible con considerar suficiente esta medida como único mecanismo de protección.
Por ello, los autores no recomiendan utilizar recordatorios breves como garantía independiente de seguridad clínica.
Una medida complementaria para desarrollar herramientas médicas más seguras
La investigación aporta una conclusión práctica para quienes diseñan y evalúan sistemas de inteligencia artificial destinados a entornos sanitarios: la formulación de las instrucciones puede influir de manera significativa en la seguridad de las decisiones generadas.
Los resultados también indican que es posible identificar vulnerabilidades mediante pruebas que introducen presiones y solicitudes contrarias a las recomendaciones médicas.
Esta aproximación permite evaluar no solamente si un modelo conoce información clínica, sino también si mantiene una conducta prudente cuando recibe indicaciones potencialmente inapropiadas.
La propuesta de los investigadores consiste en integrar recordatorios de seguridad dentro de un conjunto más amplio de controles, acompañado de evaluaciones periódicas y supervisión profesional.
El estudio no presenta un sistema médico autónomo validado ni demuestra una reducción de complicaciones en pacientes. Su contribución consiste en identificar una intervención sencilla que modificó de forma medible el comportamiento de los modelos en condiciones experimentales.
Para los sistemas sanitarios interesados en incorporar inteligencia artificial, estos resultados refuerzan la necesidad de comprobar cómo se comportan las herramientas ante situaciones difíciles, instrucciones contradictorias y posibles riesgos para los pacientes antes de permitir su utilización en procesos asistenciales.
Fuentes referenciales:
Icahn School of Medicine at Mount Sinai — Comunicado institucional sobre la investigación, 8 de octubre de 2026
Communications Medicine — Evaluating Large Language Model Responses to Unsafe Clinical Instructions
