Un sistema de IA puede detectar anomalías en un electrocardiograma, sugerir un diagnóstico, programar estudios de seguimiento y emitir alertas de riesgo sin que un médico intervenga en cada paso. Esa autonomía inteligente abre una nueva etapa para la medicina, pero también plantea preguntas críticas: ¿quién asume la responsabilidad si el diagnóstico falla?, ¿cómo se valida su desempeño en poblaciones reales? y ¿de qué manera se supervisan las decisiones que toma?
Estas interrogantes definen uno de los grandes desafíos actuales de la medicina: adoptar agentes de IA autónomos sin perder el control clínico, la claridad en la responsabilidad ni la seguridad del paciente. No se trata de una discusión académica; hospitales en distintas partes del mundo ya implementan sistemas capaces de razonar, planificar y ejecutar tareas con mínima intervención humana. En este contexto, la gobernanza de esa autonomía se convierte en el punto crítico entre la innovación tecnológica y su implementación responsable.
El dilema de la autonomía inteligente en medicina
Un agente de IA en medicina es un sistema de software autónomo que utiliza inteligencia artificial para percibir información clínica, razonar sobre datos del paciente y ejecutar tareas que respaldan el diagnóstico, el tratamiento y las operaciones administrativas. No espera una instrucción en cada paso. Percibe el contexto, elige un curso de acción y monitorea resultados.
Esto representa un salto cualitativo respecto a herramientas de IA anteriores. Un software tradicional ejecuta reglas predefinidas. Un modelo de IA generativa responde consultas específicas. Un agente autónomo coordina decisiones complejas, ajusta planes cuando surge nueva información y continúa operando con un objetivo de largo plazo.
El valor es evidente: un agente que coordina derivaciones, monitorea pruebas pendientes, programa seguimientos y alerta sobre el deterioro del paciente libera capacidad clínica humana. Un hospital con escasez de especialistas puede multiplicar la capacidad diagnóstica. El ahorro operativo es real.
El riesgo también es real. Un algoritmo que falla afecta a un paciente. Un agente autónomo que falla puede afectar flujos de trabajo completos antes de que alguien intervenga. Un error en la lógica de derivación puede desviar pacientes críticos. Una validación incompleta en población real puede revelar sesgos después de meses de operación.
Aquí entra la gobernanza: marcos que definen qué autonomía es aceptable, cómo se valida, cómo se monitorea y quién es responsable si algo falla.
¿Qué son los agentes de IA en medicina?
Los agentes de IA operan bajo un ciclo continuo de percepción, razonamiento y acción. Primero interpretan datos clínicos como estudios de laboratorio, imágenes médicas e historial del paciente; después procesan esa información mediante modelos entrenados, lógica computacional y guías clínicas; finalmente, ejecutan acciones concretas, desde emitir alertas y programar citas hasta generar órdenes de medicación o enviar notificaciones.
A diferencia de las herramientas tradicionales de apoyo a la decisión, que solo presentan información para que el profesional de salud tome la última palabra, los agentes autónomos pueden decidir y actuar antes de informar. Ahí se encuentra el punto más delicado: encontrar el equilibrio entre autonomía y supervisión. Un exceso de independencia puede aumentar el riesgo clínico; un control demasiado rígido puede convertir al sistema en una herramienta lenta, incapaz de aprovechar su verdadero potencial.
Sus aplicaciones ya empiezan a tomar forma en áreas clave de la atención médica: documentación clínica automática, con notas generadas a partir de la interacción médico-paciente; coordinación de cuidados, mediante agentes que gestionan derivaciones, pruebas y tratamientos; monitoreo poblacional, con sistemas capaces de seguir a miles de pacientes e identificar riesgos emergentes; y optimización operativa, al organizar quirófanos, personal y camas según la demanda prevista.
Gartner estima que, para 2028, el 33% de las aplicaciones empresariales incorporará IA agéntica, frente a menos del 1% actual. En medicina, su adopción avanzará con mayor cautela, porque el margen de error no se mide solo en eficiencia, sino en vidas humanas; aun así, su llegada parece inevitable.
El marco de gobernanza: ante una necesidad regulatoria
Los institutos de mejora de la salud, como IHI, identifican cuatro pilares de gobernanza responsable de IA en medicina.
El primero es una gobernanza amplia e integrada, puesto que no basta con un comité de ética que revise casos ocasionalmente, se requiere una estructura permanente que incluya expertos en informática médica, liderazgo clínico, cumplimiento regulatorio, seguridad de datos, bioética y representación de pacientes. Este grupo debe tener poder de decisión: aprobar o rechazar la implementación de agentes, establecer criterios mínimos de seguridad y definir qué constituye un agente gobernable.
El segundo es contar con capacidades escalables y rendición de cuentas clara. Un hospital pequeño no tiene capacidad para evaluar modelos de machine learning al mismo nivel que un centro académico. La gobernanza debe ser modular: definir requerimientos mínimos que cualquier institución pueda cumplir y permitir que los centros con mayor capacidad se impongan estándares más rigurosos. Pero hay algo crucial: dejar claro quién tiene la autoridad final, cómo se reportan los problemas y cómo se escala cuando surge un incidente.
El tercero es priorizar los resultados del paciente sobre las métricas técnicas. Un modelo que tiene 95 por ciento de precisión en laboratorio puede tener 70 por ciento en la práctica clínica real con pacientes diversos. La validación debe hacerse en la población donde se usará y bajo condiciones reales. Una métrica de modelo es irrelevante si el sistema no mejora los outcomes de los pacientes que lo usan.
El cuarto es prepararse para vacíos regulatorios. No existe una regulación federal consistente sobre IA en medicina. Eso deja la responsabilidad en manos de hospitales, consultores y usuarios finales. Las organizaciones deben establecer mecanismos internos de denuncia de daños, definir estándares mínimos para datos y relaciones con proveedores, diseñar auditorías postimplementación periódicas e incluir vigilancia continua del rendimiento del agente.
Riesgos clínicos y operativos: mapeando la incertidumbre
El riesgo más inmediato es el sesgo algorítmico. Cuando un modelo ha sido entrenado principalmente con datos de población joven o con baja diversidad étnica, su desempeño puede disminuir frente a pacientes de mayor edad o pertenecientes a otros grupos poblacionales. En medicina, esta brecha puede traducirse en una subestimación de riesgos clínicos en segmentos específicos.
Otro riesgo crítico es la degradación silenciosa del rendimiento. Un agente que hoy opera con precisión puede volverse menos confiable con el paso de los meses debido a cambios en los patrones de datos, variaciones en la calidad de la información capturada o transformaciones en la composición de los pacientes atendidos. Sin monitoreo continuo, el sistema puede seguir utilizándose aun cuando ya requiere ajustes, recalibración o reentrenamiento.
También existe el riesgo de una falla en cadena. Un error inicial en la priorización puede derivar en una referencia incorrecta, retrasar estudios de seguimiento y, finalmente, postergar un diagnóstico. El problema no siempre está en una sola decisión, sino en la acumulación de fallos que avanzan sin intervención humana oportuna.
A esto se suma la integración incompleta con los flujos de trabajo clínicos y administrativos. Un agente puede sugerir una terapia, pero si el médico no visualiza la recomendación en el momento adecuado, esta pierde valor. Puede programar un seguimiento, pero si el personal administrativo no comprende el nuevo sistema, la acción nunca se ejecuta. En estos casos, la tecnología no falla por falta de capacidad, sino por no adaptarse a la realidad operativa del hospital.
Finalmente, está la responsabilidad difusa. Si un agente recomienda una medicación que termina provocando un evento adverso, la pregunta deja de ser técnica y se vuelve institucional: ¿quién responde? ¿El hospital que implementó el sistema sin suficiente validación? ¿El proveedor que no comunicó con claridad sus limitaciones? ¿El médico que aceptó la recomendación sin cuestionarla?
Responsabilidad compartida: humano + máquina
El modelo responsable es equivalente a una supervisión humana significativa. No una supervisión que revise todo, porque eso elimina el beneficio de la automatización, sino una supervisión que entienda las limitaciones del sistema, pueda detectar comportamientos anómalos e intervenir si algo parece incorrecto.
Un médico que usa un agente de diagnóstico no abdica su responsabilidad; pues sigue siendo responsable del diagnóstico final. El agente es un consultor inteligente. Un facility manager que usa un agente de programación no pierde responsabilidad. Mantiene autoridad para anular decisiones si el contexto cambió.
Estructuralmente, la responsabilidad debe ser explícita. El hospital asume responsabilidad por la validación previa, el monitoreo continuo y la definición de límites de autonomía. El médico asume responsabilidad por las decisiones finales en relación con pacientes específicos. El proveedor asume responsabilidad por la transparencia sobre limitaciones, capacidades y datos de entrenamiento.
Cuando ocurre un incidente, la investigación debe ser clara sobre qué falló: ¿el algoritmo?, ¿la integración?, ¿la supervisión humana?, ¿el flujo de trabajo? Solo entonces se puede aprender y ajustar.
Construir gobernanza: pasos prácticos para organizaciones
Para un hospital o sistema de salud que comienza a implementar agentes de IA, la gobernanza requiere una inversión inicial significativa, pero evita riesgos mayores después. ¿Qué pasos deberán seguir las organizaciones?
Establecer un comité de gobernanza de IA con autoridad real. Debe incluir clínicos, informáticos, abogados, responsables de cumplimiento y representantes de pacientes. Frecuencia: mínimo mensual, preferiblemente semanal cuando hay implementaciones activas. Responsabilidad: aprobar nuevos agentes, revisar incidentes y definir políticas.
Crear un inventario de todos los agentes en uso. Documentar qué hace cada uno, cuándo se validó, qué monitoreo tiene y quién es responsable. Sin inventario, surgen agentes fantasma que operan sin supervisión.
Establecer criterios mínimos de validación previa. Requerir pruebas de rendimiento en datos representativos de la población local. Requerir análisis de sesgo. Requerir documentación de limitaciones conocidas. Requerir capacitación de usuarios sobre cuándo confiar y cuándo cuestionar el sistema.
Diseñar monitoreo postimplementación. Alertas sobre degradación del rendimiento. Auditorías periódicas de decisiones del agente. Mecanismos para reportar incidentes. Triggers para retirar o modificar agentes si se detectan problemas.
Definir una escalada clara. Si un agente produce decisiones sospechosas, ¿qué sucede? ¿Entra en modo de supervisión manual? ¿Se retira del servicio? ¿Se reaprueba?
El futuro: si la regulación evoluciona, la tecnología avanza
La tendencia global apunta hacia una regulación mucho más estricta para los sistemas de inteligencia artificial en salud. Organismos como la FDA, la EMA y distintas autoridades sanitarias en América Latina ya trabajan en marcos específicos para supervisar software médico basado en IA.
En los próximos años, la validación clínica, las auditorías independientes, la trazabilidad de decisiones y los reportes obligatorios de incidentes dejarán de ser recomendaciones para convertirse en requisitos operativos. En ese escenario, las organizaciones que hoy invierten en gobernanza, monitoreo y supervisión humana estarán mejor preparadas para escalar estas tecnologías con seguridad y respaldo regulatorio.
El debate ya no gira en torno a detener la innovación, sino a garantizar que la autonomía inteligente evolucione bajo estándares claros de responsabilidad clínica y seguridad del paciente. Un agente de IA bien gobernado puede acelerar diagnósticos, optimizar operaciones y transformar la atención médica; uno sin control puede amplificar errores y generar riesgos difíciles de contener.
Para directores médicos, CTOs y líderes hospitalarios, la pregunta ya no es si adoptar agentes de IA autónomos, sino cómo implementarlos de forma responsable, transparente y sostenible. Y esa respuesta, inevitablemente, requiere una inversión seria en gobernanza tecnológica.
Referencias
- Prism, S. B. (2025, 19 junio). AI Governance Healthcare: the lifesaving framework you can’t ignore. SS&C Blue Prism. https://www.blueprism.com/es/resources/blog/ai-governance-healthcare/
- Martínez, C. B. A. W. y. N. (2025, 6 octubre). Gobernanza de la IA: maximizar los beneficios y minimizar los daños para pacientes, proveedores y sistemas de salud. Institute for Healthcare Improvement. https://www.ihi.org/es/library/blog/ai-governance-maximizing-benefit-and-minimizing-harm-patients-providers-and-health
