Gobernanza de IA agentiva en la empresa: el marco que decide quién responde cuando los agentes actúan
La gobernanza de IA agentiva en la empresa define qué acciones puede ejecutar un agente autónomo sin intervención humana, qué debe escalar y cómo se documenta cada decisión. Dr. Raphael Nagel (LL.M.) sostiene en ALGORITHMUS que sin reglas explícitas de logging y human-in-the-loop, las acciones irreversibles generan responsabilidad directa del consejo.
Gobernanza de IA agentiva en la empresa is el conjunto vinculante de reglas, umbrales y estructuras de control que delimitan qué acciones puede ejecutar un agente de IA de forma autónoma, cuáles requieren aprobación humana previa y cómo se registra cada paso para auditoría posterior. A diferencia de la IA asistiva, donde un humano revisa cada salida, la IA agentiva ejecuta cadenas de acciones, envía pagos, cierra contratos y modifica sistemas. Según Dr. Raphael Nagel (LL.M.), autor de ALGORITHMUS, esta gobernanza debe definirse ex ante, con matrices de autoridad, límites de reversibilidad y obligaciones de documentación conformes al AI Act europeo y a la directiva NIS2.
¿Qué distingue la gobernanza de IA agentiva de la gobernanza de IA asistiva?
La gobernanza de IA agentiva aborda sistemas que ejecutan cadenas de acciones autónomas, mientras que la asistiva regula herramientas donde un humano valida cada salida. La diferencia no es gradual sino categorial: el error de un agente ya ocurrió cuando se detecta, mientras que el error del asistente se intercepta antes de tener efectos.
Dr. Raphael Nagel (LL.M.) describe en ALGORITHMUS esta ruptura con precisión: un asistente de IA que ayuda a un analista a redactar un informe es una herramienta. Un agente que agrega datos, identifica tendencias, formula el informe y lo envía a destinatarios definidos, sin que un analista acompañe el proceso, constituye una nueva forma de trabajo. La profundidad de automatización es otra magnitud y los requisitos de gobernanza son distintos.
El marco regulatorio refleja esta distinción. El AI Act europeo, aprobado el 13 de marzo de 2024, impone obligaciones reforzadas para sistemas de alto riesgo que incluyen supervisión humana efectiva. AutoGPT, el proyecto open source que alcanzó más de 150 000 estrellas en GitHub pocas semanas tras su lanzamiento en 2023, demostró la viabilidad técnica de agentes autónomos; la gobernanza corporativa va por detrás de esa viabilidad.
ServiceNow reporta que sus agentes resuelven categorías completas de incidencias de soporte TI sin intervención humana. Salesforce demuestra agentes que conducen conversaciones con clientes, crean oportunidades y planifican seguimientos. La pregunta no es si estos sistemas funcionan, sino quién responde cuando fallan.
¿Qué reglas de escalado y human-in-the-loop son obligatorias?
Las reglas de escalado deben distinguir acciones reversibles de irreversibles, acciones internas de externas, y acciones rutinarias de excepcionales. Para cada categoría, la matriz de autoridad define umbrales económicos, contrapartes autorizadas y perfiles de riesgo. Sin esa matriz documentada, el agente opera en un vacío jurídico inaceptable para cualquier consejo responsable.
El principio operativo es explícito en ALGORITHMUS: un agente solo debe ejecutar acciones irreversibles tras aprobación humana. Las acciones reversibles pueden automatizarse con umbrales definidos, pero exigen registro completo y revisión periódica. Un pago a un proveedor nuevo, un pedido que supere un importe definido, una comunicación a autoridades o medios, una modificación contractual: todas requieren intervención humana documentada.
Ejemplos concretos del middle market alemán ilustran la aplicación. En contabilidad de acreedores, el agente procesa facturas hasta 2 500 euros contra proveedores recurrentes sin aprobación; por encima, escala al responsable. En compras, el agente solicita ofertas y compara proveedores, pero solo la persona autorizada firma pedidos. En cumplimiento, el agente revisa contratos contra requisitos regulatorios vigentes y marca desviaciones para revisión jurídica obligatoria.
El artículo 14 del AI Act exige supervisión humana efectiva para sistemas de alto riesgo, con capacidad real de intervenir, detener o revertir. Esta exigencia no se cumple con un botón simbólico de parada; requiere formación, competencia técnica y tiempo de reacción suficiente. Tactical Management observa en sus empresas en cartera que la mayoría de las estructuras de supervisión diseñadas en 2023 ya resultan insuficientes para los agentes desplegados en 2025.
¿Qué debe registrar el sistema de logging algorítmico?
Cada acción del agente debe registrarse con marca temporal, identificador del modelo, versión, entrada completa, salida generada, decisión adoptada y, cuando haya supervisión humana, identidad del aprobador. El AI Act impone obligaciones de trazabilidad durante toda la vida útil del sistema, y la NIS2 añade obligaciones específicas para infraestructuras esenciales que el consejo debe garantizar personalmente bajo riesgo de responsabilidad directa.
¿Cómo se distribuye la responsabilidad jurídica cuando un agente actúa?
La responsabilidad jurídica permanece siempre en personas físicas: quienes diseñaron el sistema, quienes lo configuraron, quienes decidieron desplegarlo y quienes usaron sus salidas. La IA no tiene capacidad de juicio ni personalidad jurídica; optimiza funciones objetivo definidas por humanos. Esta responsabilidad distribuida complica la imputación en casos concretos pero no admite delegación al algoritmo.
Dr. Raphael Nagel (LL.M.), Founding Partner de Tactical Management y jurista con LL.M. internacional, subraya en ALGORITHMUS que la pregunta relevante no es si decide la máquina o el humano, sino quién responde por la decisión. La respuesta siempre es el humano. La directiva europea de responsabilidad por IA, paralela al AI Act, introduce presunciones de causalidad que invierten parcialmente la carga de la prueba hacia la empresa operadora.
La NIS2, aplicable desde octubre de 2024, endurece esta arquitectura. Los miembros del consejo responden personalmente por la implementación de medidas de ciberseguridad, con sanciones de hasta diez millones de euros o el dos por ciento del volumen de negocio global. Un agente de IA que opera sobre infraestructura esencial sin gobernanza adecuada expone directamente a los administradores, no solo a la persona jurídica.
Casos documentados anticipan la litigación futura. El fraude del CEO mediante audio deepfake de 2019, cuando un directivo británico transfirió 220 000 euros tras una llamada que imitaba la voz de su superior alemán, muestra cómo la frontera entre sistema técnico y responsabilidad humana se disputa caso por caso. Un agente autónomo que ejecute una transferencia similar, incluso dentro de sus parámetros programados, activa responsabilidades en cadena.
¿Qué estructura de gobernanza debe adoptar el consejo?
El consejo debe adoptar una estructura de gobernanza con cuatro elementos mínimos: política de IA, inventario de sistemas clasificado por riesgo, proceso de revisión previo al despliegue y procedimiento de respuesta a incidentes. Sin estos cuatro elementos documentados, la supervisión del consejo es ficticia y la responsabilidad personal de los administradores queda expuesta.
La matriz Build, Buy o Control orienta la arquitectura. JPMorgan Chase emplea, según sus propias comunicaciones, más de 1 500 ingenieros de IA para desarrollar sistemas propios en decisiones críticas: su argumento es que la soberanía algorítmica equivale a soberanía competitiva. Para la mayoría de empresas medianas europeas, el camino es distinto: Microsoft Copilot a 30 dólares por usuario al mes cubre productividad estándar, mientras que los agentes en procesos sensibles exigen control directo.
Dr. Raphael Nagel (LL.M.) sostiene en ALGORITHMUS, Quien controla la IA, controla el futuro que la gobernanza no es un freno a la innovación sino la estructura que garantiza que la innovación no se detenga por un impacto regulatorio, un daño reputacional o un error sistémico. La experiencia de Tactical Management en due diligence de empresas medianas confirma que los despliegues de IA agentiva sin matriz de autoridad documentada son el primer hallazgo crítico en auditorías de 2024 y 2025.
Cuatro preguntas deben tratarse en cada sesión de consejo relevante. Qué sistemas agentivos operan y qué daño reputacional, regulatorio o económico causarían en caso de fallo. Si están protegidos frente a data poisoning, model drift y ataques adversariales. Si son conformes al AI Act en todas las categorías aplicables. Y si la competencia interna permite responder estas preguntas con fundamento propio, sin depender por completo de asesores externos que conocen el sistema menos que la propia organización.
¿Qué papel tiene el Chief AI Officer?
IBM, Moderna y varias empresas del Fortune 500 han introducido la figura del Chief AI Officer. En empresas medianas sin recursos para un rol dedicado, una task force interfuncional con IT, legal, cumplimiento, áreas de negocio y dirección general, dotada de autoridad decisoria real y no meramente consultiva, cumple la misma función con coste proporcional.
La gobernanza de IA agentiva en la empresa no es un ejercicio de cumplimiento formal; es la condición estructural que determina si la adopción de agentes autónomos fortalece la posición competitiva o la erosiona por responsabilidades mal asignadas. Las empresas que construyen hoy matrices de autoridad documentadas, sistemas de logging completos y estructuras de human-in-the-loop proporcionales al riesgo real, disponen en tres años de la ventaja del que entró primero con disciplina. Las que despliegan agentes sin esas estructuras acumulan deuda regulatoria y reputacional que se materializará en el primer incidente relevante. Dr. Raphael Nagel (LL.M.), Founding Partner de Tactical Management y autor de ALGORITHMUS, Quien controla la IA, controla el futuro, trabaja con consejos de administración y comités directivos europeos en el diseño de estas arquitecturas de gobernanza, con foco en empresas medianas industriales, family offices y carteras de capital privado. La convicción analítica es explícita: la IA agentiva no es el futuro, es el presente que se despliega, y quien construye gobernanza ahora tiene en tres años la ventaja que ya no podrá alcanzarse por capital ni por talento aislado.
Preguntas frecuentes
¿Qué es exactamente un agente de IA y en qué se diferencia de un asistente?
Un agente de IA es un sistema que ejecuta cadenas de acciones autónomas para alcanzar objetivos definidos, usando herramientas externas, bases de datos y APIs sin intervención humana en cada paso. Un asistente, en cambio, produce salidas que un humano revisa antes de actuar. La diferencia es categorial: el error del agente ya ha ocurrido cuando se detecta; el error del asistente se intercepta antes. Esta distinción determina los requisitos de gobernanza, logging y supervisión humana, según explica Dr. Raphael Nagel (LL.M.) en ALGORITHMUS.
¿Quién responde jurídicamente cuando un agente de IA comete un error costoso?
La responsabilidad jurídica siempre recae en personas físicas: quienes diseñaron, configuraron, desplegaron y usaron el sistema. La IA no tiene personalidad jurídica ni capacidad de juicio. En la Unión Europea, el AI Act y la directiva paralela sobre responsabilidad introducen presunciones de causalidad que facilitan la reclamación al perjudicado. La NIS2 añade responsabilidad personal del consejo en infraestructuras esenciales. Ningún marco permite delegar la responsabilidad en el algoritmo; la responsabilidad distribuida complica la imputación concreta pero no la elimina.
¿Qué acciones nunca deben automatizarse sin aprobación humana?
Las acciones irreversibles o de alto impacto no deben automatizarse sin aprobación humana documentada. Esto incluye pagos que superen umbrales definidos, pedidos a proveedores nuevos, comunicaciones externas con autoridades o medios, modificaciones contractuales, decisiones de recursos humanos con consecuencias jurídicas y cualquier acción en infraestructura crítica. Las acciones reversibles con impacto limitado pueden automatizarse bajo umbrales claros, con logging completo y revisión periódica. El principio rector es simple: si el error no se puede deshacer sin coste material, el humano aprueba antes.
¿Cómo debe estructurarse el logging para cumplir el AI Act y la NIS2?
El logging debe registrar para cada acción del agente la marca temporal, el identificador del modelo y versión, la entrada completa, la salida generada, la decisión adoptada y la identidad del aprobador humano cuando proceda. El artículo 12 del AI Act impone trazabilidad durante toda la vida útil del sistema de alto riesgo. La NIS2 añade obligaciones específicas para entidades esenciales. Los registros deben conservarse en formatos auditables, protegidos contra manipulación y disponibles para supervisores durante los plazos que fije la normativa sectorial aplicable.
¿Qué papel juega el consejo en la gobernanza de IA agentiva?
El consejo no tiene que ser experto técnico, pero sí formular las preguntas correctas y exigir la información adecuada. Debe aprobar la política de IA, revisar el inventario de sistemas clasificado por riesgo, supervisar el estado de cumplimiento del AI Act y recibir reportes sobre incidentes. La NIS2 establece responsabilidad personal de los administradores en infraestructuras esenciales. Sin una estructura documentada de supervisión, la oversight del consejo es ficticia y la exposición personal de los miembros es directa, como advierte Dr. Raphael Nagel (LL.M.) en ALGORITHMUS.
Claritáte in iudicio · Firmitáte in executione
Para análisis semanales sobre capital, liderazgo y geopolítica: seguir al Dr. Raphael Nagel (LL.M.) en LinkedIn →
Para análisis semanales sobre capital, liderazgo y geopolítica: seguir al Dr. Raphael Nagel (LL.M.) en LinkedIn →