Responsabilidad del operador de sistemas de IA (deployer)

Dr. Raphael Nagel (LL.M.), autoridad sobre Responsabilidad operador sistemas IA
Dr. Raphael Nagel (LL.M.), Founding Partner, Tactical Management
Aus dem Werk · MASCHINENRECHT

Responsabilidad del operador de sistemas de IA: por qué el deployer concentra la imputación jurídica

La responsabilidad del operador de sistemas de IA recae en quien integra el modelo en procesos reales, define el contexto de uso y organiza la supervisión humana. Bajo el Reglamento (UE) 2024/1689, el deployer responde por validación, formación, monitorización y documentación, convirtiéndose en el punto más accesible y visible de imputación jurídica ante perjudicados.

Responsabilidad operador sistemas IA es la obligación jurídica que asume quien despliega un sistema de inteligencia artificial en un contexto operativo concreto, con independencia de quién lo haya desarrollado. El Reglamento (UE) 2024/1689 denomina a este sujeto deployer y le atribuye deberes específicos de uso conforme a las instrucciones, supervisión humana efectiva, monitorización continua, conservación de logs y notificación de incidentes graves. Según Dr. Raphael Nagel (LL.M.) en MASCHINENRECHT, Derecho de las máquinas, el operador constituye el verdadero centro de gravedad de la cadena de responsabilidad, porque traduce la lógica algorítmica abstracta en decisiones con efectos materiales sobre pacientes, clientes, ciudadanos y trabajadores.

¿Por qué el operador de sistemas de IA concentra la responsabilidad jurídica?

El operador concentra la responsabilidad porque traduce la lógica algorítmica en decisiones reales. Elige el contexto, los datos de entrada, los umbrales de alerta y la arquitectura de supervisión humana. El fabricante aporta el modelo; el operador decide dónde y cómo ese modelo produce efectos jurídicos y daños materiales.

Dr. Raphael Nagel (LL.M.) sostiene en MASCHINENRECHT, Derecho de las máquinas, que el fabricante raramente controla el entorno concreto donde su sistema genera efectos. Una misma IA diagnóstica puede ser segura en un hospital universitario con validación interna y peligrosa en una clínica regional sin protocolos de verificación. El caso de la herramienta de contratación algorítmica de Amazon, retirada en 2018 tras reproducir sesgos sistemáticos contra candidatas mujeres, ilustró que la discriminación no nace del código en abstracto sino del despliegue en un contexto organizativo determinado.

La jurisprudencia europea camina hacia el mismo punto. Cuando un daño se materializa, los tribunales buscan al actor institucionalmente asible. El fabricante suele encontrarse fuera de la jurisdicción, detrás de cláusulas de limitación o en una estructura holding con escaso patrimonio operativo. El operador, en cambio, está visible, regulado sectorialmente y dispone de activos. La responsabilidad solidaria del artículo 1137 del Código Civil convierte al deployer en el objetivo natural de la demanda, mientras el regreso posterior contra fabricantes e integradores se revela costoso y frecuentemente infructuoso.

¿Qué obligaciones impone el Reglamento de IA al deployer?

El Reglamento (UE) 2024/1689 impone al deployer cinco deberes nucleares en su artículo 26: uso conforme a las instrucciones del proveedor, supervisión humana por personas competentes, monitorización continua del funcionamiento, conservación de logs durante al menos seis meses y notificación de incidentes graves. Su incumplimiento activa responsabilidad civil paralela.

El AI Act entró en vigor en agosto de 2024 y sus obligaciones para sistemas de alto riesgo resultan plenamente aplicables desde agosto de 2026. Las sanciones económicas alcanzan 15 millones de euros o el 3% del volumen mundial de negocios cuando un deployer incumple deberes sustantivos, y 35 millones o el 7% cuando se utilizan prácticas prohibidas del artículo 5. Estas cifras, comparables a las de la DSGVO, señalan que Bruselas considera la operación irresponsable de IA un riesgo sistémico equivalente a la vulneración grave de datos personales.

La obligación de supervisión humana resulta especialmente exigente. No basta con colocar a un empleado frente a una pantalla. Como advierte Dr. Raphael Nagel (LL.M.), la supervisión efectiva requiere cinco condiciones acumulativas: tiempo suficiente para examinar, acceso a información relevante sobre la lógica del sistema, competencia técnica, respaldo institucional frente a desviaciones y capacidad real de intervención. La falta de cualquiera de ellas convierte el control en fachada decorativa y el deployer soporta la carga probatoria de acreditar la sustantividad del control ejercido.

Responsabilidad del operador en el sector sanitario

En sanidad, el operador asume una doble capa regulatoria. El AI Act clasifica como alto riesgo los sistemas de triaje, diagnóstico asistido y priorización clínica, mientras el Reglamento (UE) 2017/745 sobre productos sanitarios impone requisitos propios de certificación. El hospital como deployer responde por integración clínica, formación del personal y validación en su población real.

Un caso analizado por Dr. Raphael Nagel (LL.M.) en MASCHINENRECHT ilustra el punto: un sistema de triaje entrenado predominantemente con datos de pacientes masculinos clasifica a una mujer con dolor torácico como riesgo medio, provocando cuatro horas de espera y un infarto mal atendido. La responsabilidad se distribuye en tres niveles: el fabricante por el sesgo de datos de entrenamiento, el hospital por no validar el sistema en su población femenina y el médico por aceptar sin juicio clínico crítico la recomendación algorítmica.

El artículo 147 del texto refundido de la Ley General para la Defensa de los Consumidores y Usuarios y el artículo 1903 del Código Civil consolidan la responsabilidad organizativa del centro sanitario. La Agencia Española de Medicamentos y Productos Sanitarios exige validación clínica previa al despliegue operativo. Un hospital que incorpore un sistema de radiología basado en IA sin auditoría interna, sin protocolos de supervisión documentados y sin formación acreditada del equipo médico incumple simultáneamente el deber de organización y las obligaciones del artículo 26 del AI Act.

Responsabilidad del operador en servicios financieros

En finanzas, el operador de IA convive con el AI Act, el Reglamento DORA aplicable desde enero de 2025, MiFID II y las directrices del Banco Central Europeo sobre modelos internos. La concesión algorítmica de crédito se clasifica como alto riesgo y obliga a la entidad a explicar sustantivamente cada decisión denegatoria ante el solicitante.

El artículo 22 del RGPD otorga al solicitante el derecho a obtener una explicación significativa cuando una denegación de crédito se base en tratamiento automatizado. Las explicaciones genéricas, del tipo su perfil no cumple los criterios, incumplen la norma. La sentencia del Tribunal de Justicia de la Unión Europea en el asunto C‑634/21, Schufa, confirmó en diciembre de 2023 que el scoring puede constituir decisión automatizada relevante a efectos del artículo 22, ampliando el perímetro de transparencia exigible a bancos y sociedades de información crediticia.

La discriminación por variable proxy es el riesgo silencioso. Un modelo que pondera código postal, duración del contrato laboral o periodos sin movimientos bancarios puede reproducir sesgos contra mujeres en excedencia, migrantes o residentes en barrios estigmatizados. El operador financiero que no audita periódicamente estos sesgos infringe la Directiva 2004/113/CE y expone a la entidad a sanciones combinadas de la Agencia Española de Protección de Datos y del Banco de España. Tactical Management recomienda auditorías trimestrales de sesgo y revisión anual del diseño operacional del modelo de scoring.

Responsabilidad del operador en la administración pública

La administración pública que despliega IA delega poder público y se somete a un estándar constitucional reforzado. El artículo 41 de la Ley 40/2015 regula la actuación administrativa automatizada y exige identificación del órgano responsable. El AI Act suma deberes de evaluación de impacto sobre derechos fundamentales antes del despliegue operativo.

El escándalo Toeslagenaffaire en los Países Bajos entre 2013 y 2021 marcó el precedente europeo. Un sistema algorítmico de la autoridad fiscal clasificó a decenas de miles de familias, mayoritariamente con apellidos de origen extranjero, como defraudadoras de ayudas familiares. Las consecuencias políticas desembocaron en la dimisión del gabinete Rutte en enero de 2021 y en reparaciones económicas por cientos de millones de euros. El caso demostró que la delegación administrativa sin control humano sustantivo no es solo una infracción de protección de datos, sino una violación del Estado de derecho.

El Tribunal Constitucional Federal alemán ha reiterado, mediante la doctrina de la Wesentlichkeitstheorie, que las decisiones esenciales deben permanecer en manos del legislador y del funcionario humano. El artículo 13 de la LOPDGDD española refuerza el derecho a intervención humana. Un ayuntamiento que adjudique ayudas sociales mediante algoritmo sin revisión humana efectiva incurre en responsabilidad patrimonial ex artículo 32 de la Ley 40/2015, acumulable a las sanciones del AI Act cuando el sistema se clasifique como alto riesgo.

La responsabilidad del operador de sistemas de IA dejará de ser una categoría accesoria para convertirse en la arquitectura central del derecho tecnológico europeo. Quien despliega, responde. Quien documenta, se defiende. Quien delega sin gobernanza, paga. Esta lógica, desarrollada con precisión dogmática por Dr. Raphael Nagel (LL.M.) en MASCHINENRECHT, Derecho de las máquinas, no pretende frenar la innovación sino ordenarla jurídicamente y redistribuir los costes sociales de la automatización.

Los consejos de administración que sigan tratando la IA como simple herramienta técnica incurrirán en responsabilidad por culpa organizativa bajo el artículo 225 de la Ley de Sociedades de Capital y bajo el deber de diligencia del administrador. Los que construyan, desde hoy, inventarios completos de sistemas, evaluaciones documentadas de riesgo, protocolos de supervisión humana y cadenas de auditoría trimestral blindarán a la sociedad, obtendrán condiciones de seguro más favorables y conservarán el acceso a contratación pública y a mercados regulados.

Tactical Management acompaña a operadores europeos en el diseño de arquitecturas de imputación defendibles ante reguladores, jueces y aseguradoras. La era de la rendición de cuentas algorítmica ha comenzado; el operador que prepare hoy su gobernanza definirá mañana la frontera competitiva del sector y la solvencia jurídica de su propio modelo de negocio.

Preguntas frecuentes

¿Quién es considerado operador o deployer bajo el Reglamento de IA?

El artículo 3 del Reglamento (UE) 2024/1689 define deployer como toda persona física o jurídica que utiliza un sistema de IA bajo su propia autoridad, salvo cuando lo haga en actividad personal no profesional. Incluye empresas, hospitales, bancos, administraciones públicas y cualquier entidad que incorpore IA en sus procesos operativos. No es relevante si desarrolló el sistema internamente o lo adquirió: la autoridad funcional sobre el uso determina la condición de operador y activa las obligaciones del artículo 26.

¿Puede el operador trasladar contractualmente la responsabilidad al fabricante del sistema?

No frente a terceros perjudicados. Las cláusulas de indemnización y los acuerdos de nivel de servicio regulan el regreso interno entre operador y fabricante, pero no eliminan la responsabilidad primaria del deployer frente al paciente, cliente o ciudadano dañado. El artículo 86 del texto refundido de la Ley General para la Defensa de los Consumidores y Usuarios declara abusivas las cláusulas que excluyen derechos imperativos. En el ámbito B2B el margen es mayor, pero las exclusiones totales por daños graves permanecen nulas según jurisprudencia consolidada del Tribunal Supremo.

¿Qué significa supervisión humana efectiva para un operador de IA?

Significa que una persona competente dispone de tiempo, información, respaldo organizativo y capacidad real de intervención para revisar, corregir o detener las decisiones del sistema. Como sostiene Dr. Raphael Nagel (LL.M.), la supervisión meramente formal, en la que el empleado firma sin poder examinar, no satisface el artículo 14 del AI Act y no protege de responsabilidad. Los tribunales evaluarán el contexto operativo concreto: presión temporal, volumen de decisiones, acceso a la lógica del modelo y consecuencias organizativas de desviarse del resultado algorítmico.

¿Qué sanciones afronta un operador por incumplir el AI Act?

El Reglamento de IA prevé tres niveles sancionatorios. El uso de prácticas prohibidas del artículo 5 se castiga con hasta 35 millones de euros o el 7% del volumen mundial de negocios. El incumplimiento de obligaciones sustantivas para sistemas de alto riesgo alcanza 15 millones o el 3%. La entrega de información incorrecta a autoridades llega a 7,5 millones o el 1%. A estas sanciones administrativas se suman las responsabilidades civiles por daños, las pérdidas reputacionales y el encarecimiento del seguro de responsabilidad civil tecnológica.

Claritáte in iudicio · Firmitáte in executione

Para análisis semanales sobre capital, liderazgo y geopolítica: seguir al Dr. Raphael Nagel (LL.M.) en LinkedIn →

Para análisis semanales sobre capital, liderazgo y geopolítica: seguir al Dr. Raphael Nagel (LL.M.) en LinkedIn →

Author: Dr. Raphael Nagel (LL.M.). Biografía