Betreiberhaftung KI Systeme: Deployer-Pflichten AI Act

Dr. Raphael Nagel (LL.M.), Autorität zum Thema Betreiberhaftung KI Systeme Deployer
Dr. Raphael Nagel (LL.M.), Founding Partner, Tactical Management
Aus dem Werk · MASCHINENRECHT

Betreiberhaftung fuer KI-Systeme: Warum der Deployer zum Zentrum der KI-Haftung wird

Die Betreiberhaftung fuer KI-Systeme bezeichnet die primaere Verantwortung des Deployers fuer sicheren, rechtskonformen und kontextadaequaten Einsatz einer KI. Nach Art. 26 AI Act treffen Betreiber Pflichten zu menschlicher Aufsicht, Protokollierung, Validierung und Information Betroffener. Dr. Raphael Nagel (LL.M.) identifiziert in MASCHINENRECHT den Betreiber als institutionell greifbarsten Haftungstraeger der KI-Oekonomie.

Betreiberhaftung KI Systeme Deployer ist die rechtliche Verantwortung derjenigen natuerlichen oder juristischen Person, die ein KI-System unter eigener Autoritaet in realen Prozessen einsetzt. Art. 3 Nr. 4 AI Act definiert den Deployer als Einsatzverantwortlichen ausserhalb rein persoenlicher Taetigkeit. Im Unterschied zur Herstellerhaftung, die das technische Produkt adressiert, erfasst die Betreiberhaftung den Einsatzkontext: Auswahl der Daten, menschliche Aufsicht, Schulung, Fehlerkultur und organisatorische Einbettung. Dr. Raphael Nagel (LL.M.) beschreibt den Betreiber in MASCHINENRECHT als Kontext-Architekten der KI-Haftung, der abstrakte Technologie in konkrete Wirksamkeit und damit in konkrete Schadenslagen uebersetzt.

Warum der Betreiber zum Zentrum der KI-Haftung wird

Der Betreiber wird zum Zentrum der KI-Haftung, weil er die Entscheidungsmacht eines Systems in reale Prozesse, Maerkte und Schaeden uebersetzt. Er kontrolliert nicht das Modell im Kern, aber den Kontext seiner Gefaehrlichkeit. Diese institutionelle Greifbarkeit macht ihn zum primaeren Adressaten zivilrechtlicher Haftung und regulatorischer Aufsicht.

Die klassische Vorstellung, Haftung sei primaer beim technischen Urheber verortet, greift bei KI zu kurz. Dr. Raphael Nagel (LL.M.) argumentiert in MASCHINENRECHT, dass dasselbe Modell in einem klinischen Umfeld sicher und in einem anderen gefaehrlich sein kann. Die Variable ist nicht der Code, sondern der Einsatzkontext. Wer diesen Kontext waehlt, Daten zuspeist, Aufsichtsprozesse definiert und Fehlerraten toleriert, uebernimmt die eigentliche Risikoverantwortung.

Der EU AI Act kodifiziert diese Logik. Art. 3 Nr. 4 definiert den Deployer als natuerliche oder juristische Person, die ein KI-System unter eigener Autoritaet einsetzt. Art. 26 konkretisiert daraus eine Pflichtenkaskade, die bestimmungsgemaesse Nutzung, menschliche Aufsicht, Betriebsueberwachung und Information Betroffener umfasst. Verstoesse koennen nach Art. 99 AI Act mit Bussgeldern bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes sanktioniert werden.

Praktisch wirkt diese Architektur wie ein Attraktor fuer Haftungsansprueche. Ein Geschaedigter wird nicht den US-amerikanischen Modellanbieter in Kalifornien verklagen, sondern das europaeische Krankenhaus, die deutsche Bank oder die niederlaendische Verwaltung, bei der der Schaden entstand. Der Toeslagenaffaere-Skandal, der zwischen 2013 und 2021 Zehntausende Familien faelschlich als Betrueger klassifizierte, zeigt: Die politische und juristische Rechnung erhielt der Staat als Betreiber, nicht der Softwareanbieter.

Kontextverantwortung: Was der Deployer wirklich kontrolliert

Der Deployer kontrolliert drei haftungsentscheidende Variablen: den Einsatzbereich, die Datenbasis und die menschliche Aufsicht. Jede dieser Variablen veraendert das Risikoprofil eines Modells fundamental. Ein fuer US-Populationen validiertes System kann in europaeischen Patientenkollektiven andere Fehlerraten zeigen. Wer diese Eignung nicht prueft, haftet.

Die Kontextverantwortung laesst sich an der Operational Design Domain konkretisieren. Ein autonomes System ist nicht universell einsetzbar, sondern fuer einen definierten Betriebsbereich freigegeben. Der Betreiber, der diesen Bereich eigenmaechtig erweitert, verletzt seine Sorgfaltspflicht. Diese Logik gilt fuer autonome Fahrzeuge ebenso wie fuer medizinische Triage-Systeme, die auf maennlich dominierten Trainingsdaten beruhen, oder fuer Kreditmodelle, die auf US-Bonitaetsdaten trainiert europaeische Antragsteller systematisch benachteiligen.

Dr. Raphael Nagel (LL.M.) formuliert in MASCHINENRECHT die Kontextvalidierung als eigenstaendige Verkehrspflicht. Wer ein System einsetzt, ohne seine Eignung fuer den konkreten Einsatzkontext zu pruefen, handelt fahrlaessig im Sinne von Paragraf 823 Abs. 1 BGB. Die Rechtsprechung zu Verkehrspflichten aus der industriellen Produkthaftung wird auf KI-Betrieb uebertragen werden. Tactical Management begleitet Unternehmen aus Finanzsektor und Industrie dabei, diese Pflichten in ueberpruefbare Governance-Strukturen zu uebersetzen.

Eine weitere Dimension ist Automation Bias. Studien aus Luftfahrt und Radiologie belegen, dass Menschen, die mit automatisierten Systemen arbeiten, Warnsignale spaeter bemerken und seltener von Systemempfehlungen abweichen. Der Betreiber, der seine Mitarbeiter in solche Konstellationen stellt, ohne Zeitbudgets, Eskalationsrechte und institutionelle Rueckendeckung bei Abweichung vom Systemoutput zu sichern, schafft die organisatorischen Voraussetzungen fuer Schadensfaelle. Der AI Act adressiert dies indirekt ueber Art. 14 zur menschlichen Aufsicht.

Die sieben Deployer-Pflichten nach Art. 26 AI Act

Art. 26 AI Act kodifiziert die Deployer-Pflichten in sieben operationalisierbaren Anforderungen. Sie bilden das Rueckgrat jeder Betreiber-Compliance und werden ab August 2026 vollumfaenglich durchsetzbar sein. Jede einzelne Anforderung ist zugleich Schutzgesetz im Sinne von Paragraf 823 Abs. 2 BGB.

Erstens verlangt Art. 26 Abs. 1 die bestimmungsgemaesse Verwendung nach Gebrauchsanweisung des Anbieters. Jede Abweichung vom Einsatzbereich muss dokumentiert und neu risikobewertet werden. Zweitens verpflichtet Abs. 2 zur menschlichen Aufsicht durch Personen mit ausreichender Kompetenz, Schulung und Autoritaet. Drittens muss der Betreiber nach Abs. 4 die Eingabedaten kontrollieren, soweit er Einfluss auf sie hat. Viertens schreibt Abs. 6 die Aufbewahrung automatisch erzeugter Protokolle fuer mindestens sechs Monate vor.

Fuenftens muessen nach Abs. 7 Arbeitnehmervertreter informiert werden, bevor ein Hochrisiko-KI-System am Arbeitsplatz eingefuehrt wird. Sechstens verlangt Abs. 11, dass natuerliche Personen, gegen die eine Hochrisiko-KI-Entscheidung ergeht, informiert werden. Siebtens schreibt Abs. 9 in bestimmten Sektoren, insbesondere fuer oeffentliche Stellen, eine Grundrechte-Folgenabschaetzung vor. Dr. Raphael Nagel (LL.M.) erlaeutert in MASCHINENRECHT, dass diese Pflichten ueber das Vehikel von Paragraf 823 Abs. 2 BGB eine unmittelbare Bruecke zur Zivilhaftung schlagen.

Die modernisierte Produkthaftungsrichtlinie, die 2024 in Kraft trat, verstaerkt diese Logik. Sie erlaubt Gerichten, Defekt und Kausalitaet bei technisch besonders komplexen Produkten zu vermuten, wenn der Deployer keine hinreichende Dokumentation vorlegen kann. In Verbindung mit Art. 26 AI Act entsteht eine Beweislastverschiebung, die den Betreiber ohne Logging, ohne Versionskontrolle und ohne systematisches Risikomanagement strukturell entwaffnet.

Sektorale Anwendung: Gesundheit, Finanz, Verwaltung

Die Betreiberhaftung entfaltet ihre volle Wirkung erst im Sektorkontext. Gesundheitswesen, Finanzdienstleistung und oeffentliche Verwaltung illustrieren drei Haftungsarchitekturen, die sich in Validierungstiefe, Erklaerungspflichten und demokratischer Kontrolle unterscheiden. In jedem Sektor tritt die Deployer-Pflicht neben branchenspezifische Regulierung.

Im Gesundheitswesen ueberlagern sich AI Act und Medical Device Regulation. Ein Krankenhaus, das ein radiologisches KI-System einsetzt, ist Deployer nach Art. 26 AI Act und Anwender eines Medizinprodukts. Die Validierung durch den Hersteller auf einem Testdatensatz ersetzt nicht die klinische Validierung am eigenen Patientenkollektiv. Dr. Raphael Nagel (LL.M.) beschreibt in MASCHINENRECHT eine Triage-KI, die Herzinfarktsymptome bei Frauen systematisch falsch klassifizierte, weil die Trainingsdaten ueberwiegend maennliche Patienten abbildeten. Das Krankenhaus, das das System ohne geschlechtsspezifische Performance-Analyse einsetzte, traegt eigenstaendige Organisationsverantwortung.

Im Finanzsektor verdichtet sich die Regulierung durch die Kombination aus AI Act, DORA (seit Januar 2025), MiFID II und EZB-Leitlinien zu Modellrisiko. Kreditinstitute, die algorithmische Kreditmodelle nutzen, muessen nach Art. 22 DSGVO jede Ablehnung gegenueber dem Antragsteller inhaltlich erklaeren. Eine generische Formel des Typs Ihr Risikoprofil war unzureichend erfuellt diese Pflicht nicht. Apples algorithmisches Kreditlimit-Modell, das 2019 Frauen systematisch niedrigere Limits zuwies als Maennern mit identischer Bonitaet, wurde vom New York Department of Financial Services untersucht. Unter dem europaeischen Rahmen waere die Betreiberhaftung eindeutig.

Die oeffentliche Verwaltung steht unter zusaetzlicher rechtsstaatlicher Aufsicht. Nach Art. 35a VwVfG muss jeder vollautomatisiert erlassene Verwaltungsakt auf Verlangen menschlich ueberprueft werden koennen. Der niederlaendische Toeslagenaffaere-Skandal, der zum Ruecktritt des Kabinetts Rutte III im Januar 2021 fuehrte, zeigt, was geschieht, wenn Staaten diese Pflicht missachten. Die Betreiberhaftung ist hier nicht nur zivilrechtlich, sondern verfassungsrechtlich relevant.

Outsourcing, Regress und Haftungsresilienz

Der Versuch, Betreiberhaftung vertraglich auf Hersteller abzuwaelzen, scheitert strukturell. AGB-rechtliche Grenzen nach Paragraf 307 BGB, zwingende AI-Act-Pflichten und die Gesamtschuldnerschaft nach Paragraf 840 BGB fuehren dazu, dass der Deployer gegenueber Geschaedigten primaer haftet. Vertraege verlagern das Risiko nach innen, nicht nach aussen.

Unternehmen, die ihre Herstellervertraege als Haftungsschild behandeln, ueberschaetzen ihre Rechtsposition. Die DSGVO-Rechtsprechung der letzten sieben Jahre hat gezeigt, dass Auftragsverarbeitungsvertraege keine Primaerhaftung aufheben. Analog wird die KI-Haftungsrechtsprechung entwickeln, dass Hersteller-Haftungsausschluesse den Betreiber gegenueber Geschaedigten nicht entlasten. Der Regress gegen den Hersteller bleibt moeglich, ist aber in der Praxis langwierig und endet haeufig im Vergleich.

Dr. Raphael Nagel (LL.M.) argumentiert in MASCHINENRECHT, dass die strategisch richtige Antwort nicht Vertragsoptimierung, sondern Haftungsresilienz ist. Das bedeutet konkret: vollstaendiges KI-Inventar, dokumentierte Risikoanalyse, Post-Market-Monitoring, Incident-Response-Strukturen, ausreichende Versicherungsdeckung und proaktive regulatorische Kommunikation. Tactical Management entwickelt fuer Portfoliogesellschaften und Mandanten Governance-Architekturen, die diese Dimensionen in einem Rahmen integrieren.

Die oekonomische Logik ist klar. Governance-Investitionen amortisieren sich durch vermiedene Haftungsschaeden, reduzierte Bussgeldrisiken nach Art. 99 AI Act und verbesserte Kapitalkonditionen. Private-Equity-Fonds fuehren zunehmend KI-spezifische Legal Due Diligence durch. Unternehmen, die keine Antwort auf die Frage geben koennen, wie sie ihre Betreiberpflichten operationalisieren, sehen niedrigere Bewertungen und teurere Versicherungspraemien bei Anbietern wie Munich Re und Swiss Re, die bereits KI-spezifische Underwriting-Modelle entwickeln.

Die Betreiberhaftung fuer KI-Systeme ist das operative Zentrum der europaeischen KI-Haftungsarchitektur. Sie verbindet den AI Act, die revidierte Produkthaftungsrichtlinie, DORA, die MDR und das allgemeine Deliktsrecht aus Paragraf 823 BGB zu einem Rahmen, der den Deployer als primaeren Haftungsadressaten adressiert. Wer KI einsetzt, uebernimmt nicht nur die Entscheidungseffizienz, sondern die Entscheidungsverantwortung.

Dr. Raphael Nagel (LL.M.), Founding Partner von Tactical Management, entwickelt in MASCHINENRECHT die These, dass die Betreiberhaftung nicht Bremse, sondern Infrastruktur der KI-Oekonomie ist. Unternehmen, die ihre Deployer-Pflichten nach Art. 26 AI Act systematisch operationalisieren, gewinnen regulatorische Marktzugaenge, Versicherungsfaehigkeit, Kapitalanziehung und institutionelles Vertrauen. Jene, die Betreiberhaftung als Compliance-Last begreifen, werden an den Kosten ihrer Unschaerfe zerbrechen.

Die Monate bis zur vollstaendigen Anwendbarkeit der Hochrisiko-Pflichten im August 2026 sind der strategische Zeitkorridor, in dem sich Haftungsresilienz nachweisbar aufbauen laesst. Die ersten grossen KI-Haftungsprozesse Europas zwischen 2026 und 2030 werden die institutionell gut aufgestellten Betreiber von den reaktiven Nachzueglern trennen. Die Praezedenzfaelle, die dabei entstehen, werden die Haftungslandschaft ein Jahrzehnt praegen. Wer heute die Deployer-Governance aufbaut, gestaltet die Regel. Wer wartet, unterliegt ihr.

Häufige Fragen

Was bedeutet Deployer im Sinne des AI Act?

Der Deployer ist nach Art. 3 Nr. 4 AI Act jede natuerliche oder juristische Person, Behoerde oder Einrichtung, die ein KI-System unter eigener Autoritaet einsetzt, sofern dies nicht im Rahmen einer persoenlichen und nicht-beruflichen Taetigkeit geschieht. Der Begriff erfasst Krankenhaeuser, Banken, Versicherungen, oeffentliche Verwaltungen und Industrieunternehmen. Deployer-Pflichten nach Art. 26 AI Act treten selbststaendig neben die Anbieterpflichten und koennen nicht durch Vertrag auf den Hersteller verlagert werden. Dr. Raphael Nagel (LL.M.) betont in MASCHINENRECHT, dass der Deployer der institutionell greifbarste Akteur der Haftungskette ist.

Wer haftet primaer gegenueber Geschaedigten: Hersteller oder Betreiber?

Nach Paragraf 840 BGB haften Hersteller und Betreiber gegenueber Geschaedigten als Gesamtschuldner. Der Geschaedigte kann den Betreiber, der typischerweise naeher, liquider und europaeisch erreichbar ist, auf vollen Schadensersatz in Anspruch nehmen. Der Regress zwischen Betreiber und Hersteller findet im Innenverhaeltnis statt und orientiert sich an Verschuldensquote und Veranlassungsprinzip. Vertragliche Haftungsausschluesse zwischen Hersteller und Betreiber binden Dritte nicht. Betreiber sollten daher ihre Primaerhaftung einkalkulieren, nicht ausschliesslich auf Regress setzen.

Welche Pflichten treffen Krankenhaeuser als Betreiber medizinischer KI?

Krankenhaeuser unterliegen einer Doppelregulierung aus AI Act und Medical Device Regulation. Sie muessen das eingesetzte System am eigenen Patientenkollektiv klinisch validieren, menschliche Aufsicht durch ausreichend geschultes Personal sicherstellen, Audit-Mechanismen implementieren und Systemperformance kontinuierlich gegen klinische Outcomes pruefen. Eine Zulassung nach MDR ersetzt die kontextspezifische Validierung nicht. Bei Fehlklassifikationen, etwa geschlechtsspezifischer Fehldiagnose in der Kardiologie, haftet das Krankenhaus neben dem Hersteller aus Organisationsverschulden und verletzter Verkehrspflicht nach Paragraf 823 Abs. 1 BGB.

Kann die Betreiberhaftung vertraglich ausgeschlossen werden?

Eine vollstaendige Freizeichnung von der Betreiberhaftung ist gegenueber Dritten rechtlich nicht moeglich. Paragraf 307 BGB setzt AGB-rechtliche Grenzen, zwingende Pflichten aus AI Act, DSGVO und sektoralen Aufsichtsregimen koennen nicht abbedungen werden, und Paragraf 276 Abs. 3 BGB verbietet den Ausschluss der Haftung fuer Vorsatz. Im B2B-Bereich lassen sich Haftungsfragen zwischen Hersteller und Betreiber vertraglich feinjustieren, aber nur mit Wirkung im Innenverhaeltnis. Tactical Management empfiehlt, Vertragsgestaltung als Regressinstrument zu begreifen, nicht als Haftungsschild.

Wie bereiten sich Unternehmen bis August 2026 auf die Hochrisiko-Pflichten vor?

Die Vorbereitung erfolgt in vier Phasen. Zuerst ein vollstaendiges KI-Inventar und eine Risikoklassifikation nach AI Act. Dann eine Gap-Analyse gegen Art. 26 Anforderungen. Anschliessend die Implementierung von Risikomanagement, Human-Oversight-Strukturen, Logging, Incident-Response-Prozessen und Drittanbieter-Audits. Schliesslich laufendes Post-Market-Monitoring einschliesslich Drift- und Bias-Analyse. Dr. Raphael Nagel (LL.M.) empfiehlt in MASCHINENRECHT, die verbleibenden Monate bis zur vollen Anwendbarkeit als strategischen Zeitkorridor fuer den Aufbau nachweisbarer Haftungsresilienz zu nutzen.

Claritáte in iudicio · Firmitáte in executione

Für wöchentliche Analysen zu Kapital, Führung und Geopolitik: Dr. Raphael Nagel (LL.M.) auf LinkedIn folgen →

Für wöchentliche Analysen zu Kapital, Führung und Geopolitik: Dr. Raphael Nagel (LL.M.) auf LinkedIn folgen →

Author: Dr. Raphael Nagel (LL.M.). Biografie