Wer haftet, wenn KI entscheidet? Die neue Haftungsarchitektur zwischen Hersteller, Betreiber, Integrator und Nutzer
Wenn KI entscheidet, haftet nicht die Maschine, sondern eine vierstufige Kette aus Hersteller, Integrator, Betreiber und Nutzer. Dr. Raphael Nagel (LL.M.) zeigt in MASCHINENRECHT, dass der EU AI Act, die 2024 revidierte Product Liability Directive und § 823 Abs. 2 BGB diese Verantwortung ex ante verteilen, bevor ein Schaden Gerichte zu Improvisationen zwingt.
Wer haftet wenn KI entscheidet ist die zentrale Rechtsfrage der KI-Ökonomie: Sie beschreibt die Verteilung zivilrechtlicher, regulatorischer und gefährdungshaftungsrechtlicher Verantwortung zwischen den vier Akteuren der KI-Wertschöpfungskette. Der Hersteller verantwortet die Entscheidungslogik, der Integrator die Prozesskette, der Betreiber den Einsatzkontext, der Nutzer nur den Rahmen seiner eigenen Missbrauchsmöglichkeiten. Dr. Raphael Nagel (LL.M.) rekonstruiert diese Zurechnungsordnung in MASCHINENRECHT anhand des EU AI Act, der revidierten Product Liability Directive und des klassischen Deliktsrechts. Die Werkzeugfiktion, nach der KI bloß ein Instrument des Menschen sei, wird dabei als dogmatisch falsch und machtpolitisch gefährlich verworfen. Haftung wird zur Infrastruktur der KI-Märkte, nicht zu ihrer Bremse.
Warum die klassische Haftungsfrage bei KI zerfällt
Wenn KI entscheidet, zerfällt die klassische juristische Frage Wer hat gehandelt in Fragmente. Entwickler, Datensatz, Integrator, Betreiber, Management und Nutzer tragen nur Teile der Wirkungskette. Dr. Raphael Nagel (LL.M.) beschreibt diese Konstellation in MASCHINENRECHT als organisierte Unverantwortlichkeit, die keine zufällige Lücke, sondern funktionale Dividende des Systems ist.
Drei dokumentierte Fälle illustrieren diesen Zerfall. Amazon stellte 2018 ein Recruiting-Tool ein, das historische Einstellungsdaten reproduzierte und Frauen systematisch benachteiligte, ohne dass ein Entwickler diese Diskriminierung programmiert hätte. Eine ProPublica-Untersuchung zeigte 2016, dass das US-amerikanische COMPAS-System afroamerikanische Angeklagte systematisch als höher riskant einstufte als weiße Angeklagte mit vergleichbarer Straftatenhistorie. Das australische Robodebt-System generierte zwischen 2016 und 2019 hunderttausende automatisierter Rückforderungsbescheide, von denen ein erheblicher Teil fehlerhaft war; eine Royal Commission qualifizierte das Programm rückwirkend als rechtswidrig. In keinem dieser Fälle ließ sich ein einzelner Täter benennen.
Das Recht reagiert bisher mit Fiktionen. Art. 22 DSGVO gewährt zwar ein Recht auf Erklärung automatisierter Entscheidungen, doch die Praxis zeigt, dass Erklärungen häufig zu generisch bleiben, um substantielle Rechenschaft zu ermöglichen. Die niederländische Toeslagenaffäre führte zwischen 2013 und 2021 zur fälschlichen Einstufung zehntausender Familien als betrügerisch und zum Rücktritt des Kabinetts Rutte III im Januar 2021. Das Bundesverfassungsgericht verlangt nach der Wesentlichkeitstheorie, dass grundlegende politische Entscheidungen vom Gesetzgeber selbst getroffen werden; eine stille Delegation an Algorithmen unterläuft genau diesen verfassungsrechtlichen Grundsatz.
Die neue Haftungskette: Hersteller, Integrator, Betreiber, Nutzer
Die Haftung für KI-Entscheidungen verteilt sich nach Dr. Raphael Nagel (LL.M.) entlang einer vierstufigen Kette. Der Hersteller trägt Verantwortung für die Entscheidungslogik selbst, der Integrator für die Einbettung in Prozesse, der Betreiber für den Einsatzkontext und die Governance, der Nutzer nur insoweit, wie er innerhalb dieses Rahmens evident missbräuchlich handelt oder offensichtliche Warnungen ignoriert.
Der Hersteller ist die Quelle der Risikoarchitektur. Datenauswahl, Modellarchitektur, Robustheit, Logging und Erklärbarkeit sind haftungsrelevante Designentscheidungen, nicht bloße Engineering-Fragen. Der AI Act adressiert Anbieter von General Purpose AI unter dem GPAI-Begriff mit eigenen Transparenz- und Dokumentationspflichten. Die 2024 revidierte Product Liability Directive erfasst Software und KI-Systeme ausdrücklich als Produkte und behandelt substanzielle Modifikationen haftungsrechtlich wie ein neues Inverkehrbringen. Hersteller, die Modelle nachtrainieren oder Funktionen wesentlich ändern, lösen damit eine neue Haftungsphase aus und müssen die Konformitätsbewertung für Hochrisiko-Systeme wiederholen.
Der Betreiber wird zum faktischen Zentrum der Haftung, weil er abstrakte Technologie in konkrete Wirkung übersetzt. Der AI Act adressiert diese Rolle unter dem Begriff Deployer und legt Pflichten zur menschlichen Aufsicht, zur bestimmungsgemäßen Nutzung und zum Monitoring fest. Der Integrator hingegen ist der unterschätzte Hochrisikoarchitekt: Er kalibriert Schwellenwerte, verkettet Systeme und übersetzt Wahrscheinlichkeiten in operative Handlungen. Kaskadenfehler, bei denen der Output eines Systems unkritisch zum Input des nächsten wird, gehören zu den gefährlichsten Fehlermustern. Integratoren ohne Validierungs- und Fehlerabfangmechanismen nehmen kalkulierte Haftungsrisiken in Kauf, die der AI Act ausdrücklich adressiert.
Die Werkzeugfiktion und warum sie dogmatisch falsch ist
Die Formel KI ist nur ein Werkzeug beruhigt Öffentlichkeit, Unternehmen, Regulatoren und Gerichte zugleich. Dr. Raphael Nagel (LL.M.) verwirft sie in MASCHINENRECHT als dogmatisch unhaltbar: KI ist keine verlängerte Hand, sondern eine Entscheidungsarchitektur, die den Möglichkeitsraum menschlichen Entscheidens vorstrukturiert, bevor der Mensch überhaupt hinschaut.
Vier Gründe entziehen der Werkzeugfiktion den dogmatischen Boden. Erstens treffen KI-Systeme teilautonome Bewertungen, die in Organisationen als verbindlicher Default gelten. Zweitens verabschiedet sich der AI Act selbst implizit von der reinen Werkzeuglogik, indem er Hochrisiko-KI eigenständige Anforderungen an Design, Daten, Governance und menschliche Aufsicht auferlegt. Drittens behandelt die revidierte Produkthaftung KI-Software als Produkt mit eigener Gefährlichkeit. Viertens setzt jede künftige Gefährdungshaftung voraus, dass die Tätigkeit selbst Quelle abstrakter Gefahr ist, nicht nur Instrument eines Menschen. Wer diese vier Einsichten kombiniert, kann die Werkzeugfiktion juristisch nicht mehr sauber aufrechterhalten.
Die Fiktion wird zur Haftungsfalle. Studien zum Automation Bias in der Luftfahrt und in der Radiologie zeigen, dass Menschen Systemoutputs auch dann übernehmen, wenn Hinweise auf Fehler vorliegen. In Hochfrequenzhandelssystemen liegen menschliche Reaktionszeiten strukturell außerhalb der Zeitskala der Maschine. Der Mensch erscheint im Prozess, weil die Organisation ihn als Legitimationsfigur braucht; im Schadensfall wird ihm plötzlich die Letztverantwortung zugeschrieben. Art. 14 AI Act verlangt deshalb für Hochrisiko-KI eine effektive menschliche Aufsicht, die Systeme tatsächlich stoppen oder außer Kraft setzen kann, nicht nur deren Empfehlung protokolliert und formal abzeichnet.
Europas Antwort: AI Act, Produkthaftung und Beweislastumkehr
Europa beantwortet die Frage, wer haftet, wenn KI entscheidet, mit Risikorecht statt mit Innovationspathos. Der seit August 2024 geltende AI Act, die revidierte Product Liability Directive und § 823 Abs. 2 BGB bilden ein abgestimmtes System, das Zurechnung ex ante stabilisiert, bevor ein konkreter Schaden Gerichte zur Improvisation zwingt.
Der AI Act tritt gestaffelt in Kraft: Die verbotenen Praktiken gelten seit Februar 2025, die GPAI-Regeln seit August 2025, die vollen Hochrisiko-Pflichten ab August 2026. Verstöße gegen die Verbote werden mit bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes sanktioniert, je nachdem, was höher ist. Verboten sind unter anderem Social Scoring durch staatliche Stellen, unbewusste Manipulation und Echtzeit-Biometrie im öffentlichen Raum mit engen Ausnahmen. Hochrisiko-KI umfasst Systeme in kritischer Infrastruktur, Bildung, Beschäftigung, Kreditwesen, Strafverfolgung, Migration und Justiz; für sie gelten strikte Anforderungen an Risikomanagement, Datenqualität, Logging, Dokumentation, Genauigkeit, Robustheit und Cybersicherheit.
Die Beweislast wird faktisch umgekehrt. Die revidierte Produkthaftungsrichtlinie erlaubt Gerichten, bei technisch besonders komplexen Produkten Defektivität und Kausalität zu vermuten, wenn der Kläger Grundtatsachen darlegt. Der Beklagte muss dann erklären, warum kein Defekt vorliegt. Dokumentationsmängel werden dadurch strategisch teuer. § 823 Abs. 2 BGB eröffnet zusätzlich eine deliktische Haftung bei Verletzung der AI-Act-Pflichten als Schutzgesetz im Sinne der deutschen Dogmatik. Wer die vorgeschriebene Konformitätsbewertung nicht durchführt, liefert ein starkes Indiz für Pflichtverletzung in jedem späteren Zivilprozess. Die Blackbox schützt nicht mehr, sie belastet.
Haftung als Infrastruktur der KI-Ökonomie
Haftung ist in der KI-Ökonomie keine Bremse, sondern Infrastruktur. Dr. Raphael Nagel (LL.M.), Founding Partner von Tactical Management, analysiert sie als Selektionsmechanismus: Unternehmen, die Verantwortung präzise organisieren, dokumentieren und versichern, gewinnen an Versicherbarkeit, Kapitalzugang und regulatorischer Tragfähigkeit; die anderen zerbrechen an den Kosten ihrer eigenen Unschärfe.
Versicherer werden zum stillen Regulator. Rückversicherer wie Munich Re und Swiss Re entwickeln eigene Bewertungsmodelle für KI-Risiken, und das Marktvolumen KI-spezifischer Policen wird von Branchenanalysten auf mehrere Milliarden Dollar in den kommenden Jahren geschätzt. Was nicht versicherbar ist, wird nicht skaliert. Parallel beginnen Private-Equity-Fonds, institutionelle Investoren und Ratingagenturen wie Moody’s und S&P, KI-Governance in Legal Due Diligence und Kreditrating einzubeziehen. Sie prüfen Dokumentationsreife, Rollenklarheit, Incident-Response und Versicherungsdeckung. Unternehmen, die diese Fragen nicht beantworten, sehen sich mit niedrigeren Bewertungen oder Ausschluss aus bestimmten Investorenkreisen konfrontiert.
Die strategische Konsequenz für Vorstände und Aufsichtsräte ist eindeutig: KI-Governance gehört ins Engineering-Team, nicht nachgelagert in die Compliance-Abteilung. Rollen und Verantwortlichkeiten müssen vor dem Deployment definiert werden, nicht erst im Krisenfall. Dokumentation ist strategisches Asset, nicht bürokratische Last. Tactical Management begleitet Unternehmen, Investoren und Aufsichtsgremien bei genau diesen Fragen: bei der Strukturierung haftungsresilienter KI-Architekturen, bei der Due Diligence in KI-lastigen Transaktionen und bei der Antizipation regulatorischer Entwicklungen. Wer heute die Grundlagen legt, gewinnt morgen; wer abwartet, zahlt übermorgen den Preis der eigenen Unschärfe.
Die Frage, wer haftet, wenn KI entscheidet, ist keine juristische Randnotiz und keine philosophische Übung. Sie ist die Verfassung der nächsten Wirtschaftsepoche. Wer sie beantwortet, gestaltet nicht nur Paragraphen, sondern Kapitalflüsse, Versicherbarkeit, Markteintrittsbarrieren und die Bedingungen, unter denen Innovation legitim bleibt. Dr. Raphael Nagel (LL.M.) entwickelt in MASCHINENRECHT die dafür notwendige Grammatik: eine Haftungsordnung, die Hersteller, Integrator, Betreiber und Nutzer nicht als moralische Figuren, sondern als Rollen in einer Machtarchitektur begreift. Die industrielle Moderne war das Zeitalter der Produktion, die digitale Moderne das Zeitalter der Information. Die nächste Phase ist das Zeitalter der Zurechnung. In diesem Zeitalter entscheidet sich, wer investieren kann, wer versicherbar bleibt, wer kritische Infrastruktur betreiben darf und wer vor Gericht überlebt. Die erfolgreichen Akteure werden jene sein, die Verantwortung nicht als Hindernis, sondern als Infrastruktur aufbauen. Genau hier setzt die Arbeit von Tactical Management an: an der präzisen Übersetzung rechtlicher Komplexität in unternehmerische Handlungsfähigkeit für Vorstände, Aufsichtsräte und Investoren. Wer die Antwort auf die Haftungsfrage offenlässt, akzeptiert, dass andere sie formulieren, und zahlt den Preis dieser Delegation doppelt.
Häufige Fragen
Wer haftet, wenn ein KI-System in einem Krankenhaus eine falsche Diagnose ausgibt?
Die Haftung verteilt sich auf drei Ebenen. Der Hersteller trägt Produkthaftung nach der revidierten Produkthaftungsrichtlinie und nach der Medical Device Regulation, wenn das System defekt war oder die Trainingsdaten erkennbare Lücken aufwiesen. Das Krankenhaus als Betreiber trägt Organisationsverantwortung für Validierung, Schulung und menschliche Aufsicht gemäß AI Act. Der behandelnde Arzt bleibt an seine eigenen berufsrechtlichen Sorgfaltspflichten gebunden und kann diese nicht auf das System delegieren. Im Innenverhältnis zwischen Hersteller, Betreiber und Arzt wird über Regress nach dem Veranlassungsprinzip aufgeteilt; gegenüber dem Patienten besteht gesamtschuldnerische Haftung, die der Geschädigte gegen den liquidesten Akteur geltend machen kann.
Gilt der Satz KI ist nur ein Werkzeug im deutschen Haftungsrecht?
Nein, diese Formel hält der dogmatischen Prüfung nicht mehr stand. Dr. Raphael Nagel (LL.M.) zeigt in MASCHINENRECHT, dass KI-Systeme eigenständige Entscheidungsarchitekturen sind, die den Möglichkeitsraum menschlichen Handelns vorstrukturieren. Der AI Act verabschiedet sich implizit von der Werkzeuglogik, indem er Hochrisiko-KI eigenständige Design-, Daten- und Governance-Pflichten auferlegt. Die 2024 revidierte Produkthaftungsrichtlinie behandelt KI-Software als Produkt mit eigener Gefährlichkeit. Wer sich im Haftungsprozess auf die Werkzeugfiktion beruft, läuft Gefahr, dass Gerichte daraus ein Indiz für mangelnde Auseinandersetzung mit den tatsächlichen Risiken ableiten, statt einer Entlastung.
Welche Sanktionen sieht der EU AI Act bei Verstößen vor?
Das Sanktionsregime ist dreistufig. Verstöße gegen die verbotenen Praktiken nach Art. 5 AI Act werden mit bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes geahndet, je nachdem, was höher ist. Verstöße gegen spezifische Anforderungen für Hochrisiko-KI und andere Systeme werden mit bis zu 15 Millionen Euro oder drei Prozent sanktioniert. Die Lieferung unrichtiger oder unvollständiger Informationen an Aufsichtsbehörden kann mit bis zu 7,5 Millionen Euro oder einem Prozent geahndet werden. Hinzu kommen indirekte Folgen: Marktsperren, Rückrufpflichten, zivilrechtliche Schadensersatzansprüche Dritter und erhebliche Reputationsschäden, die die direkten Bußgelder oft um ein Vielfaches übersteigen.
Wird durch die neue Produkthaftungsrichtlinie die Beweislast umgekehrt?
Faktisch ja, jedenfalls in bestimmten Konstellationen. Die im Oktober 2024 in Kraft getretene revidierte Produkthaftungsrichtlinie erlaubt Gerichten, bei technisch besonders komplexen Produkten Defektivität und Kausalität zu vermuten, wenn der Kläger Grundsachverhalte plausibel darlegt und der Beklagte keine hinreichende Erklärung liefert. Für KI-Systeme bedeutet das eine strukturelle Verschiebung: Nicht mehr der Geschädigte muss das vollständige Kausalitätspuzzle zusammensetzen; der Hersteller oder Betreiber muss erklären, warum kein Defekt vorliegt. Dokumentationsmängel, fehlende Logs und unzureichende Konformitätsbewertungen werden dadurch im Prozess zur entscheidenden Schwachstelle der Verteidigung.
Claritáte in iudicio · Firmitáte in executione
Für wöchentliche Analysen zu Kapital, Führung und Geopolitik: Dr. Raphael Nagel (LL.M.) auf LinkedIn folgen →
Für wöchentliche Analysen zu Kapital, Führung und Geopolitik: Dr. Raphael Nagel (LL.M.) auf LinkedIn folgen →