Algorithmische Diskriminierung: Haftung nach AGG und AI Act

Algorithmische Diskriminierung und Haftung: Proxy-Variablen, AGG, DSGVO und AI Act im Zusammenspiel

Algorithmische Diskriminierung Haftung bezeichnet die zivil-, verwaltungs- und aufsichtsrechtliche Verantwortung für Schäden, die durch diskriminierende Entscheidungen automatisierter Systeme entstehen. In der EU greifen AGG, DSGVO Art. 22, Richtlinie 2000/43/EG und AI Act parallel. Betreiber, Hersteller und Integratoren haften gesamtschuldnerisch, sobald Proxy-Variablen wie Postleitzahl oder Elternzeit geschützte Merkmale reproduzieren.

Algorithmische Diskriminierung Haftung is die Rechtsfigur, die entsteht, wenn ein KI-System Personen aufgrund geschützter Merkmale wie Geschlecht, ethnischer Herkunft oder Alter benachteiligt und daraus Schadensersatz-, Entschädigungs- und Unterlassungsansprüche folgen. Zentrale Rechtsgrundlagen sind in Deutschland das AGG, insbesondere Paragraf 21, die DSGVO Art. 22 sowie die Richtlinie 2000/43/EG. Entscheidend ist die mittelbare Diskriminierung durch Proxy-Variablen: formal neutrale Merkmale wie Postleitzahl, Schulabschluss oder Perioden geringer Kontobewegung, die faktisch Geschlecht, Herkunft oder Familienstatus reproduzieren. Der AI Act klassifiziert KI zur Bewertung der Kreditwürdigkeit, zur Personalauswahl und in der Strafverfolgung als Hochrisiko und verpflichtet Anbieter wie Betreiber zu Bias-Prüfung, Dokumentation und menschlicher Aufsicht.

Was umfasst algorithmische Diskriminierung rechtlich?

Algorithmische Diskriminierung umfasst jede Benachteiligung, die ein automatisiertes System aufgrund geschützter Merkmale wie Geschlecht, ethnischer Herkunft, Alter oder Behinderung erzeugt, direkt oder mittelbar über Proxy-Variablen. Haftungsgrundlagen sind in Deutschland das AGG, Art. 22 DSGVO, Paragraf 823 Abs. 2 BGB in Verbindung mit Schutzgesetzen sowie der AI Act.

Das prominenteste Beispiel ist das Recruiting-Tool von Amazon, das 2018 eingestellt wurde. Es bewertete Bewerbungen auf Basis historischer Einstellungsdaten und bevorzugte systematisch männliche Kandidaten, weil die Trainingsbasis eine männerdominierte Belegschaft abbildete. Kein Entwickler hatte diese Diskriminierung bewusst programmiert, dennoch entstand strukturelle Benachteiligung. Wie Dr. Raphael Nagel (LL.M.) in MASCHINENRECHT zeigt, ist Bias kein Programmierfehler, sondern ein Architekturergebnis, das juristisch als mittelbare Diskriminierung nach Paragraf 3 Abs. 2 AGG einzuordnen ist.

Ein zweiter paradigmatischer Fall stammt aus den USA: Nutzer eines algorithmischen Kreditvergabesystems eines grossen Technologieunternehmens erhielten systematisch niedrigere Kreditlimits als ihre Ehepartner, obwohl Vermögen und Bonität gemeinsam verwaltet wurden. Frauen wurden benachteiligt, selbst bei höherer Kreditwürdigkeit. Das Modell diskriminierte über Proxy-Variablen, also formal neutrale Merkmale, die faktisch identitätsbezogene Verzerrungen reproduzieren. Die juristische Schärfe liegt darin, dass weder Absicht noch offene Variable ausgewiesen ist, die Wirkung aber klar diskriminierend bleibt.

Die Rechtsfolgen umfassen Schadensersatz nach Paragraf 823 BGB, Entschädigung nach Paragraf 15 und Paragraf 21 AGG, Unterlassung sowie aufsichtsrechtliche Sanktionen. Der AI Act verschärft diese Lage, indem er Kreditscoring-KI und Personalauswahl-KI als Hochrisiko klassifiziert und Bussgelder bis zu 15 Millionen Euro oder drei Prozent des weltweiten Jahresumsatzes androht.

Wie entsteht Proxy-Diskriminierung in Scoring-Modellen?

Proxy-Diskriminierung entsteht, wenn ein Modell formal neutrale Variablen verwendet, die jedoch hoch mit geschützten Merkmalen korrelieren. Postleitzahl korreliert mit Herkunft, Schulabschluss mit Geschlecht, Beziehungsstatus mit Familienarbeit. Das Modell diskriminiert faktisch, ohne ein geschütztes Merkmal direkt zu verwenden. Nach Richtlinie 2000/43/EG und Paragraf 3 Abs. 2 AGG ist diese mittelbare Diskriminierung verboten.

Ein prägnantes Beispiel aus MASCHINENRECHT: Ein Finanzinstitut setzt ein KI-gestütztes Kreditvergabesystem ein, eine Unternehmerin beantragt einen Geschäftskredit, das System lehnt ab. Die spätere Analyse ergibt, dass der Score auf einer Periode geringer Kontobewegung basiert, die tatsächlich auf eine Elternzeit zurückging. Das System verwendete Elternzeit indirekt als Risikoindikator. Das ist strukturelle Diskriminierung aufgrund des Geschlechts, klagbar nach Paragraf 3 Abs. 2 AGG und nach Art. 22 DSGVO wegen fehlender substanzieller Begründung der Ablehnung.

Ein drittes Szenario betrifft die medizinische Triage. In einer Notaufnahme wird eine Patientin mit Brustschmerzen vom System als mittleres Risiko klassifiziert und wartet vier Stunden, bis ein Herzinfarkt diagnostiziert wird. Die nachträgliche Analyse zeigt, dass das Modell überwiegend auf männlichen Trainingsdaten basierte. Herzinfarktsymptome bei Frauen, die häufig atypisch präsentieren, waren unterrepräsentiert. Das System reproduzierte den seit Jahrzehnten dokumentierten Gender-Bias der Kardiologie, ein Phänomen, das jeder sorgfältige Hersteller hätte adressieren müssen.

Die haftungsrechtliche Lehre ist klar: Wer ein Modell auf verzerrten historischen Daten trainiert, ohne Bias-Prüfung und ohne Fairness-Metriken, verletzt seine Sorgfaltspflichten. Der AI Act verlangt für Hochrisiko-KI in Art. 10 hochwertige Datensätze, die repräsentativ, fehlerfrei und vollständig sein sollen. Verstöße gegen diese Pflichten sind Schutzgesetzverletzungen im Sinne von Paragraf 823 Abs. 2 BGB und lösen zivilrechtliche Schadensersatzansprüche aus.

Welche Lehren zieht die Toeslagenaffäre für Haftung?

Die niederländische Toeslagenaffäre zwischen 2013 und 2021 ist das paradigmatische Beispiel staatlicher algorithmischer Diskriminierung in Europa. Ein Risikoprofilsystem der Steuerbehörde favorisierte bestimmte Nationalitäten als höher riskant und klassifizierte Zehntausende Familien, viele mit Migrationshintergrund, fälschlich als Betrüger. Die finanziellen und sozialen Folgen waren verheerend; das Kabinett Rutte III trat 2021 zurück.

Die Besonderheit des Falls liegt in der Verschränkung algorithmischer und institutioneller Versagen. Das System reproduzierte ethnische Profilierung, menschliche Aufsicht versagte, weil Sachbearbeiter die Entscheidungslogik nicht verstanden und Systemoutputs unkritisch übernahmen. Eine Royal Commission stellte die Rechtswidrigkeit von Beginn an fest. Geschädigte erhielten Hunderte Millionen Euro zurückgezahlt, doch die individuellen Folgeschäden blieben unersetzt: verlorene Wohnungen, zerrissene Familien, Kindsentzüge durch Jugendämter.

Für das deutsche Recht folgt daraus eine doppelte Lehre: Art. 35a VwVfG erlaubt vollautomatisierte Verwaltungsakte nur, wenn eine substanzielle menschliche Überprüfung möglich bleibt. Das Bundesverfassungsgericht hat in der Wesentlichkeitstheorie klargestellt, dass grundlegende politische Entscheidungen vom Gesetzgeber selbst getroffen werden müssen. Wird öffentliche Macht an KI-Systeme delegiert, deren Logik Parlamente nicht nachvollziehen können, entsteht ein demokratisches Defizit. Algorithmische Diskriminierung in der Verwaltung ist deshalb nicht nur ein zivilrechtliches, sondern ein staatsrechtliches Zurechnungsproblem.

Dr. Raphael Nagel (LL.M.), Founding Partner von Tactical Management, betont in MASCHINENRECHT, dass die Toeslagenaffäre kein Betriebsunfall war, sondern das Ergebnis organisierter Unverantwortlichkeit: Minister verwiesen auf Beamte, Beamte auf das System, das System konnte nicht haften, Tausende Familien trugen den Schaden allein.

Wer haftet in der Kette bei algorithmischer Diskriminierung?

Haftung für algorithmische Diskriminierung verteilt sich in einer Kette aus Hersteller, Integrator, Betreiber und Management. Jeder Akteur trägt Verantwortung für seinen spezifischen Beitrag zur Entscheidungsarchitektur, gesamtschuldnerisch nach Paragraf 421 BGB, mit anschliessendem Innenregress nach Verschulden und Veranlassung. Der Geschädigte kann den liquidesten Akteur in Anspruch nehmen, typischerweise den Betreiber.

Der Hersteller haftet für Designentscheidungen: Auswahl der Trainingsdaten, Bias-Prüfung, Fairness-Metriken, Explainability. Wer ein Modell ohne dokumentierte Bias-Prüfung in Verkehr bringt, verletzt die Pflichten nach Art. 10 und Art. 15 AI Act sowie die Anforderungen der 2024 in Kraft getretenen revidierten Product Liability Directive, die Software und KI ausdrücklich als Produkt erfasst. Die Beweisvermutung bei technisch komplexen Produkten kehrt die Beweislast faktisch um.

Der Betreiber, nach AI Act der Deployer, haftet für Kontextverantwortung: Validierung auf seiner Zielpopulation, Human-Oversight, Schulung, Monitoring, Incident-Response. Ein Krankenhaus, das ein Triage-System ohne klinische Validierung einsetzt, oder ein Arbeitgeber, der ein Recruiting-Tool ohne Bias-Audit nutzt, verletzt organisatorische Sorgfaltspflichten. Nach Paragraf 15 AGG besteht Entschädigungsanspruch des Betroffenen, der nicht durch Berufung auf das Drittsystem abgewälzt werden kann.

Das Management trägt Organisationsverantwortung nach Paragraf 130 OWiG und der BGH-Rechtsprechung zum Organisationsverschulden. Vorstand und Geschäftsführung müssen sicherstellen, dass KI-Governance-Strukturen bestehen, Rollen definiert sind und Bias-Risiken systematisch adressiert werden. Fehlen diese Strukturen, liegt Organisationsverschulden vor, das persönliche Haftung nach Paragraf 93 AktG oder Paragraf 43 GmbHG auslösen kann. Institutionelle Investoren und Aufsichtsräte bewerten diese Governance-Reife zunehmend als Teil ihrer ESG-Due-Diligence.

Welche Rechtsfolgen drohen nach AGG, DSGVO und AI Act?

Die Rechtsfolgen algorithmischer Diskriminierung greifen parallel auf drei Regulierungsebenen: AGG, DSGVO und AI Act. Jede Ebene hat eigene Sanktionen, die sich nicht gegenseitig ausschliessen. Unternehmen stehen damit vor kumulativer Haftung, deren strategisches Management eine Kernaufgabe moderner KI-Governance ist.

Nach Paragraf 15 und Paragraf 21 AGG können Geschädigte materiellen und immateriellen Schadensersatz sowie Entschädigung in Geld verlangen. Bei mittelbarer Diskriminierung nach Paragraf 3 Abs. 2 AGG genügt der Nachweis, dass eine scheinbar neutrale Praktik Personen mit einem geschützten Merkmal besonders benachteiligt. Die Beweislastumkehr nach Paragraf 22 AGG erleichtert Klägern den Prozess erheblich, sobald sie Indizien für Diskriminierung glaubhaft vortragen können.

Art. 22 DSGVO garantiert das Recht, keiner ausschliesslich automatisierten Entscheidung mit rechtlicher Wirkung unterworfen zu werden, flankiert durch Informationspflichten nach Art. 13 und Art. 14 DSGVO. Das Recht auf substanzielle Erklärung verlangt mehr als generische Standardantworten; es erfordert individualisierte Begründung, die Betroffenen erlaubt, fehlerhafte Daten zu identifizieren und die Entscheidung anzufechten. Verstösse können Bussgelder bis zu 20 Millionen Euro oder vier Prozent des weltweiten Jahresumsatzes auslösen.

Der AI Act klassifiziert KI zur Bewertung der Kreditwürdigkeit, zur Personalauswahl, im Bildungswesen und in der Strafverfolgung als Hochrisiko. Verstösse gegen Hochrisiko-Pflichten werden mit Bussgeldern bis zu 15 Millionen Euro oder drei Prozent des weltweiten Jahresumsatzes sanktioniert. Verstösse gegen verbotene Praktiken erreichen 35 Millionen Euro oder sieben Prozent. Hinzu treten Marktsperrungen, Reputationsschäden und erhöhte Versicherungsprämien, die die direkten Bussgelder um ein Vielfaches übersteigen können.

Algorithmische Diskriminierung Haftung ist keine technische Nebenfrage, sondern die Kernfrage, an der sich die Legitimität automatisierter Entscheidungssysteme entscheidet. Der Amazon-Fall von 2018, der Apple-Card-Streit, die Toeslagenaffäre zwischen 2013 und 2021 und der Gender-Bias der medizinischen Triage belegen, dass Proxy-Diskriminierung keine theoretische Sorge ist, sondern reale ökonomische, soziale und grundrechtliche Schäden produziert. Wer Modelle trainiert, integriert, einsetzt oder verantwortet, haftet nach AGG, DSGVO und AI Act, oft kumulativ und oft gesamtschuldnerisch. Dr. Raphael Nagel (LL.M.), Founding Partner von Tactical Management, argumentiert in MASCHINENRECHT, dass Haftung in der KI-Ökonomie nicht Bremse, sondern Selektionsmechanismus ist: Unternehmen, die Bias-Prüfung, Dokumentation, Human-Oversight und regulatorische Antizipation als Architektur ihrer Governance aufbauen, gewinnen den Zugang zu Kapital, Versicherbarkeit und regulierten Märkten. Die anderen zahlen an drei Fronten zugleich: zivilrechtlich, aufsichtsrechtlich, reputationell. Die nächsten Jahre werden zeigen, welche Akteure die juristische Sprache der Zurechnung beherrschen, und welche an ihrer Unschärfe scheitern. MASCHINENRECHT liefert die Grammatik dieser neuen Ordnung.

Claritáte in iudicio · Firmitáte in executione

Für wöchentliche Analysen zu Kapital, Führung und Geopolitik: Dr. Raphael Nagel (LL.M.) auf LinkedIn folgen →

Für wöchentliche Analysen zu Kapital, Führung und Geopolitik: Dr. Raphael Nagel (LL.M.) auf LinkedIn folgen →