B10. Ethik und Responsible AI

Regulatorik legt fest, was rechtlich vorgeschrieben ist (siehe Kapitel B8); Ethik und Responsible AI legen fest, was das Unternehmen zusätzlich für richtig hält, auch dort, wo das Gesetz schweigt.

Was dieses Kapitel liefert: die Leitplanken für Fairness, Transparenz und menschliche Aufsicht, die in anderen Kapiteln bereits als Prinzipien auftauchen, gebündelt und überprüfbar gemacht: mit Metriken, Methoden, einem Review-Prozess und Vorlagen. Als Referenzrahmen dienen die EU-Leitlinien für vertrauenswürdige KI, ISO/IEC 42001 (KI-Managementsystem) und das NIST AI Risk Management Framework; Quellenverweise siehe Kapitel E2.

Aufbau des Kapitels: Zuerst die fünf Grundprinzipien, sie sind der Maßstab. Dann der Ethik-Review mit dem Screening, das über den Prüfbedarf entscheidet. Anwendungsfälle mit mindestens einem Treffer im Screening durchlaufen danach Stufe 2, die vertiefte Prüfung mit den Bausteinen Fairness, Transparenz und Erklärbarkeit, menschliche Aufsicht und Zielkonflikte. GenAI-spezifische Fragen und die Verankerung im Unternehmen schließen das Kapitel ab.

Grundprinzipien

Die fünf Grundprinzipien gelten für jeden KI-Einsatz im Unternehmen, unabhängig von der regulatorischen Einstufung. Sie sind der Maßstab, an dem alle Prüfungen in diesem Kapitel ansetzen: Jede Fairness-Bewertung, jede Transparenzmaßnahme und jede Aufsichtsstufe lässt sich auf eines dieser Prinzipien zurückführen. Alle fünf gelten immer; die dritte Spalte zeigt, in welchen Situationen ein Prinzip konkrete Arbeit auslöst und wo diese Arbeit beschrieben ist.

Der Ethik-Review als Prozess

Prinzipien wirken nur, wenn sie an definierten Punkten geprüft werden. Der Ethik-Review ist dieser Prüfprozess. Er ist bewusst zweistufig, damit der Prüfaufwand zum Risiko passt: Ein kurzes Screening trifft jeden Anwendungsfall, die vertiefte Prüfung nur die auffälligen. Das Screening im Intake (siehe Kapitel B6) ist die Weiche, die über den weiteren Weg entscheidet.

Stufe 1: Screening (jeder Anwendungsfall, etwa 15 Minuten, im Intake). Vier Fragen:

• Trifft oder beeinflusst das System Entscheidungen über Menschen (Auswahl, Bewertung, Preis, Zugang)?
• Interagiert das System direkt mit Kunden oder Beschäftigten?
• Verarbeitet das System sensible Merkmale oder naheliegende Stellvertreter dafür?
• Kann eine falsche Ausgabe für Betroffene schwer umkehrbare Folgen haben (finanziell, gesundheitlich, beruflich, reputativ)?

Der Ausgang des Screenings legt den Weg fest; jedes „Ja" zählt als Treffer:

• Kein Treffer → Stufe 2 entfällt. Der Anwendungsfall erhält keine Ethik-Auflagen. Weiterlesen: den Abschnitt Stufe 2 überspringen, es geht direkt beim Abschnitt GenAI-spezifische Ethikfragen weiter. Der Anwendungsfall selbst durchläuft anschließend Schritt 3 des Intake, die Bewertung mit der Scorecard aus Kapitel B2. Die fünf Grundprinzipien gelten weiterhin, lösen aber keine gesonderte Prüfung aus.
• Mindestens ein Treffer → weiter mit Stufe 2. Der Anwendungsfall gilt als ethisch sensibel und durchläuft die vertiefte Prüfung im folgenden Abschnitt Stufe 2, bevor er in die Umsetzung geht.

Verzahnung mit dem Vorgehensmodell (siehe Kapitel C1): Das Screening gehört in den Intake (Phase Assess/Strategize), die vertiefte Prüfung vor das Gate Pilot → Scale, die wiederkehrende Prüfung in den Betrieb (Phase Operate). Ethik-Prüfungen nach dem Go-live nachzuholen ist die teuerste Variante: Dann ist das Modell gebaut, die Daten sind gewählt und jede Korrektur ist ein Umbau.

Stufe 2: Die vertiefte Prüfung

Diese Stufe durchlaufen nur Anwendungsfälle mit mindestens einem Treffer im Screening; für alle anderen entfällt sie, ihr Weg steht oben beim Screening-Ausgang. Die vertiefte Prüfung besteht aus vier Bausteinen, je einem Unterabschnitt: der Fairness-Bewertung, dem Erklärbarkeits-Konzept (Transparenz und Erklärbarkeit), der Festlegung der Aufsichtsstufe (Menschliche Aufsicht) und der Dokumentation der Zielkonflikte. Ergebnis ist eine Freigabeempfehlung des Responsible AI Officers bzw. des Ethikgremiums.

Fairness: Verzerrungen erkennen und begrenzen

Fairness ist das erste der drei Prinzipien, die in der Praxis am meisten Arbeit machen und deshalb ab hier einen eigenen Abschnitt erhalten. Verzerrungen entstehen meist über die Daten (historische Diskriminierung, unterrepräsentierte Gruppen) oder über die Zielgröße: Ein statistisch optimales Ziel ist nicht automatisch ein faires Ziel.

• Vor dem Training: Repräsentativität der Trainingsdaten prüfen (siehe Kapitel B4), sensible Merkmale und ihre Proxys identifizieren.
• Vor der Freigabe: Ergebnisse nach relevanten Gruppen aufschlüsseln und auf systematische Abweichungen prüfen (Metriken unten).
• Im Betrieb: regelmäßige Fairness-Prüfung, nicht nur einmalig vor dem Go-live; erneute Prüfung bei Datenwechsel oder Modellaktualisierung.

Ein verbreiteter Irrtum vorab: Das Weglassen sensibler Merkmale (“wir verwenden Geschlecht ja gar nicht”) stellt keine Fairness her. Modelle rekonstruieren die Information über Stellvertretermerkmale wie Postleitzahl, Beruf oder Teilzeitquote. Fairness muss gemessen werden, sie ergibt sich nicht aus Unwissenheit.

Fairness ist messbar, aber nicht eindeutig: die Metrik-Entscheidung

Es gibt mehrere mathematische Fairness-Definitionen, und sie widersprechen einander: Es ist nachweisbar unmöglich, alle gleichzeitig zu erfüllen, sobald sich die Gruppen in der Grundrate unterscheiden. Ein Unternehmen muss deshalb je Anwendungsfall entscheiden, welche Definition die richtige ist, und diese Entscheidung begründen und dokumentieren. Genau diese Abwägung ist der Kern der Fairness-Arbeit; wer sie überspringt, misst irgendetwas.

Praktische Auswahlhilfe: Zuerst klären, welcher Fehler wem schadet. Schadet vor allem das Übersehen Geeigneter, führt das zur Chancengleichheit. Schaden falsche Verdächtigungen, braucht es ausgeglichene Fehlerraten. Entscheiden Menschen anhand des Scores weiter, ist Kalibrierung Voraussetzung. Demografische Parität ist die stärkste Vorgabe und zugleich die umstrittenste, weil sie von der tatsächlichen Eignungsverteilung abweichen kann; sie braucht eine bewusste unternehmerische oder rechtliche Begründung. Zusätzlich einen Schwellenwert festlegen, ab dem eine Abweichung als Befund gilt (verbreitete Faustregel: relative Abweichung über 20 %, ursprünglich aus der US-amerikanischen Four-Fifths-Rule; in der EU nicht als Norm vorgegeben, strenger je nach Tragweite), und diesen im Evaluationskonzept verankern (siehe Kapitel D1).

Gegenmaßnahmen: das Spektrum kennen

Wird eine Verzerrung gefunden, gibt es mehr Optionen als “Modell verwerfen”. Die Maßnahmen unterscheiden sich stark in Aufwand und Eingriffstiefe; oft ist die nachgelagerte Korrektur der pragmatische erste Schritt, die Datenverbesserung die nachhaltige Lösung.

Das Daten-Dilemma der Fairness-Messung

Um Verzerrungen nach Gruppen zu messen, braucht man die Gruppenzugehörigkeit, also genau die sensiblen Merkmale, deren Verarbeitung die DSGVO (Art. 9) besonders beschränkt. Seit dem Digital Omnibus zum EU AI Act besteht dafür eine ausdrückliche Rechtsgrundlage: Anbieter und Betreiber dürfen besondere Kategorien personenbezogener Daten verarbeiten, soweit dies für die Erkennung und Korrektur von Verzerrungen unbedingt erforderlich ist. Der Omnibus weitet diese zuvor auf Anbieter von Hochrisiko-Systemen begrenzte Erlaubnis auf alle KI-Systeme aus, bindet sie aber an strenge Bedingungen: nur, wenn sich die Verzerrung nicht mit weniger eingriffsintensiven Daten prüfen lässt (etwa synthetischen oder anonymisierten), und mit strenger Zugriffskontrolle, Zweckbindung, Weitergabeverbot und Löschung nach Zweckerreichung. Datenschutzrechtlich ist die Öffnung umstritten; ihre Nutzung ist zu dokumentieren und mit dem Datenschutz abzustimmen (siehe Kapitel B8). Dieses Dilemma ist damit lösbar, aber nur bewusst:

• Fairness-Messung als eigenen Zweck mit eigener Rechtsgrundlage behandeln und mit Datenschutzbeauftragten abstimmen (Ergebnis dokumentieren)
• Sensible Merkmale nur im Prüfdatensatz führen, getrennt vom Produktivsystem; das Modell selbst erhält sie nie
• Wo direkte Erhebung nicht möglich ist: aggregierte Prüfungen, Stellvertreter-Analysen oder Stichproben mit Einwilligung; die geringere Aussagekraft dokumentieren
• Das Dilemma nicht als Vorwand nutzen: “Wir dürfen das nicht messen” endet sonst als “wir wissen nicht, ob wir diskriminieren”

Vorlage: Fairness-Bewertung je Anwendungsfall

Zu jeder Frage steht, warum sie beantwortet werden muss. Unbeantwortete Fragen bedeuten hier: Das Risiko ist unbekannt, nicht abwesend.

Transparenz und Erklärbarkeit

Das zweite der drei vertieften Prinzipien ist Transparenz. Sie hat zwei Adressaten: die betroffene Person (weiß sie, dass eine KI beteiligt ist?) und die Organisation selbst (kann sie eine Entscheidung im Nachhinein nachvollziehen?).

• Gegenüber Betroffenen: Kennzeichnung von KI-Interaktionen und KI-erzeugten Inhalten, verständliche Erklärung der wichtigsten Entscheidungsgründe.
• Gegenüber der Organisation: Modell- und Datenkarten (siehe Kapitel A2) dokumentieren Zweck, Daten, Annahmen und Grenzen; Protokollierung erlaubt die nachträgliche Rekonstruktion einer Entscheidung.

Erklärbarkeits-Methoden: welche Erklärung für wen

“Erklärbar” ist kein Schalter, sondern eine Auswahlentscheidung auf zwei Ebenen. Erstens beim Modell: Von Haus aus interpretierbare Verfahren (Scorekarten, Regelwerke, kleine Entscheidungsbäume) erklären sich selbst, leistungsstärkere Verfahren brauchen nachgelagerte Erklärverfahren, deren Ergebnisse Annäherungen sind, keine Wahrheit. Bei hoher Tragweite gehört die Frage “reicht ein interpretierbares Modell?” an den Anfang, nicht ans Ende. Zweitens beim Adressaten: Jede Zielgruppe braucht eine andere Erklärung.

Ehrlichkeit bei generativer KI: Ausgaben großer Sprachmodelle sind nach heutigem Stand nicht im klassischen Sinn erklärbar; niemand kann die Entstehung einer konkreten Formulierung kausal nachvollziehen. Das Ersatzkonstrukt ist Begründbarkeit: Antworten werden auf geprüfte Quellen gestützt und mit Quellenangabe ausgegeben (Grounding, siehe Kapitel B9), Unsicherheit wird ausgewiesen statt überspielt. Für Anwendungsfälle, die echte Erklärbarkeit erfordern (z. B. ablehnende Einzelfallentscheidungen), ist ein LLM als entscheidendes System die falsche Wahl; als vorbereitendes Werkzeug mit menschlicher Entscheidung kann es zulässig sein (siehe Entscheidungsbaum in Kapitel B8).

Menschliche Aufsicht

Das dritte vertiefte Prinzip ist die menschliche Aufsicht. Sie ist abgestuft, nicht binär: Nicht jede Entscheidung braucht eine Einzelfreigabe, aber jede folgenreiche schon.

Dieselbe Abstufung gilt für Agenten: Werkzeugrechte und Human-in-the-Loop-Punkte werden nach der Tragweite der möglichen Aktion vergeben (siehe Kapitel B9).

Wirksame Aufsicht gestalten, Durchwinken verhindern

Der häufigste Fehlermodus menschlicher Aufsicht ist nicht ihr Fehlen, sondern ihr Leerlauf: Die prüfende Person bestätigt fast alles (Automation Bias), und aus Aufsicht wird ein Stempel. Formal ist die Pflicht dann erfüllt, faktisch entscheidet die Maschine. Wirksame Aufsicht hat vier Bedingungen, die aktiv hergestellt werden müssen:

Messen statt hoffen: Die Widerspruchsquote (Anteil der Fälle, in denen die Aufsichtsperson vom Systemvorschlag abweicht) wird als Kennzahl erhoben. Eine Quote nahe null bei hoher Fallzahl ist ein Alarmsignal für Durchwinken, keine Bestätigung der Modellqualität. Ergänzend haben sich verdeckte Kontrollfälle bewährt: bekannte Grenzfälle, die eingestreut werden, um zu prüfen, ob die Aufsicht sie erkennt.

Zielkonflikte dokumentieren

Wo Fairness, Genauigkeit, Wirtschaftlichkeit und Geschwindigkeit gegeneinanderstehen, wird die Abwägung dokumentiert, nicht stillschweigend zugunsten der Wirtschaftlichkeit aufgelöst. Eine dokumentierte Abwägung hat fünf Bestandteile; das Beispiel zeigt das Format.

GenAI-spezifische Ethikfragen

Die bisherigen Prüfungen dieses Kapitels fragen vor allem, ob ein System Menschen fair behandelt. Generative KI bringt zusätzliche Risiken mit, die dort nicht vorkommen: Sie kann Inhalte frei erfinden, echte Personen täuschend nachbilden, sich als Mensch ausgeben, fremde Werke verwerten oder viel Energie verbrauchen.

Die Tabelle nennt je Thema die Kernfrage dahinter und die passenden Leitplanken als Einzelpunkte. So wird sie genutzt: Bei jedem Anwendungsfall mit generativer KI die zutreffenden Zeilen durchgehen, unabhängig vom Ergebnis des Screenings oben. Leitplanken, die immer wieder gelten, werden einmal als unternehmensweite Leitlinie festgehalten, statt sie in jedem Vorhaben neu auszuhandeln.

Verankerung im Unternehmen

Damit die Prinzipien und Prüfungen dieses Kapitels nicht bei einem einmaligen Anlauf bleiben, brauchen sie einen festen Platz in Rollen, Prozessen und Kennzahlen. Vier Verankerungspunkte haben sich bewährt:

• Responsible AI Officer / Ethikgremium: definiert Leitlinien, prüft kritische Anwendungsfälle vor dem Go-live (Review-Prozess oben), eskaliert bei Zielkonflikten.
• Ethik-Grundsätze als Teil der Freigabe: Kein Hochrisiko-Anwendungsfall geht live ohne Fairness- und Transparenzprüfung, zusätzlich zur regulatorischen Konformitätsbewertung.
• Kennzahlen statt Absichtserklärungen: Fairness-Metriken und Widerspruchsquote sind Teil des laufenden Reportings (siehe Kapitel D4), nicht einer einmaligen Prüfung.
• Managementsystem: Wer Responsible AI dauerhaft verankern will, kann sich an ISO/IEC 42001 orientieren; für die meisten Unternehmen ist die Integration der Prüfpunkte in bestehende Freigabe- und Risikoprozesse der pragmatische Weg.

Checkliste: Ethik und Responsible AI

Die Checkliste bündelt die Prüfungen des Kapitels, vom Screening im Intake bis zur Verankerung im Unternehmen:

• Ethik-Screening für jeden Anwendungsfall im Intake verankert; vertiefte Prüfung bei Treffern
• Fairness-Bewertung für jeden Hochrisiko- und kundennahen Anwendungsfall durchgeführt
• Fairness-Metrik je Anwendungsfall begründet gewählt, Schwellenwert festgelegt
• Sensible Merkmale und mögliche Proxys identifiziert; Rechtsgrundlage der Fairness-Messung geklärt
• Gegenmaßnahme je Befund entschieden und dokumentiert (beheben, kompensieren, begründet akzeptieren)
• Erklärbarkeits-Konzept je Adressat festgelegt; bei generativer KI Begründbarkeit über Quellen
• Transparenzpflichten gegenüber Betroffenen umgesetzt (Kennzeichnung, Erklärung)
• Modell- und Datenkarte vorhanden und aktuell
• Aufsichtsstufe je Entscheidungstyp festgelegt; Wirksamkeitsbedingungen hergestellt
• Widerspruchsquote wird gemessen und berichtet
• Zielkonflikte nach Vorlage dokumentiert
• GenAI-Leitplanken (Kennzeichnung, Vermenschlichung, Urheberrecht, Umwelt) geprüft
• Verantwortliche Stelle (Responsible AI Officer oder Gremium) benannt
• Wiederkehrende Prüfung bei Daten- oder Modelländerung eingeplant