D1. Metriken und Evaluierung

KI ist nur erfolgreich, wenn ihre Wirkung messbar ist. Ohne nachvollziehbare Kennzahlen bleibt unklar, ob Lösungen ihre Ziele erreichen, Risiken entstehen oder Investitionen gerechtfertigt sind.

Was dieses Kapitel liefert: das vollständige Kennzahlensystem für alle Ebenen, von der technischen Leistung bis zum Geschäftsbeitrag: vier Metrik-Kategorien, spezifische Kennzahlen für generative KI und Agenten, Schwellenwerte und Evaluierungsmethoden. Ausgangspunkt sind die strategischen Kennzahlen, die die Geschäftsführung in Kapitel B1 festgelegt hat.

Vier Metrik-Kategorien im Überblick

KI-Wirkung lässt sich nicht mit einer einzigen Kennzahl erfassen. Die Metriken ordnen sich in vier Kategorien, jede mit eigener Leitfrage und eigenem Adressaten:

Technische Leistungsmetriken

• Antwortzeit und Durchsatz
• Skalierbarkeit
• Verfügbarkeit und Ausfallsicherheit (Uptime, MTBF)
• Genauigkeit und Fehlerraten, gemessen auf Anwendungsebene über die gesamte Pipeline (Datenaufnahme, Vorverarbeitung, Erkennung, Ausgabe), nicht nur auf Modellebene
• Robustheit und Drift (Abweichung aktueller Eingaben von den Trainingsdaten als Auslöser für Nachtraining)
• Integrationsfähigkeit (Fehlerraten an Schnittstellen)
• Ressourcenverbrauch (Kosten- und Nachhaltigkeitseffekt)

Geschäftliche Erfolgsmetriken

• Umsatzsteigerung und neue Erlösmodelle
• Kostensenkung und Effizienzgewinne
• Kundenzufriedenheit und -bindung (NPS, Bearbeitungszeit, Wiederkaufrate)
• Produktivität und Qualität
• Time-to-Market und Innovationsfähigkeit
• Risiko- und Compliance-Beitrag
• Nachhaltigkeit

Dazu die Adoptionsmetriken aus Kapitel B11 (Nutzungsrate, Umsetzungsquote, Schulungsabdeckung): Eine technisch gute Lösung ohne Nutzung liefert keinen Geschäftswert.

Risikometriken

• Modellfehler und Fehlerraten
• Bias und Fairness: Unterschiede in Genauigkeit und Entscheidungen zwischen Gruppen (siehe Kapitel B10)
• Widerspruchsquote der menschlichen Aufsicht: Anteil der Fälle, in denen Aufsichtspersonen vom Systemvorschlag abweichen; eine Quote nahe null bei hoher Fallzahl signalisiert Durchwinken
• Robustheit und Sicherheit (Stabilität bei Störungen, Erfolgsrate von Angriffssimulationen)
• Datenschutz- und Compliance-Verstöße
• Betriebliche Zuverlässigkeit
• Reputationsrisiken
• Finanzielle Risiken durch Fehlentscheidungen

Prozessmetriken

• Durchlaufzeit von der Idee zur Produktion
• Wiederverwendungsquote
• Qualitätssicherung und Governance
• Interdisziplinarität
• Automatisierungs- und MLOps-Reife
• Änderungs- und Fehlermanagement (MTTR, Rollback-Quote)
• Schulung und Wissensaufbau

Spezifische Evaluierung generativer KI und Agenten

Generative Modelle erzeugen offene Ausgaben und brauchen eigene Kennzahlen, die klassische ML-Metriken nicht abdecken:

• Faktentreue / Grounding: Anteil der Aussagen, die durch Quellen belegt sind (zentral bei RAG).
• Halluzinationsrate: Anteil inhaltlich falscher, aber plausibel wirkender Ausgaben.
• Relevanz und Vollständigkeit: Beantwortet die Ausgabe die Frage tatsächlich?
• Sicherheit / Toxizität: Anteil unzulässiger oder schädlicher Ausgaben.
• Robustheit gegen Prompt Injection: Erfolgsrate von Angriffssimulationen.
• Kosten pro Aufgabe: Tokens bzw. API-Kosten je erledigter Aufgabe (Brücke zu Kapitel D2).
• Bei Agenten zusätzlich: Aufgaben-Erfolgsquote (Ende zu Ende), Anteil korrekter Werkzeug-Aufrufe, Eingriffsquote (Human-in-the-Loop), Quote irreversibler Fehlaktionen (Ziel: null).

Methode: Eine versionierte Evaluationssuite mit festen Testfällen (inklusive Negativ- und Angriffsfällen) wird bei jeder Änderung automatisch ausgeführt. Für offene Ausgaben kombiniert man menschliche Bewertung mit modellgestützter Bewertung gegen eine Referenz.

Vorlage: Metrik-Katalog mit Beispiel-Schwellenwerten

Schwellenwerte sind anwendungsabhängig. Die folgenden Werte sind illustrative Startpunkte, die je Kritikalität anzupassen sind.

Evaluierungsmethoden

Metriken legen fest, was gemessen wird; die folgenden Methoden legen fest, wie belastbar gemessen wird. Je nach Kritikalität des Anwendungsfalls werden mehrere Methoden kombiniert:

• Experimentelle Validierung: getrennte Trainings- und Testdaten, reproduzierbare, protokollierte Experimente.
• A/B-Tests und kontrollierte Rollouts: objektiver Mehrwertnachweis gegen eine Kontrollgruppe; schrittweise Einführung minimiert das Risiko.
• Benchmarking gegen Baselines: Vergleich gegen einfache Regeln oder bisherige Verfahren, um echten Mehrwert zu belegen.
• Simulationsbasierte Evaluierung: Virtuelle Umgebungen und Digital Twins prüfen Auswirkungen, bevor reale Prozesse berührt werden, besonders dort, wo reale Tests teuer oder riskant sind (Fertigung, Logistik, Finanzwirtschaft).
• Szenario- und Stresstests: Verhalten bei ungewöhnlichen Eingaben, hoher Last und Störfällen; macht Resilienz sichtbar.
• Nutzerzentrierte Evaluierung: Umfragen, Usability-Tests, Beobachtung; technische Präzision nützt nichts, wenn Ergebnisse nicht akzeptiert werden.
• Kontinuierliches Monitoring und Feedback-Loops: Drift-Erkennung und Nutzerfeedback in Verbesserungszyklen.
• Audits und externe Prüfungen: unabhängige Prüfungen für kritische Anwendungen (Gesundheit, Finanzen, Verwaltung).

Checkliste: Metriken und Evaluierung je Anwendungsfall

Die Checkliste prüft je Anwendungsfall, ob Messung und Evaluierung tragen; wie die Metriken anschließend berichtet werden, steht in Kapitel D4:

• Erfolgskriterium und Baseline vor dem Start definiert
• Metriken aus allen vier Kategorien festgelegt: technische Leistung, geschäftlicher Erfolg, Risiko und Prozess
• Adoptionsmetriken einbezogen, denn eine technisch gute Lösung ohne Nutzung liefert keinen Geschäftswert
• Bei generativer KI: Halluzination, Grounding und Sicherheit gemessen
• Bei Agenten: Aufgaben-Erfolgsquote, korrekte Werkzeug-Aufrufe, Eingriffsquote und irreversible Fehlaktionen gemessen
• Evaluationssuite mit Negativ- und Angriffsfällen vorhanden, versioniert und bei jeder Änderung automatisch ausgeführt
• Evaluierungsmethoden passend zur Kritikalität kombiniert (Baseline-Vergleich, A/B-Test, Stresstest, nutzerzentrierte Prüfung, externe Audits)
• Schwellenwerte und Alarme definiert
• Drift-Monitoring aktiv
• Dashboard und Reporting-Rhythmus etabliert (siehe Kapitel D4)
• Audit-Trail für kritische Entscheidungen vorhanden