Strategiepapier / Teil D · Messung
D4Reporting und Stakeholder-Kommunikation
Wer im KI-Programm welche Berichte braucht: Zielgruppen, drei Dashboards, Berichtsrhythmen, eine Vorlage für den Vorstandsbericht und Nachweise für Aufsicht, Kund:innen und Öffentlichkeit.
Kennzahlen eines KI-Programms nützen erst, wenn sie bei den Menschen ankommen, die auf ihrer Grundlage entscheiden. Reporting, also das regelmäßige Berichten dieser Kennzahlen, bereitet sie für jede Zielgruppe auf: vom Team, das ein KI-System betreibt, bis zum Aufsichtsgremium. Dafür gibt es zwei Formen: Dashboards, also ständig aktualisierte Ansichten der Kennzahlen, und Berichte, die zu festen Terminen vorgelegt und besprochen werden. Welche Kennzahlen gemessen werden und wie, beschreibt Kapitel D1.
Zielgruppen und ihr Informationsbedarf
Reporting beginnt bei der Frage, wer welche Entscheidung trifft und was er dafür wissen muss. Jede Gruppe braucht andere Kennzahlen: Der Vorstand will den Wertbeitrag in Euro sehen, das Betriebsteam die Fehlerrate in Prozent. Die Spalte „Einordnung“ trennt interne Zielgruppen von der externen Aufsicht und von Markt und Öffentlichkeit, weil das Unternehmen intern steuert und nach außen Nachweise erbringt. Die Tabelle nennt die typischen Zielgruppen eines KI-Programms; je nach Unternehmen kommen weitere hinzu, etwa Investoren oder Fachverbände.
| Einordnung | Zielgruppe | Kernfrage | Entscheidung, die sie trifft | Instrument dafür |
|---|---|---|---|---|
| Intern | Vorstand, Aufsichtsgremium | Trägt die KI-Strategie zu den Unternehmenszielen bei? | Budget, Ausrichtung des Portfolios, Stopp oder Fortsetzung | strategisches Dashboard und Vorstandsbericht |
| Intern | KI-Programmleitung und Bereichsleitungen | Laufen die Anwendungsfälle nach Plan? | Priorisierung, Ressourcen, Eskalation | taktisches Dashboard und Portfolio-Review |
| Intern | Operative Teams: Product Owner KI (fachlich verantwortlich für eine KI-Anwendung), Data Science und Betrieb | Funktioniert das System technisch? | Betrieb, Nachtraining (erneutes Trainieren des Modells), Reaktion auf Vorfälle | operatives Dashboard und Alarme |
| Intern | Mitarbeitende und Arbeitnehmervertretung | Wie verändert KI die eigene Arbeit, und ist der Einsatz mit der Arbeitnehmervertretung abgestimmt? | Akzeptanz, Mitbestimmung, Qualifizierung | Kommunikation und Befähigung nach Kapitel B11, kein eigenes Dashboard |
| Extern: Aufsicht | Regulierer, Prüfer und Aufsicht | Ist der Einsatz regelkonform und belegbar? | Freigabe, Prüfurteil | Erklärbarkeitsberichte (Berichte, die erklären, wie das System zu seinen Ergebnissen kommt), Prüfberichte, Prüfpfade (englisch Audit Trails: Protokolle, die jede Entscheidung mit ihren Daten festhalten) |
| Extern: Markt und Öffentlichkeit | Kund:innen, Betroffene und Öffentlichkeit | Wo und wofür wird KI eingesetzt, und was bedeutet das für mich? | Vertrauen, Nutzung, Wahrnehmung der eigenen Rechte | Kennzeichnung, Auskunft und Transparenzberichte |
Die drei Dashboards der internen Steuerung
Die ersten drei Zielgruppen der Tabelle steuern das KI-Portfolio, also die Gesamtheit der KI-Anwendungsfälle, laufend. Jede arbeitet mit einem eigenen Dashboard. Die Ebene des Dashboards entspricht der Entscheidungsebene der Zielgruppe: strategisch für Vorstand und Portfolio Board (das Gremium, das über Aufnahme, Reihenfolge und Beendigung der Anwendungsfälle entscheidet), taktisch für KI-Programmleitung und Bereichsleitungen, operativ für die Teams. Getrennte Dashboards sorgen dafür, dass der Vorstand nicht mit technischen Einzelheiten überladen wird und die Teams trotzdem alle technischen Kennzahlen sehen, die sie täglich brauchen.
| Dashboard | Zielgruppe | Inhalt | Aktualisierung |
|---|---|---|---|
| Strategisch | Vorstand, Portfolio Board | Wenige zusammengefasste Kennzahlen: Wertbeitrag, Risiko-Ampel (die wichtigsten Risiken mit den Farben grün, gelb oder rot), Fortschritt der Roadmap (des zeitlichen Umsetzungsplans) | monatlich oder quartalsweise |
| Taktisch | KI-Programmleitung, Bereichsleitungen | Kennzahlen je Anwendungsfall, Budget- und Termintreue, offene Risiken | wöchentlich oder monatlich |
| Operativ | Product Owner KI, Data Scientists (entwickeln und prüfen die Modelle), Betrieb | Technische Kennzahlen, Schwellenwerte, Alarme, Drift (die schleichende Veränderung der Eingaben gegenüber den Daten, mit denen das System entwickelt und geprüft wurde) | laufend oder täglich |
KPI-Hierarchie: Die Leistungskennzahlen (englisch Key Performance Indicators, KPI) der drei Dashboards hängen zusammen. Jede höhere Ebene fasst die Kennzahlen der Ebene darunter zu weniger Größen zusammen, statt dieselben Einzelheiten zu zeigen. Im operativen Dashboard stehen etwa Modellgüte (wie gut die Ergebnisse des Modells sind), Datenqualität und Kosten je Anfrage, im strategischen Dashboard Wertbeitrag (eingesparte Kosten oder zusätzlicher Umsatz), Kundenzufriedenheit und Risikoexposition, also das Ausmaß möglicher Schäden.
Wie die drei Ebenen zusammenhängen, zeigt der Anwendungsfall „Antwortvorschläge Kundenservice“: Ein Sprachmodell schreibt zu jeder schriftlichen Kundenanfrage (Ticket) einen Antwortentwurf; 40 Servicemitarbeitende prüfen den Entwurf, ändern ihn bei Bedarf und versenden ihn. Im Jahr gehen 30.000 Tickets ein. Für diesen Anwendungsfall zeigen die drei Dashboards folgende Kennzahlen:
| Dashboard | Kennzahlen im Beispiel |
|---|---|
| Strategisch | Wertbeitrag: eingesparte Arbeitsstunden mal 45 Euro je Stunde, Plan 225.000 Euro im Jahr. Zeit bis zur Antwort an die Kund:innen, vor der Einführung 2 Tage. |
| Taktisch | Nutzungsquote der Entwürfe (Anteil der Tickets, bei denen der Entwurf genutzt wird, mit oder ohne Änderung), Plan fünf Sechstel (rund 83 Prozent). Bearbeitungszeit je Ticket, Ziel 8 Minuten statt 20. Laufende Kosten gegen Plan 45.000 Euro im Jahr. |
| Operativ | Übernahmequote ohne Änderung (Anteil der Entwürfe, die unverändert versendet werden), im Pilot mindestens 50 Prozent. Kosten je Anfrage, Plan 1,50 Euro. Dauer bis zum fertigen Entwurf und Verfügbarkeit des Modells. |
Berichtsrhythmen
Ein Dashboard zeigt den Stand jederzeit, aber niemand ist verpflichtet hineinzusehen. Feste Berichtstermine mit benannten Verantwortlichen sorgen dafür, dass jede Zielgruppe den Stand regelmäßig vorgelegt bekommt und bespricht. Probleme fallen dadurch auf, bevor sie groß geworden sind. Die Tabelle zeigt einen Grundtakt, den jedes Unternehmen an die Sitzungstermine seiner Gremien anpasst.
| Rhythmus | Format | Zielgruppe | Inhalt | Verantwortlich |
|---|---|---|---|---|
| Wöchentlich | Statusrunde je KI-Anwendung | Operatives Team | Fortschritt, Hindernisse, nächste Schritte | Product Owner KI |
| Monatlich | Portfolio-Review | Portfolio Board, KI-Programmleitung, Bereichsleitungen | Stand aller Anwendungsfälle, Budget, Risiken; Entscheidungen über Aufnahme, Priorisierung und Beendigung von Vorhaben | Das Portfolio Board leitet, die KI-Programmleitung bereitet vor. |
| Quartalsweise, am Ende jeder Welle | Portfolio-Review mit Überprüfung der Roadmap | Portfolio Board | Was geliefert wurde, was sich verschiebt, was entfällt, was neu hinzukommt; Zuschnitt der nächsten Welle | Das Portfolio Board leitet, die KI-Programmleitung bereitet vor. |
| Quartalsweise | Vorstandsbericht | Vorstand, Aufsichtsgremium | Fortschritt der Strategie, Wertbeitrag, wesentliche Risiken, Änderungen der Regulierung | Der Chief AI Officer erstellt den Bericht, die Vorstandspat:in für KI legt ihn dem Vorstand vor. |
| Anlassbezogen | Ad-hoc-Meldung, also eine Meldung außerhalb der festen Termine | je nach Schwere bis zum Vorstand | Sicherheitsvorfälle, Überschreitungen von Schwellenwerten (etwa bei den Kosten je Anfrage), regulatorische Fristen | die für das Thema verantwortliche Rolle |
Eine Welle ist eine Gruppe von Anwendungsfällen, die gemeinsam geplant und am Ende gemeinsam überprüft werden; die Roadmap sieht eine Welle je Quartal vor (Kapitel C2). Jedes dritte Portfolio-Review fällt deshalb auf das Ende einer Welle und schließt die Überprüfung der Roadmap ein.
Die KI-Programmleitung steuert das KI-Programm im Alltag und bereitet die Entscheidungen des Portfolio Boards vor. Der Chief AI Officer verantwortet die KI-Strategie und berichtet an die Vorstandspat:in für KI. Die Vorstandspat:in ist das Vorstandsmitglied, das das KI-Programm auf oberster Ebene vertritt. Alle drei Rollen beschreibt Kapitel B7.
Vorlage: Vorstandsbericht (Kurzform)
Der Vorstandsbericht ist die Grundlage, auf der Vorstand und Aufsichtsgremium jedes Quartal über das KI-Programm entscheiden. Jeder Block beantwortet eine Frage, die der Vorstand vor einer Entscheidung klären muss. Bleibt eine dieser Fragen offen, stellt der Vorstand Rückfragen, statt zu entscheiden. Das Beispiel zum Wertbeitrag stammt aus dem Anwendungsfall „Antwortvorschläge Kundenservice“, der seit sechs Monaten im Einsatz ist.
| Block | Leitfrage | Beispiel |
|---|---|---|
| Wertbeitrag | Was hat die Investition bisher gebracht, gemessen am Business Case (der Wirtschaftlichkeitsrechnung vor dem Start)? | „Antwortvorschläge Kundenservice“: 97.200 Euro Nutzen (eingesparte Arbeitszeit) in den ersten sechs Monaten des Einsatzes, Plan 112.500 Euro (86 Prozent). Ursache: Die Nutzungsquote der Entwürfe liegt bei 72 statt 83 Prozent. Maßnahme: Nachschulung der Servicemitarbeitenden bis Quartalsende. |
| Portfolio-Status | Wie viele Anwendungsfälle stehen in welcher Phase des Vorgehensmodells (Bestandsaufnahme, Strategie, Pilot, Skalierung, Betrieb; siehe Kapitel C1)? | 3 in der Strategiephase (werden bewertet und priorisiert), 2 im Pilot, 1 in der Skalierung |
| Risiko-Ampel | Welches sind die größten Risiken, und wie entwickeln sie sich? | Abhängigkeit vom Anbieter des Sprachmodells: gelb, steigend |
| Regulatorik | Welche Fristen und Änderungen betreffen das Unternehmen (siehe Kapitel B8)? | Die Transparenzpflichten nach Art. 50 der KI-Verordnung der EU (EU AI Act) gelten seit 2. August 2026. Alle Anwendungen sind geprüft; betroffen ist nur der Chatbot auf der Webseite, der jetzt anzeigt, dass Kund:innen mit einer KI schreiben. Die „Antwortvorschläge Kundenservice“ fallen nicht darunter, weil Mitarbeitende jeden Entwurf prüfen und selbst versenden. |
| Kosten | Liegt das Programm im Budget, und wie lautet die Prognose für das Jahr? | Nach drei Quartalen 82 Prozent des Jahresbudgets verbraucht, weil die Einmalkosten der Einführung im Kundenservice im zweiten Quartal angefallen sind. Prognose zum Jahresende innerhalb des Budgets. |
| Entscheidungsbedarf | Welche konkrete Entscheidung soll das Gremium treffen? | Freigabe der Mittel, die die beschlossene Roadmap für die nächste Welle vorsieht: 300.000 Euro |
Rechenweg zum Wertbeitrag: In sechs Monaten gehen 15.000 Tickets ein, die Hälfte von 30.000 im Jahr. Jeder genutzte Entwurf spart 12 Minuten Bearbeitungszeit (von 20 auf 8 Minuten). Bei einer Nutzungsquote von 72 Prozent sind das 10.800 Tickets × 12 Minuten = 2.160 Stunden, bewertet mit 45 Euro je Stunde 97.200 Euro. Der Plan von 112.500 Euro ist die Hälfte des erwarteten mittleren Jahresnutzens von 225.000 Euro und setzt voraus, dass der Entwurf bei fünf Sechsteln der Tickets genutzt wird.
Aufbereitung: Jeder Block nennt drei Dinge: den Wert, den Vergleich (mit Plan, Vorquartal oder Schwelle) und die Konsequenz, also was daraus folgt. Eine Reihe von Kennzahlen ohne Vergleich und Konsequenz gibt dem Vorstand keine Grundlage für eine Entscheidung. Die Ampelfarben legt das Unternehmen einmal für alle Dashboards und Berichte fest, damit „gelb“ überall dasselbe bedeutet. Eine mögliche Festlegung:
| Farbe | Bedeutung | Wer handelt |
|---|---|---|
| Grün | Im Plan oder innerhalb der festgelegten Schwelle | Die Verantwortlichen steuern wie bisher. |
| Gelb | Abweichung, welche die Verantwortlichen mit eigenen Mitteln beheben können | Die verantwortliche Rolle berichtet die Abweichung mit Gegenmaßnahme und Termin. |
| Rot | Abweichung, die eine Entscheidung des zuständigen Gremiums (Portfolio Board oder Vorstand) über Budget, Termin oder Stopp verlangt | Das zuständige Gremium entscheidet. |
Transparenz gegenüber externen Stakeholdern
Regulierer und Prüfer, Kund:innen, Betroffene und Öffentlichkeit steuern das KI-Programm nicht. Sie erhalten deshalb keine Dashboards, sondern Nachweise, die sich prüfen lassen. Die Tabelle unterscheidet fünf Adressaten, weil jeder von ihnen etwas anderes erfahren muss.
| Adressat | Was offengelegt wird | Womit es belegt wird |
|---|---|---|
| Regulierer und Aufsicht | Funktionsweise, Datenherkunft, Risikoklasse nach dem EU AI Act, Art der menschlichen Aufsicht | Erklärbarkeitsberichte und Dokumentation nach Kapitel B8 |
| Prüfer und Zertifizierungsstellen | Welche Daten und Parameter (Einstellungen des Modells) zum Zeitpunkt einer Entscheidung galten | Lückenlose Prüfpfade, die jede Entscheidung mit ihren Daten und Parametern festhalten; damit ist jeder Bericht im Nachhinein belegbar |
| Betroffene Personen | Dass eine automatisierte Entscheidung gefallen ist, die wesentliche Logik dieser Entscheidung sowie die Auskunfts- und Widerspruchsrechte nach der Datenschutz-Grundverordnung (DSGVO) | Auskunft und Erklärung auf Anfrage, dokumentierte Entscheidungsgrundlage (siehe Kapitel B10) |
| Kund:innen | Dass und wofür KI eingesetzt wird; Kennzeichnung von KI-erzeugten Inhalten und Hinweis auf Chatbots, soweit Art. 50 EU AI Act sie verlangt | Verständliche Hinweise dort, wo die Kund:innen mit dem Unternehmen in Kontakt treten |
| Öffentlichkeit und Medien | Die Grundsätze des KI-Einsatzes und der Umgang mit Vorfällen | Transparenzberichte und Modellkarten (Kurzbeschreibungen eines Modells mit Zweck, Grenzen und Prüfergebnissen), eigene Information der Öffentlichkeit bei Vorfällen, bevor Dritte berichten |
Automatisierte Berichte, Meldewege und offene Fehlerkultur
Damit das Reporting dauerhaft läuft und ernst genommen wird, braucht es zwei technische Bausteine und einen kulturellen:
- Automatisiertes Reporting: Dashboards und Standardberichte entstehen aus denselben Datenquellen wie die laufende technische Überwachung (Monitoring) und werden nicht von Hand nachgebaut.
- Eskalations- und Alarmierungswege: Wird ein Schwellenwert überschritten, löst das einen festgelegten Meldeweg aus, unabhängig vom nächsten regulären Berichtstermin.
- Offene Fehlerkultur: Realistische Berichte statt geschönter Präsentationen entstehen nur, wenn Fehler und Rückschläge berichtet werden dürfen, ohne dass die Berichtenden Nachteile befürchten. Einem Bericht, der nur Erfolge zeigt, glauben Vorstand und Portfolio Board bald nicht mehr.
Checkliste: Reporting und Stakeholder-Kommunikation
- Zielgruppen und ihr Informationsbedarf sind bestimmt: wer welche Entscheidung trifft, auf welcher Entscheidungsebene
- Die Kommunikation an Mitarbeitende und Arbeitnehmervertretung ist geregelt
- Je Steuerungsebene (strategisch, taktisch, operativ) ist ein Dashboard eingerichtet
- Die KPI-Hierarchie von den operativen zu den strategischen Kennzahlen ist festgelegt
- Berichtsrhythmen und Verantwortliche sind festgelegt; das Portfolio-Review am Ende jeder Welle schließt die Überprüfung der Roadmap ein
- Die Vorlage für den Vorstandsbericht ist im Einsatz, die Ampelfarben sind einheitlich festgelegt
- Meldewege für Ad-hoc-Meldungen bei Vorfällen und Überschreitungen von Schwellenwerten sind aktiv
- Das Reporting entsteht automatisch aus denselben Quellen wie das operative Monitoring
- Regulierer, Prüfer, Betroffene, Kund:innen und Öffentlichkeit erhalten die Nachweise, die sie brauchen; die gesetzlichen Transparenzpflichten (etwa nach Art. 50 EU AI Act und nach der DSGVO) sind erfüllt
- Die Prüfpfade sind lückenlos: Für jede Entscheidung ist nachvollziehbar, welche Daten und Parameter zu diesem Zeitpunkt galten
- Eine offene Fehlerkultur ist verankert: Berichte zeigen auch Rückschläge, nicht nur Erfolge
Der Lesestand wird nur in diesem Browser gespeichert.