Zum Inhalt springen
KI-Strategiepapier.de
0/24 gelesen

Strategiepapier / Teil D · Messung

D4Reporting und Stakeholder-Kommunikation

Wer im KI-Programm welche Berichte braucht: Zielgruppen, drei Dashboards, Berichtsrhythmen, eine Vorlage für den Vorstandsbericht und Nachweise für Aufsicht, Kund:innen und Öffentlichkeit.

Geschrieben für:CEOBerater 10 Min. Lesezeit1 Vorlage1 Checkliste

Kennzahlen eines KI-Programms nützen erst, wenn sie bei den Menschen ankommen, die auf ihrer Grundlage entscheiden. Reporting, also das regelmäßige Berichten dieser Kennzahlen, bereitet sie für jede Zielgruppe auf: vom Team, das ein KI-System betreibt, bis zum Aufsichtsgremium. Dafür gibt es zwei Formen: Dashboards, also ständig aktualisierte Ansichten der Kennzahlen, und Berichte, die zu festen Terminen vorgelegt und besprochen werden. Welche Kennzahlen gemessen werden und wie, beschreibt Kapitel D1.

Zielgruppen und ihr Informationsbedarf

Reporting beginnt bei der Frage, wer welche Entscheidung trifft und was er dafür wissen muss. Jede Gruppe braucht andere Kennzahlen: Der Vorstand will den Wertbeitrag in Euro sehen, das Betriebsteam die Fehlerrate in Prozent. Die Spalte „Einordnung“ trennt interne Zielgruppen von der externen Aufsicht und von Markt und Öffentlichkeit, weil das Unternehmen intern steuert und nach außen Nachweise erbringt. Die Tabelle nennt die typischen Zielgruppen eines KI-Programms; je nach Unternehmen kommen weitere hinzu, etwa Investoren oder Fachverbände.

EinordnungZielgruppeKernfrageEntscheidung, die sie trifftInstrument dafür
InternVorstand, AufsichtsgremiumTrägt die KI-Strategie zu den Unternehmenszielen bei?Budget, Ausrichtung des Portfolios, Stopp oder Fortsetzungstrategisches Dashboard und Vorstandsbericht
InternKI-Programmleitung und BereichsleitungenLaufen die Anwendungsfälle nach Plan?Priorisierung, Ressourcen, Eskalationtaktisches Dashboard und Portfolio-Review
InternOperative Teams: Product Owner KI (fachlich verantwortlich für eine KI-Anwendung), Data Science und BetriebFunktioniert das System technisch?Betrieb, Nachtraining (erneutes Trainieren des Modells), Reaktion auf Vorfälleoperatives Dashboard und Alarme
InternMitarbeitende und ArbeitnehmervertretungWie verändert KI die eigene Arbeit, und ist der Einsatz mit der Arbeitnehmervertretung abgestimmt?Akzeptanz, Mitbestimmung, QualifizierungKommunikation und Befähigung nach Kapitel B11, kein eigenes Dashboard
Extern: AufsichtRegulierer, Prüfer und AufsichtIst der Einsatz regelkonform und belegbar?Freigabe, PrüfurteilErklärbarkeitsberichte (Berichte, die erklären, wie das System zu seinen Ergebnissen kommt), Prüfberichte, Prüfpfade (englisch Audit Trails: Protokolle, die jede Entscheidung mit ihren Daten festhalten)
Extern: Markt und ÖffentlichkeitKund:innen, Betroffene und ÖffentlichkeitWo und wofür wird KI eingesetzt, und was bedeutet das für mich?Vertrauen, Nutzung, Wahrnehmung der eigenen RechteKennzeichnung, Auskunft und Transparenzberichte

Die drei Dashboards der internen Steuerung

Die ersten drei Zielgruppen der Tabelle steuern das KI-Portfolio, also die Gesamtheit der KI-Anwendungsfälle, laufend. Jede arbeitet mit einem eigenen Dashboard. Die Ebene des Dashboards entspricht der Entscheidungsebene der Zielgruppe: strategisch für Vorstand und Portfolio Board (das Gremium, das über Aufnahme, Reihenfolge und Beendigung der Anwendungsfälle entscheidet), taktisch für KI-Programmleitung und Bereichsleitungen, operativ für die Teams. Getrennte Dashboards sorgen dafür, dass der Vorstand nicht mit technischen Einzelheiten überladen wird und die Teams trotzdem alle technischen Kennzahlen sehen, die sie täglich brauchen.

DashboardZielgruppeInhaltAktualisierung
StrategischVorstand, Portfolio BoardWenige zusammengefasste Kennzahlen: Wertbeitrag, Risiko-Ampel (die wichtigsten Risiken mit den Farben grün, gelb oder rot), Fortschritt der Roadmap (des zeitlichen Umsetzungsplans)monatlich oder quartalsweise
TaktischKI-Programmleitung, BereichsleitungenKennzahlen je Anwendungsfall, Budget- und Termintreue, offene Risikenwöchentlich oder monatlich
OperativProduct Owner KI, Data Scientists (entwickeln und prüfen die Modelle), BetriebTechnische Kennzahlen, Schwellenwerte, Alarme, Drift (die schleichende Veränderung der Eingaben gegenüber den Daten, mit denen das System entwickelt und geprüft wurde)laufend oder täglich

KPI-Hierarchie: Die Leistungskennzahlen (englisch Key Performance Indicators, KPI) der drei Dashboards hängen zusammen. Jede höhere Ebene fasst die Kennzahlen der Ebene darunter zu weniger Größen zusammen, statt dieselben Einzelheiten zu zeigen. Im operativen Dashboard stehen etwa Modellgüte (wie gut die Ergebnisse des Modells sind), Datenqualität und Kosten je Anfrage, im strategischen Dashboard Wertbeitrag (eingesparte Kosten oder zusätzlicher Umsatz), Kundenzufriedenheit und Risikoexposition, also das Ausmaß möglicher Schäden.

Wie die drei Ebenen zusammenhängen, zeigt der Anwendungsfall „Antwortvorschläge Kundenservice“: Ein Sprachmodell schreibt zu jeder schriftlichen Kundenanfrage (Ticket) einen Antwortentwurf; 40 Servicemitarbeitende prüfen den Entwurf, ändern ihn bei Bedarf und versenden ihn. Im Jahr gehen 30.000 Tickets ein. Für diesen Anwendungsfall zeigen die drei Dashboards folgende Kennzahlen:

DashboardKennzahlen im Beispiel
StrategischWertbeitrag: eingesparte Arbeitsstunden mal 45 Euro je Stunde, Plan 225.000 Euro im Jahr. Zeit bis zur Antwort an die Kund:innen, vor der Einführung 2 Tage.
TaktischNutzungsquote der Entwürfe (Anteil der Tickets, bei denen der Entwurf genutzt wird, mit oder ohne Änderung), Plan fünf Sechstel (rund 83 Prozent). Bearbeitungszeit je Ticket, Ziel 8 Minuten statt 20. Laufende Kosten gegen Plan 45.000 Euro im Jahr.
OperativÜbernahmequote ohne Änderung (Anteil der Entwürfe, die unverändert versendet werden), im Pilot mindestens 50 Prozent. Kosten je Anfrage, Plan 1,50 Euro. Dauer bis zum fertigen Entwurf und Verfügbarkeit des Modells.

Berichtsrhythmen

Ein Dashboard zeigt den Stand jederzeit, aber niemand ist verpflichtet hineinzusehen. Feste Berichtstermine mit benannten Verantwortlichen sorgen dafür, dass jede Zielgruppe den Stand regelmäßig vorgelegt bekommt und bespricht. Probleme fallen dadurch auf, bevor sie groß geworden sind. Die Tabelle zeigt einen Grundtakt, den jedes Unternehmen an die Sitzungstermine seiner Gremien anpasst.

RhythmusFormatZielgruppeInhaltVerantwortlich
WöchentlichStatusrunde je KI-AnwendungOperatives TeamFortschritt, Hindernisse, nächste SchritteProduct Owner KI
MonatlichPortfolio-ReviewPortfolio Board, KI-Programmleitung, BereichsleitungenStand aller Anwendungsfälle, Budget, Risiken; Entscheidungen über Aufnahme, Priorisierung und Beendigung von VorhabenDas Portfolio Board leitet, die KI-Programmleitung bereitet vor.
Quartalsweise, am Ende jeder WellePortfolio-Review mit Überprüfung der RoadmapPortfolio BoardWas geliefert wurde, was sich verschiebt, was entfällt, was neu hinzukommt; Zuschnitt der nächsten WelleDas Portfolio Board leitet, die KI-Programmleitung bereitet vor.
QuartalsweiseVorstandsberichtVorstand, AufsichtsgremiumFortschritt der Strategie, Wertbeitrag, wesentliche Risiken, Änderungen der RegulierungDer Chief AI Officer erstellt den Bericht, die Vorstandspat:in für KI legt ihn dem Vorstand vor.
AnlassbezogenAd-hoc-Meldung, also eine Meldung außerhalb der festen Termineje nach Schwere bis zum VorstandSicherheitsvorfälle, Überschreitungen von Schwellenwerten (etwa bei den Kosten je Anfrage), regulatorische Fristendie für das Thema verantwortliche Rolle

Eine Welle ist eine Gruppe von Anwendungsfällen, die gemeinsam geplant und am Ende gemeinsam überprüft werden; die Roadmap sieht eine Welle je Quartal vor (Kapitel C2). Jedes dritte Portfolio-Review fällt deshalb auf das Ende einer Welle und schließt die Überprüfung der Roadmap ein.

Die KI-Programmleitung steuert das KI-Programm im Alltag und bereitet die Entscheidungen des Portfolio Boards vor. Der Chief AI Officer verantwortet die KI-Strategie und berichtet an die Vorstandspat:in für KI. Die Vorstandspat:in ist das Vorstandsmitglied, das das KI-Programm auf oberster Ebene vertritt. Alle drei Rollen beschreibt Kapitel B7.

Vorlage: Vorstandsbericht (Kurzform)

Der Vorstandsbericht ist die Grundlage, auf der Vorstand und Aufsichtsgremium jedes Quartal über das KI-Programm entscheiden. Jeder Block beantwortet eine Frage, die der Vorstand vor einer Entscheidung klären muss. Bleibt eine dieser Fragen offen, stellt der Vorstand Rückfragen, statt zu entscheiden. Das Beispiel zum Wertbeitrag stammt aus dem Anwendungsfall „Antwortvorschläge Kundenservice“, der seit sechs Monaten im Einsatz ist.

BlockLeitfrageBeispiel
WertbeitragWas hat die Investition bisher gebracht, gemessen am Business Case (der Wirtschaftlichkeitsrechnung vor dem Start)?„Antwortvorschläge Kundenservice“: 97.200 Euro Nutzen (eingesparte Arbeitszeit) in den ersten sechs Monaten des Einsatzes, Plan 112.500 Euro (86 Prozent). Ursache: Die Nutzungsquote der Entwürfe liegt bei 72 statt 83 Prozent. Maßnahme: Nachschulung der Servicemitarbeitenden bis Quartalsende.
Portfolio-StatusWie viele Anwendungsfälle stehen in welcher Phase des Vorgehensmodells (Bestandsaufnahme, Strategie, Pilot, Skalierung, Betrieb; siehe Kapitel C1)?3 in der Strategiephase (werden bewertet und priorisiert), 2 im Pilot, 1 in der Skalierung
Risiko-AmpelWelches sind die größten Risiken, und wie entwickeln sie sich?Abhängigkeit vom Anbieter des Sprachmodells: gelb, steigend
RegulatorikWelche Fristen und Änderungen betreffen das Unternehmen (siehe Kapitel B8)?Die Transparenzpflichten nach Art. 50 der KI-Verordnung der EU (EU AI Act) gelten seit 2. August 2026. Alle Anwendungen sind geprüft; betroffen ist nur der Chatbot auf der Webseite, der jetzt anzeigt, dass Kund:innen mit einer KI schreiben. Die „Antwortvorschläge Kundenservice“ fallen nicht darunter, weil Mitarbeitende jeden Entwurf prüfen und selbst versenden.
KostenLiegt das Programm im Budget, und wie lautet die Prognose für das Jahr?Nach drei Quartalen 82 Prozent des Jahresbudgets verbraucht, weil die Einmalkosten der Einführung im Kundenservice im zweiten Quartal angefallen sind. Prognose zum Jahresende innerhalb des Budgets.
EntscheidungsbedarfWelche konkrete Entscheidung soll das Gremium treffen?Freigabe der Mittel, die die beschlossene Roadmap für die nächste Welle vorsieht: 300.000 Euro

Rechenweg zum Wertbeitrag: In sechs Monaten gehen 15.000 Tickets ein, die Hälfte von 30.000 im Jahr. Jeder genutzte Entwurf spart 12 Minuten Bearbeitungszeit (von 20 auf 8 Minuten). Bei einer Nutzungsquote von 72 Prozent sind das 10.800 Tickets × 12 Minuten = 2.160 Stunden, bewertet mit 45 Euro je Stunde 97.200 Euro. Der Plan von 112.500 Euro ist die Hälfte des erwarteten mittleren Jahresnutzens von 225.000 Euro und setzt voraus, dass der Entwurf bei fünf Sechsteln der Tickets genutzt wird.

Aufbereitung: Jeder Block nennt drei Dinge: den Wert, den Vergleich (mit Plan, Vorquartal oder Schwelle) und die Konsequenz, also was daraus folgt. Eine Reihe von Kennzahlen ohne Vergleich und Konsequenz gibt dem Vorstand keine Grundlage für eine Entscheidung. Die Ampelfarben legt das Unternehmen einmal für alle Dashboards und Berichte fest, damit „gelb“ überall dasselbe bedeutet. Eine mögliche Festlegung:

FarbeBedeutungWer handelt
GrünIm Plan oder innerhalb der festgelegten SchwelleDie Verantwortlichen steuern wie bisher.
GelbAbweichung, welche die Verantwortlichen mit eigenen Mitteln beheben könnenDie verantwortliche Rolle berichtet die Abweichung mit Gegenmaßnahme und Termin.
RotAbweichung, die eine Entscheidung des zuständigen Gremiums (Portfolio Board oder Vorstand) über Budget, Termin oder Stopp verlangtDas zuständige Gremium entscheidet.

Transparenz gegenüber externen Stakeholdern

Regulierer und Prüfer, Kund:innen, Betroffene und Öffentlichkeit steuern das KI-Programm nicht. Sie erhalten deshalb keine Dashboards, sondern Nachweise, die sich prüfen lassen. Die Tabelle unterscheidet fünf Adressaten, weil jeder von ihnen etwas anderes erfahren muss.

AdressatWas offengelegt wirdWomit es belegt wird
Regulierer und AufsichtFunktionsweise, Datenherkunft, Risikoklasse nach dem EU AI Act, Art der menschlichen AufsichtErklärbarkeitsberichte und Dokumentation nach Kapitel B8
Prüfer und ZertifizierungsstellenWelche Daten und Parameter (Einstellungen des Modells) zum Zeitpunkt einer Entscheidung galtenLückenlose Prüfpfade, die jede Entscheidung mit ihren Daten und Parametern festhalten; damit ist jeder Bericht im Nachhinein belegbar
Betroffene PersonenDass eine automatisierte Entscheidung gefallen ist, die wesentliche Logik dieser Entscheidung sowie die Auskunfts- und Widerspruchsrechte nach der Datenschutz-Grundverordnung (DSGVO)Auskunft und Erklärung auf Anfrage, dokumentierte Entscheidungsgrundlage (siehe Kapitel B10)
Kund:innenDass und wofür KI eingesetzt wird; Kennzeichnung von KI-erzeugten Inhalten und Hinweis auf Chatbots, soweit Art. 50 EU AI Act sie verlangtVerständliche Hinweise dort, wo die Kund:innen mit dem Unternehmen in Kontakt treten
Öffentlichkeit und MedienDie Grundsätze des KI-Einsatzes und der Umgang mit VorfällenTransparenzberichte und Modellkarten (Kurzbeschreibungen eines Modells mit Zweck, Grenzen und Prüfergebnissen), eigene Information der Öffentlichkeit bei Vorfällen, bevor Dritte berichten

Automatisierte Berichte, Meldewege und offene Fehlerkultur

Damit das Reporting dauerhaft läuft und ernst genommen wird, braucht es zwei technische Bausteine und einen kulturellen:

  • Automatisiertes Reporting: Dashboards und Standardberichte entstehen aus denselben Datenquellen wie die laufende technische Überwachung (Monitoring) und werden nicht von Hand nachgebaut.
  • Eskalations- und Alarmierungswege: Wird ein Schwellenwert überschritten, löst das einen festgelegten Meldeweg aus, unabhängig vom nächsten regulären Berichtstermin.
  • Offene Fehlerkultur: Realistische Berichte statt geschönter Präsentationen entstehen nur, wenn Fehler und Rückschläge berichtet werden dürfen, ohne dass die Berichtenden Nachteile befürchten. Einem Bericht, der nur Erfolge zeigt, glauben Vorstand und Portfolio Board bald nicht mehr.

Checkliste: Reporting und Stakeholder-Kommunikation

  • Zielgruppen und ihr Informationsbedarf sind bestimmt: wer welche Entscheidung trifft, auf welcher Entscheidungsebene
  • Die Kommunikation an Mitarbeitende und Arbeitnehmervertretung ist geregelt
  • Je Steuerungsebene (strategisch, taktisch, operativ) ist ein Dashboard eingerichtet
  • Die KPI-Hierarchie von den operativen zu den strategischen Kennzahlen ist festgelegt
  • Berichtsrhythmen und Verantwortliche sind festgelegt; das Portfolio-Review am Ende jeder Welle schließt die Überprüfung der Roadmap ein
  • Die Vorlage für den Vorstandsbericht ist im Einsatz, die Ampelfarben sind einheitlich festgelegt
  • Meldewege für Ad-hoc-Meldungen bei Vorfällen und Überschreitungen von Schwellenwerten sind aktiv
  • Das Reporting entsteht automatisch aus denselben Quellen wie das operative Monitoring
  • Regulierer, Prüfer, Betroffene, Kund:innen und Öffentlichkeit erhalten die Nachweise, die sie brauchen; die gesetzlichen Transparenzpflichten (etwa nach Art. 50 EU AI Act und nach der DSGVO) sind erfüllt
  • Die Prüfpfade sind lückenlos: Für jede Entscheidung ist nachvollziehbar, welche Daten und Parameter zu diesem Zeitpunkt galten
  • Eine offene Fehlerkultur ist verankert: Berichte zeigen auch Rückschläge, nicht nur Erfolge

Der Lesestand wird nur in diesem Browser gespeichert.

Suche in allen Kapiteln, Vorlagen und Checklisten.