AI Governance ist der Rahmen aus Rollen, Regeln, Prozessen und Kontrollen, mit dem eine Organisation sicherstellt, dass sie KI-Systeme rechtmäßig, sicher und nachvollziehbar entwickelt und einsetzt. Sie deckt den gesamten Lebenszyklus ab, von der Auswahl über den Betrieb bis zur Abschaltung.
Das Prinzip kennst du aus Qualitätsmanagement oder Informationssicherheit. Entscheidend ist nicht ein einzelnes Werkzeug, sondern dass jemand verantwortlich ist, Regeln gelten und ihre Einhaltung geprüft wird.
Nehmen wir an, dein Kundenservice will einen Chatbot einsetzen. Mit Governance ist vorab geklärt, wer ihn freigibt, welche Kundendaten er sehen darf, wie Kunden erfahren, dass sie mit einer KI schreiben, wer Fehlantworten prüft und wie Vorfälle gemeldet werden. Ohne Governance entscheidet das der Zufall oder das Team, das zuerst loslegt.
Für Unternehmen in der EU ist das kein Nice-to-have mehr. Der EU AI Act macht aus Governance konkrete Pflichten mit Stichtagen und Bußgeldern. Die folgenden Abschnitte beantworten vor allem eine Frage. Was muss mein Unternehmen tun, und bis wann?
1. Der EU AI Act und seine Stichtage
Der AI Act gilt gestaffelt. Die Tabelle fasst zusammen, was wann gilt, einschließlich der Änderungen durch den AI Omnibus (Verordnung (EU) 2026/1744). Eine ausführliche Erklärung findest du im Artikel zum EU AI Act.
- Verbote bestimmter KI-Praktiken (Art. 5) und die Pflicht zur Förderung von KI-Kompetenz (Art. 4)
- Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI) sowie Regeln zu Governance und Sanktionen
- Der AI Omnibus tritt in Kraft, die Neufassung von Art. 4 gilt
- Transparenzpflichten nach Art. 50. Die EU-Kommission kann die GPAI-Pflichten mit Bußgeldern durchsetzen.
- Zwei zusätzliche Verbote (bestimmte intime Inhalte und Missbrauchsdarstellungen) und Ende der Übergangsfrist für die technische Markierung bereits angebotener generativer Systeme (Art. 50 Abs. 2)
- Pflichten für eigenständige Hochrisiko-Systeme nach Anhang III
- Pflichten für Hochrisiko-KI als Sicherheitsbauteil regulierter Produkte
gradually.aiVerstöße kosten. Für verbotene Praktiken drohen Bußgelder bis zu 35 Mio. € oder 7 % des weltweiten Jahresumsatzes. Für Verstöße gegen viele weitere Pflichten, etwa die von Anbietern und Betreibern von Hochrisiko-Systemen und die Transparenzpflichten, sind es bis zu 15 Mio. € oder 3 %. Maßgeblich ist jeweils der höhere Betrag, bei kleinen und mittleren Unternehmen der niedrigere.
2. Rollen und Risikoklassen
Welche Pflichten dich treffen, hängt von zwei Fragen ab. Welche Rolle hast du bei dem System, und in welche Risikoklasse fällt es?
- Wer das ist
- Entwickelt ein KI-System oder lässt es entwickeln und bringt es unter eigenem Namen in Verkehr, etwa eine Softwarefirma mit eigenem KI-Assistenten
- Typische Pflichten
- Bei Hochrisiko-Systemen Risikomanagement, Datenqualität, technische Dokumentation, Transparenz und menschliche Aufsicht, Konformitätsbewertung, Beobachtung nach dem Inverkehrbringen
- Wer das ist
- Nutzt ein KI-System beruflich in eigener Verantwortung, etwa eine Agentur mit Chatbot im Kundenservice
- Typische Pflichten
- KI-Kompetenz sicherstellen, Transparenzpflichten erfüllen. Bei Hochrisiko-Systemen Nutzung nach Anleitung, menschliche Aufsicht, Überwachung, Protokolle für mindestens sechs Monate aufbewahren, Beschäftigte informieren
gradually.aiDie Rolle kann wechseln. Wer ein Hochrisiko-System unter eigenem Namen anbietet, es wesentlich verändert oder für einen Hochrisiko-Zweck einsetzt, wird nach Art. 25 selbst zum Anbieter. Das betrifft vor allem Unternehmen, die fremde KI in eigene Produkte einbauen. Wer ein Modell wie ChatGPT nur im Alltag nutzt, ist Betreiber. Die GPAI-Pflichten tragen die Modellanbieter, du solltest aber ihre Unterlagen und Verträge prüfen.
Die Risikoklasse bestimmt den Aufwand. Der AI Act unterscheidet vier Stufen, von verboten bis minimal.
EU AI Act: Risikopyramide
Die vier Risikostufen des EU AI Acts
3. Was muss mein Unternehmen tun? Die Checkliste
Die zehn Schritte sind in der Reihenfolge angelegt, in der ich sie angehen würde. Die Fristen stammen aus der Tabelle oben. Wo „laufend“ steht, gibt es keinen Stichtag, aber es ist die Voraussetzung für die übrigen Pflichten.
- Schritt
- KI-Inventar anlegen
- Was du tust
- Alle KI-Systeme erfassen, die ihr nutzt oder anbietet, auch von Teams selbst eingeführte Werkzeuge
- Frist oder Bezug
- sofort, danach laufend pflegen
- Schritt
- Rolle je System bestimmen
- Was du tust
- Anbieter oder Betreiber, und prüfen, ob du durch Änderung oder eigenen Namen zum Anbieter wirst
- Frist oder Bezug
- sofort (Art. 25)
- Schritt
- Verbotene Praktiken ausschließen
- Was du tust
- Ideen wie Social Scoring oder Emotionserkennung am Arbeitsplatz früh aussortieren
- Frist oder Bezug
- gilt seit 2. Februar 2025, zwei weitere Verbote ab 2. Dezember 2026
- Schritt
- KI-Kompetenz sicherstellen
- Was du tust
- Schulungen und Regeln für alle, die mit KI arbeiten, nach Rolle und Vorwissen abgestuft
- Frist oder Bezug
- gilt seit 2. Februar 2025, Neufassung seit 27. Juli 2026
- Schritt
- Risikoklasse prüfen
- Was du tust
- Prüfen, ob ein System unter Anhang III oder als Sicherheitsbauteil unter die Hochrisiko-Regeln fällt
- Frist oder Bezug
- vor Einsatz, Pflichten ab 2. Dezember 2027 oder 2. August 2028
- Schritt
- Transparenzpflichten umsetzen
- Was du tust
- Hinweis bei Chatbots, Kennzeichnung von KI-Inhalten und Deepfakes, wo Art. 50 greift
- Frist oder Bezug
- seit 2. August 2026, Markierung bestehender Systeme bis 2. Dezember 2026
- Schritt
- Lieferanten prüfen
- Was du tust
- Bei Modellen und Tools Dokumentation, Verträge und Datenverarbeitung der Anbieter einholen
- Frist oder Bezug
- GPAI-Pflichten seit 2. August 2025
- Schritt
- Richtlinie und Freigabeprozess einführen
- Was du tust
- Erlaubte Tools, Datenregeln, Freigabe neuer Anwendungen, Prüfpflicht für Ergebnisse
- Frist oder Bezug
- laufend, sinnvoll vor breiter Nutzung
- Schritt
- Datenschutz und Verträge klären
- Was du tust
- Rechtsgrundlagen, Auftragsverarbeitung, Datenschutz-Folgenabschätzung wo nötig
- Frist oder Bezug
- laufend (DSGVO)
- Schritt
- Überwachen, dokumentieren, überprüfen
- Was du tust
- Protokolle, Vorfälle, Fehlerquoten und einen festen Review-Rhythmus, etwa halbjährlich
- Frist oder Bezug
- laufend, bei Hochrisiko-Systemen mit den Betreiberpflichten
gradually.aiZu Schritt 4 gibt es einen eigenen Beitrag zur KI-Kompetenzpflicht, zu Schritt 8 eine Anleitung für die KI-Richtlinie im Unternehmen.
4. ISO/IEC 42001 und NIST AI RMF im Vergleich
Wer eine Governance aufbaut, muss das Rad nicht neu erfinden. Zwei Rahmenwerke werden am häufigsten genutzt. ISO/IEC 42001 ist ein zertifizierbarer Standard für ein KI-Managementsystem, das NIST AI Risk Management Framework ein freiwilliger Leitfaden für den Umgang mit KI-Risiken.
- ISO/IEC 42001
- Internationaler Standard für ein KI-Managementsystem
- NIST AI RMF
- Freiwilliges Rahmenwerk der US-Behörde NIST
- ISO/IEC 42001
- Dezember 2023
- NIST AI RMF
- Januar 2023, GenAI-Profil im Juli 2024
- ISO/IEC 42001
- Managementsystem mit Anforderungen an Führung, Planung, Betrieb und Verbesserung sowie Maßnahmenkatalog im Anhang
- NIST AI RMF
- Vier Funktionen: Govern, Map, Measure, Manage, dazu Playbook und Profile
- ISO/IEC 42001
- Ja, durch eine akkreditierte Stelle
- NIST AI RMF
- Nein
- ISO/IEC 42001
- Norm kostenpflichtig
- NIST AI RMF
- Kostenlos
- ISO/IEC 42001
- Nachweisbare Struktur, passt zu ISO 27001 und ISO 9001
- NIST AI RMF
- Konkrete Risikopraxis, flexibel, gutes Vokabular
- ISO/IEC 42001
- Hilft beim Nachweis geordneter Prozesse, ersetzt aber keine Pflicht aus dem AI Act
- NIST AI RMF
- Hilft bei der Risikoanalyse, ist kein EU-Rechtsrahmen
gradually.aiMeine Faustregel lautet, mit dem AI RMF als Denkrahmen zu starten, wenn du zuerst Klarheit über deine Risiken brauchst, und ISO 42001 zu wählen, wenn Kunden oder Ausschreibungen ein Zertifikat verlangen. Beides lässt sich kombinieren.
5. Die Governance-Struktur im Unternehmen
Im Kern besteht eine funktionierende Struktur aus Menschen, Prozessen und Technik. Das ist eine gängige Gliederung und keine gesetzliche Vorgabe. Für kleine und mittlere Unternehmen reicht ein schlanker Aufbau.
- Verantwortung: Die Geschäftsleitung trägt die Gesamtverantwortung. Eine benannte Person oder ein kleines Gremium koordiniert, mit Datenschutz, IT-Sicherheit, Recht und Fachbereichen am Tisch.
- Prozesse: Ein Intake-Formular für neue KI-Anwendungen, eine Risikoprüfung, eine Freigabe, Monitoring und ein Weg für Vorfälle.
- Dokumente: Inventar, Richtlinie, je System eine kurze Risikoakte mit Zweck, Daten, Rolle, Klasse und Maßnahmen.
- Technik: Zugriffsrechte, Protokolle, Schutz vor Prompt Injection und, wo es um Entscheidungen über Menschen geht, erklärbare KI.
6. Globale KI-Regulierung im Vergleich
Auch außerhalb der EU entstehen Regeln, mit sehr unterschiedlichen Ansätzen. Die Tabelle zeigt die wichtigsten Gesetze und Rahmenwerke.
7. Wer überwacht die Einhaltung?
Aufsicht und Standardsetzung verteilen sich auf viele Stellen. In der EU koordiniert das AI Office die Regeln für KI-Modelle mit allgemeinem Verwendungszweck, die übrigen Systeme prüfen nationale Marktüberwachungsbehörden. In Deutschland übernimmt nach dem Durchführungsgesetz zum AI Act die Bundesnetzagentur die zentrale Rolle, während Finanzaufsicht, Datenschutz und Medizinprodukte bei ihren Fachbehörden bleiben. International setzen Organisationen wie OECD, ISO oder NIST Standards.
8. Dein Plan für die ersten 90 Tage
- Tage 1 bis 30: Inventar anlegen, Rollen je System klären, verbotene Anwendungsideen ausschließen und eine verantwortliche Person benennen.
- Tage 31 bis 60: KI-Richtlinie veröffentlichen, Schulungen planen, Transparenzhinweise bei Chatbots und KI-Inhalten umsetzen, Lieferantenunterlagen anfordern.
- Tage 61 bis 90: Risikoklassen prüfen, Datenschutz und Verträge klären, Monitoring und Vorfallweg einrichten und den ersten Review-Termin festlegen.
Danach läuft Governance im Rhythmus. Neue Systeme gehen durch den Freigabeprozess, das Inventar wird gepflegt, und die Stichtage Dezember 2026, Dezember 2027 und August 2028 stehen im Kalender.
9. Die Geschichte der AI Governance
Die Entwicklung hat sich seit 2016 stark beschleunigt, von ersten ethischen Leitlinien über verbindliche Gesetze bis zu Normen und Aufsichtsbehörden. Die Zeitleiste zeigt die wichtigsten Meilensteine.
Meilensteine der AI Governance
Von ersten Prinzipien zu verbindlichen Gesetzen
Häufig gestellte Fragen
KI-Governance legt fest, wer in einem Unternehmen welche KI-Systeme einsetzen darf, nach welchen Regeln und unter wessen Verantwortung. Sie umfasst ein Inventar aller Systeme, eine Richtlinie, eine Risikoprüfung vor dem Einsatz, Schulungen und die laufende Kontrolle. Sie ist ein Managementthema, kein einzelnes Tool.
Eine KI-Richtlinie ist die interne Regel, die festlegt, welche KI-Werkzeuge erlaubt sind, welche Daten eingegeben werden dürfen, wer neue Anwendungen freigibt und wie Ergebnisse geprüft werden. Sie ist das sichtbarste Ergebnis von AI Governance. Der Weg zur eigenen Richtlinie steht im Artikel zur KI-Richtlinie im Unternehmen.
Es gibt keine einzelne Kontrollinstanz. Im Unternehmen verantworten Geschäftsleitung und benannte Zuständige den Einsatz. Von außen überwachen Behörden. In der EU koordiniert das AI Office die Regeln für KI-Modelle mit allgemeinem Verwendungszweck, nationale Marktüberwachungsbehörden prüfen die übrigen Systeme. Dazu kommen Datenschutzaufsichten und bei Finanzen oder Medizinprodukten die jeweiligen Fachbehörden.
Ja, aber nach Risiko gestaffelt. Hochrisiko-Systeme unterliegen Anforderungen an Dokumentation, Protokollierung und menschliche Aufsicht, Anbieter müssen sie nach dem Inverkehrbringen beobachten. Für Chatbots und KI-Inhalte gelten Transparenzpflichten. Ein Modell für Alltagsaufgaben ohne besonderes Risiko unterliegt dagegen kaum Auflagen, hier ist die interne Governance maßgeblich.
Der AI Act ist der wichtigste rechtliche Rahmen für Unternehmen in der EU. Er ordnet KI-Systeme nach Risiko, weist Pflichten den Rollen Anbieter und Betreiber zu und enthält feste Stichtage. Eine gute Governance ist der Weg, diese Pflichten zu erfüllen und nachzuweisen. Alle Details stehen im Artikel zum EU AI Act.
Mit einem Inventar. Liste alle KI-Systeme auf, die dein Unternehmen nutzt oder anbietet, auch die, die einzelne Teams selbst eingeführt haben. Danach bestimmst du je System Rolle und Risikoklasse und schreibst eine kurze Richtlinie. Das lässt sich in etwa 90 Tagen auf ein belastbares Fundament bringen.