KI-Governance im Unternehmen – klare Regeln für den sicheren KI-Einsatz
Künstliche Intelligenz ist in vielen Unternehmen längst im Arbeitsalltag angekommen. Mitarbeitende nutzen generative KI zur Erstellung von Texten, zur Recherche, zur Zusammenfassung von Dokumenten oder zur Unterstützung bei Analysen. Gleichzeitig werden zunehmend spezialisierte KI-Systeme in Personalwesen, Vertrieb, Kundenservice oder operativen Prozessen eingesetzt.
Was bedeutet KI-Governance?
Unter KI-Governance versteht man den organisatorischen Rahmen, mit dem ein Unternehmen den Einsatz künstlicher Intelligenz steuert und kontrolliert.
Dazu gehören unter anderem:
- klare Verantwortlichkeiten,
- interne Richtlinien,
- Freigabe- und Prüfprozesse,
- Risikoanalysen,
- Datenschutz und Informationssicherheit,
- menschliche Kontrolle,
- Dokumentation sowie
- die Schulung der Beschäftigten.
KI-Governance sollte dabei nicht als einzelnes Dokument verstanden werden. Eine KI-Richtlinie kann ein zentraler Bestandteil sein, Governance umfasst jedoch das gesamte organisatorische System rund um Auswahl, Einführung, Nutzung und Überwachung von KI.
Auch etablierte Risikomanagementmodelle verfolgen diesen Ansatz. Das freiwillige AI Risk Management Framework des US-amerikanischen National Institute of Standards and Technology (NIST) strukturiert das KI-Risikomanagement beispielsweise anhand der vier Funktionen Govern, Map, Measure und Manage. Governance wird dabei ausdrücklich als übergreifende Funktion verstanden, die den gesamten Lebenszyklus eines KI-Systems begleitet.
Wer sollte für KI verantwortlich sein?
Eine zentrale Frage der KI-Governance lautet: Wer ist im Unternehmen eigentlich für KI zuständig?
Eine pauschale Antwort gibt es darauf nicht. Abhängig von Größe und Struktur des Unternehmens können verschiedene Funktionen beteiligt sein.
Die Geschäftsführung sollte die grundlegenden Rahmenbedingungen festlegen und Verantwortlichkeiten bestimmen.
Die IT beziehungsweise Informationssicherheit sollte insbesondere technische Sicherheit, Zugriffsrechte, Schnittstellen und eingesetzte Systeme betrachten.
Der Datenschutzbeauftragte ist einzubeziehen, wenn personenbezogene Daten verarbeitet werden oder datenschutzrechtliche Risiken bestehen.
Die jeweiligen Fachbereiche müssen beurteilen können, welchen Zweck eine Anwendung erfüllt und welche fachlichen Auswirkungen mögliche Fehler haben.
Auch Personalabteilung und Betriebsrat können relevant sein, insbesondere wenn KI Beschäftigte betrifft oder beispielsweise für Leistungsbewertung, Personalentscheidungen oder Überwachung eingesetzt wird.
Entscheidend ist weniger, welche Abteilung formal die Bezeichnung „KI-Verantwortlicher“ erhält. Entscheidend ist, dass eindeutig geregelt ist, wer welche Entscheidung treffen darf und wer für welche Prüfung verantwortlich ist.
FAZIT
Der Einsatz künstlicher Intelligenz ist längst keine reine IT-Frage mehr.
Datenschutz, Informationssicherheit, Arbeitsrecht, Compliance, Organisation und Unternehmensführung greifen beim Einsatz von KI ineinander. Deshalb benötigt ein Unternehmen nicht zwingend für jedes KI-System eine neue Struktur – es benötigt aber klare Verantwortlichkeiten und nachvollziehbare Regeln.
Eine unternehmensweite KI-Governance bildet hierfür den Rahmen.
Sie beantwortet drei zentrale Fragen:
Welche KI setzen wir ein?
Welche Risiken entstehen daraus?
Und wer trägt dafür Verantwortung?
Genau diese Fragen sollten Unternehmen beantworten, bevor aus einzelnen KI-Anwendungen eine kaum noch kontrollierbare Systemlandschaft entsteht.
Warum Unternehmen jetzt klare Regeln benötigen
Ein typisches Problem besteht darin, dass die Nutzung von KI schneller wächst als die internen Unternehmensstrukturen.
Ein Mitarbeiter lässt beispielsweise einen Vertrag durch ein öffentlich zugängliches KI-System zusammenfassen. Eine Kollegin verwendet ein generatives KI-Modell zur Vorbereitung einer Personalbeurteilung. Eine andere Abteilung testet eigenständig einen KI-basierten Assistenten.
Technisch sind solche Anwendungen schnell verfügbar. Organisatorisch stellen sich jedoch zahlreiche Fragen:
- Dürfen vertrauliche Unternehmensinformationen eingegeben werden?
- Dürfen personenbezogene Daten verarbeitet werden?
- Wer überprüft das Ergebnis der KI?
- Welche KI-Anwendungen sind im Unternehmen überhaupt zugelassen?
- Wer entscheidet darüber, ob eine neue KI-Anwendung eingesetzt werden darf?
- Wie werden Risiken dokumentiert?
Fehlen hierfür eindeutige Vorgaben, besteht die Gefahr einer unkontrollierten „Shadow AI“ – also der Nutzung von KI-Systemen außerhalb der offiziell vorgesehenen IT- und Governance-Strukturen.
Gerade bei generativer KI sind Fragen des Datenschutzes und der Informationssicherheit besonders relevant. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) weist beispielsweise darauf hin, dass Unternehmen unter anderem prüfen sollten, welche Daten an KI-Systeme übertragen werden, wie personenbezogene Informationen geschützt werden und wie nachvollziehbar Ergebnisse und Entscheidungsprozesse eines Systems sind.
Welche Regeln sollte ein Unternehmen festlegen?
Eine praxistaugliche KI-Governance sollte nicht versuchen, jeden denkbaren Einzelfall vorab zu regulieren. Sinnvoller ist ein klarer Rahmen, der Mitarbeitern Orientierung gibt.
Mindestens folgende Fragen sollten beantwortet werden:
1. Welche KI-Systeme dürfen genutzt werden?
Unternehmen sollten festlegen, welche Anwendungen offiziell freigegeben sind. Nicht jedes öffentlich verfügbare KI-Tool sollte automatisch für betriebliche Zwecke verwendet werden.
2. Welche Daten dürfen verarbeitet werden?
Besonders sensible personenbezogene Daten, Geschäftsgeheimnisse, Kundendaten oder vertrauliche interne Dokumente sollten nicht ohne vorherige Prüfung in externe KI-Systeme eingegeben werden.
3. Für welche Aufgaben darf KI eingesetzt werden?
Es sollte unterschieden werden, ob KI lediglich unterstützend eingesetzt wird oder ob ihre Ergebnisse unmittelbare Auswirkungen auf Kunden, Beschäftigte oder geschäftliche Entscheidungen haben.
4. Wann ist eine menschliche Kontrolle erforderlich?
KI-generierte Inhalte sollten insbesondere dann überprüft werden, wenn sie rechtliche, finanzielle, personelle oder sicherheitsrelevante Folgen haben können.
5. Wie werden neue KI-Anwendungen freigegeben?
Ein einfacher interner Freigabeprozess verhindert, dass einzelne Bereiche eigenständig Systeme einsetzen, ohne Datenschutz, Informationssicherheit oder regulatorische Anforderungen zu berücksichtigen.
6. Wie werden KI-Anwendungen dokumentiert?
Ein internes Verzeichnis der eingesetzten Systeme kann eine wichtige Grundlage für Risikobewertung und Compliance darstellen.
KI-Governance und der EU AI Act
Mit dem EU AI Act erhält das Thema zusätzlich eine regulatorische Dimension.
Der AI Act verfolgt einen risikobasierten Ansatz: Je nach Art und Einsatzbereich eines KI-Systems gelten unterschiedliche Anforderungen. Besonders umfangreiche Pflichten bestehen bei sogenannten Hochrisiko-KI-Systemen.
Für Unternehmen bedeutet dies zunächst, dass sie wissen müssen, welche KI-Systeme überhaupt eingesetzt werden und wie diese regulatorisch einzuordnen sind.
Bei Hochrisiko-Systemen sieht der AI Act für Betreiber beispielsweise Anforderungen an die Überwachung des Systems und an die menschliche Aufsicht vor. Personen, denen diese menschliche Aufsicht übertragen wird, müssen über die erforderliche Kompetenz, Schulung und Befugnis verfügen. Betreiber müssen außerdem die Funktionsweise solcher Systeme entsprechend den Vorgaben überwachen und unter bestimmten Voraussetzungen auf festgestellte Risiken oder schwerwiegende Vorfälle reagieren.
Eine funktionierende KI-Governance schafft deshalb die organisatorische Grundlage, um solche regulatorischen Anforderungen systematisch umzusetzen.
Nicht jede KI braucht denselben Prozess
Dabei sollte KI-Governance nicht unnötig bürokratisch gestaltet werden.
Ein KI-Assistent, der einen internen Text sprachlich überarbeitet, besitzt ein anderes Risikoprofil als ein System, das Bewerber bewertet, Arbeitsleistungen analysiert oder Entscheidungen über Beschäftigte unterstützt.
Ein sinnvoller Ansatz besteht deshalb darin, Anwendungen zunächst nach ihrer Bedeutung und ihrem Risiko zu kategorisieren.
Beispielsweise:
Niedriges Risiko:
Sprachliche Überarbeitung allgemeiner Texte ohne vertrauliche Daten.
Mittleres Risiko:
Analyse interner Dokumente oder Unterstützung bei fachlichen Entscheidungen.
Höheres Risiko:
KI-Anwendungen mit Auswirkungen auf Beschäftigte, Kunden, Sicherheit oder wesentliche geschäftliche Entscheidungen.
Eine solche risikobasierte Betrachtung entspricht auch dem Grundgedanken moderner KI-Risikomanagementmodelle: Risiken sollten zunächst identifiziert, bewertet und anschließend mit geeigneten Maßnahmen behandelt werden. Das NIST AI Risk Management Framework sieht hierzu einen kontinuierlichen Prozess über den gesamten Lebenszyklus eines KI-Systems vor.
KI-Kompetenz ist bereits eine organisatorische Pflicht
Besonders relevant für Unternehmen ist außerdem Artikel 4 des EU AI Act.
Danach müssen Anbieter und Betreiber von KI-Systemen Maßnahmen treffen, um bei Mitarbeitern und anderen Personen, die in ihrem Auftrag mit KI-Systemen arbeiten, ein ausreichendes Maß an KI-Kompetenz beziehungsweise „AI Literacy“ zu fördern.
Dabei sollen unter anderem die technischen Kenntnisse, Erfahrungen und Ausbildung der betroffenen Personen sowie der konkrete Nutzungskontext berücksichtigt werden.
Für Unternehmen reicht es daher nicht aus, Beschäftigten lediglich Zugang zu einem KI-System zu geben. Sie sollten auch vermitteln, wie dieses sinnvoll und verantwortungsvoll eingesetzt wird.
Dazu können beispielsweise gehören:
- Grundlagen zur Funktionsweise generativer KI,
- typische Fehler und sogenannte Halluzinationen,
- Datenschutz,
- Informationssicherheit,
- Umgang mit vertraulichen Informationen,
- rechtliche Grenzen sowie
- die Notwendigkeit menschlicher Kontrolle.
Datenschutz bleibt auch bei KI relevant
Der EU AI Act ersetzt bestehendes Datenschutzrecht nicht.
Sobald personenbezogene Daten verarbeitet werden, müssen Unternehmen weiterhin insbesondere die Anforderungen der Datenschutz-Grundverordnung berücksichtigen.
Gerade große Sprachmodelle können dabei komplexe datenschutzrechtliche Fragestellungen aufwerfen. Ein 2025 im Rahmen des Support Pool of Experts des Europäischen Datenschutzausschusses veröffentlichtes Fachpapier beschreibt deshalb einen systematischen Ansatz zur Identifikation, Bewertung und Reduzierung von Datenschutzrisiken bei Large Language Models.
Unternehmen sollten daher Datenschutzprüfung und KI-Governance nicht als zwei getrennte Prozesse betrachten. Bestehende Strukturen – beispielsweise Datenschutzmanagement, Informationssicherheitsmanagement oder Compliance – können vielmehr um KI-spezifische Anforderungen ergänzt werden.
Von der Einzelregel zur unternehmensweiten KI-Governance
Für viele Unternehmen muss der Einstieg nicht kompliziert sein.
Ein pragmatischer erster Schritt kann darin bestehen,
- die bereits eingesetzten KI-Anwendungen zu erfassen,
- deren Einsatzbereiche und Risiken zu bewerten,
- Verantwortlichkeiten festzulegen,
- zugelassene und nicht zugelassene Anwendungen zu definieren,
- grundlegende Nutzungsregeln zu erstellen und
- die Mitarbeiter entsprechend ihrer Aufgaben zu schulen.
Damit entsteht schrittweise ein Governance-System, das anschließend weiterentwickelt werden kann.
Wichtig ist dabei vor allem eines: KI-Governance sollte die Nutzung von künstlicher Intelligenz nicht verhindern. Sie soll ermöglichen, dass KI kontrolliert, nachvollziehbar und verantwortungsvoll eingesetzt werden kann.
Unternehmen, die frühzeitig klare Strukturen schaffen, reduzieren nicht nur rechtliche und organisatorische Risiken. Sie schaffen gleichzeitig eine Grundlage dafür, neue KI-Anwendungen schneller beurteilen und gezielt einsetzen zu können.
Quellen und weiterführende Informationen
Europäische Union: Verordnung (EU) 2024/1689 – Artificial Intelligence Act, insbesondere Art. 4 zur KI-Kompetenz sowie die Regelungen zu Hochrisiko-KI-Systemen.
EUR-Lex – Verordnung (EU) 2024/1689, deutsche Fassung
Bundesamt für Sicherheit in der Informationstechnik (BSI): Künstliche Intelligenz – Informationen zum sicheren Einsatz von KI-Systemen. Das BSI behandelt dort insbesondere Datenschutz, Nachvollziehbarkeit, übertragene Daten und Informationssicherheit.
BSI – Künstliche Intelligenz sicher nutzen und entwickeln
National Institute of Standards and Technology (NIST): Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023. DOI: 10.6028/NIST.AI.100-1.
NIST – Artificial Intelligence Risk Management Framework (AI RMF 1.0)
Direkt zum vollständigen NIST AI RMF 1.0 (PDF)
European Data Protection Board (EDPB) / Support Pool of Experts: AI Privacy Risks & Mitigations – Large Language Models (LLMs), April 2025. Der Bericht behandelt insbesondere Datenschutzrisiken und mögliche Risikominderungsmaßnahmen beim Einsatz von LLMs. Wichtig: Das Dokument wurde im Rahmen des EDPB Support Pool of Experts von einer externen Expertin erstellt und stellt nicht automatisch eine offizielle Position des EDPB dar.
EDPB – AI Privacy Risks & Mitigations: Large Language Models (LLMs)
Direkt zum vollständigen Bericht (PDF)