Fünf Fragen, die Ihre IT beantworten muss, bevor Sie KI einführen

Drei Monate nach dem Go-live kommt der IT-Leiter in Ihr Büro. Das KI-Pilotprojekt im Vertrieb lief gut — die ersten Ergebnisse haben überzeugt, der Vertriebsleiter ist begeistert, und Sie haben bereits gefragt, wann das System auf alle 45 Mitarbeitenden ausgeweitet werden kann. Jetzt sitzt der IT-Leiter Ihnen gegenüber und hat eine Liste mitgebracht.

Welche Abteilungen sollen Zugang erhalten? Welche Dokumente kommen ins System, und wer pflegt sie? Wie funktioniert das mit dem Datenschutz, wenn der Außendienst die App auch auf dem Privathandy nutzt? Wer ist zuständig, wenn das Modell in sechs Monaten veraltet? Und: Auf welchem Azure-Mandanten soll das Ganze laufen?

Auf fünf dieser Fragen haben Sie keine Antwort. Auf zwei weitere hat auch der IT-Leiter keine — weil er erst heute ins Projekt einbezogen wurde. Der Rollout ist um acht Wochen verschoben. Die fünf Fragen, die diesen Moment verhindern, sind dieselben, die fast immer zu spät gestellt werden.

Frage 1 — Wo liegen die Daten, und in welchem Zustand sind sie?

Das Daten-Inventar, das niemand gemacht hat

Maschinenbauunternehmen mit 200 Mitarbeitenden haben in der Regel keine Datenlücken. Sie haben ein Datenchaos. Servicereports aus dem letzten Jahrzehnt liegen auf einem Netzlaufwerk, dessen Struktur ein Techniker 2016 angelegt hat — und der seit 2021 nicht mehr im Unternehmen ist. Konfigurationsanfragen aus den letzten drei Jahren stecken in Outlook-Archiven, verteilt über fünf Vertriebsmitarbeitende. Die aktuellen Stücklisten liegen im ERP, aber welche Version bei Sonderanfertigungen gilt, weiß nur der Produktionsleiter.

60 Prozent der KI-Initiativen scheitern laut Gartner nicht an der Technologie, sondern an genau diesem Zustand [1]. Bei einem KI-Projekt mit typischen Implementierungskosten zwischen 40.000 und 120.000 Euro bedeutet das: Mehr als die Hälfte der Investitionen versickert nicht in schlechter Software, sondern in der schlechten Datenbasis, auf der die Software arbeiten soll.

Das Muster ist immer dasselbe: Ein Pilotprojekt startet mit einem klar umrissenen Dokumentenset — die 200 Datenblätter der aktuellen Produktlinie. Der Pilot funktioniert, die Ergebnisse überzeugen. Dann will der Geschäftsführer skalieren. Und dann stellt die IT die erste Frage: Welche weiteren Dokumente sollen rein? Wo liegen sie? In welchem Format? Wie aktuell sind sie? Wer verantwortet die Pflege? Die Antworten kommen nicht in einem Meeting. Sie kommen in sechs Wochen — wenn überhaupt.

Kartierung vor Konfiguration

Der erste Schritt ist kein KI-Projekt. Er ist eine Dokumentationsaufgabe. Die IT muss gemeinsam mit den Fachbereichen erfassen, welche Daten wo liegen — in welcher Form, in welchem Zustand, mit welchem Aktualisierungsrhythmus und wer dafür zuständig ist. Das klingt unspektakulär. Es ist die Voraussetzung für alles andere.

In der Praxis reicht ein strukturiertes Inventar: sechs bis acht Datenkategorien — technische Dokumentation, CRM-Historien, Servicefälle, Konfigurationsregeln, Preislisten, Normennachweise — mit je drei Fragen pro Kategorie. Speicherort. Verantwortlicher. Aktualität. Das dauert in einem mittelständischen Unternehmen einen halben Tag. Es erspart drei Monate Nacharbeiten.

Frage 3 — Wie bleibt das DSGVO-konform, und was ändert der EU AI Act?

Mitarbeitende entscheiden selbst — die IT weiß es nicht

Vier von zehn deutschen Unternehmen gehen laut Bitkom davon aus, dass ihre Mitarbeitenden private KI-Tools für berufliche Zwecke nutzen — ohne Wissen der IT-Abteilung [6]. Ein Servicetechniker fasst einen Kundenbericht mit personenbezogenen Daten in ChatGPT zusammen, weil das schneller geht als das interne System. Ein Projektingenieur optimiert ein Angebot mit vertraulichen Kostenpositionen über ein externes KI-Tool — von seinem privaten Account. Die IT weiß von beidem nichts. Das Unternehmen haftet trotzdem.

Seit dem 2. Februar 2025 verpflichtet Artikel 4 des EU AI Acts alle Unternehmen, die KI einsetzen, zur nachweisbaren KI-Kompetenz ihrer Mitarbeitenden [7]. Ab dem 2. August 2026 greifen die Hochrisiko-Pflichten — mit Bußgeldern bis zu 30 Millionen Euro oder 6 Prozent des Jahresumsatzes [7]. Die Frage, ob ein Unternehmen KI einsetzt, stellt sich dabei nicht mehr. Sie ist durch Schatten-KI in den meisten Unternehmen bereits beantwortet.

Kontrollierte Infrastruktur schlägt Verbote

Samsung hat ChatGPT nach drei Datenlecks 2023 verboten. Die Mitarbeitenden verlagerten die Nutzung auf private Geräte. Verbote wirken nicht — sie erzeugen nur weniger Sichtbarkeit.

Die Alternative ist eine kontrollierte Infrastruktur: ein DSGVO-konformes KI-System auf europäischen Servern, mit einem Auftragsverarbeitungsvertrag — kurz AVV, der Vertrag, der regelt, dass Ihr Dienstleister Ihre Daten ausschließlich für die vereinbarten Zwecke verarbeiten darf und sie nicht zum Training öffentlicher Modelle verwendet. Microsoft betreibt seine Azure-Dienste seit Anfang 2025 vollständig über die sogenannte EU-Datengrenze: Ihre Inhalte werden ausschließlich auf europäischen Servern verarbeitet und gespeichert, ohne Umweg über US-Rechenzentren [8]. Ergänzt durch eine interne KI-Nutzungsrichtlinie ist das ein rechtssicher handhabbares Setup — und das einzige, das Schatten-KI dauerhaft zurückdrängt.

Diese Entscheidung muss die IT vorbereiten, bevor der erste Use Case produktiv geht. Wer das nachlädt, repariert unter Betrieb.

Frage 5 — Wie wächst die Infrastruktur mit?

Sechs Piloten, keine Infrastruktur

67 Prozent der Unternehmen stecken laut Studienlage 2026 in der Experimentierphase fest und schaffen den Sprung zur Skalierung nicht [12]. Einer der häufigsten Gründe: jede Fachabteilung hat ihren eigenen Piloten gestartet. Vertrieb nutzt Tool A, Service nutzt Tool B, Einkauf experimentiert mit Tool C. Jedes System hat seine eigene Datenbasis, sein eigenes Zugriffsmodell, seine eigene Kostenstelle.

Ein mittelständisches Unternehmen, das drei parallel laufende Pilotprojekte betreibt — je eigene Lizenzen, eigene Datenpflege, eigene externe Betreuung — zahlt im laufenden Betrieb leicht das Zwei- bis Dreifache dessen, was eine einzige zentrale Infrastruktur kosten würde. Dazu kommen sechs bis zwölf Monate Verzögerung bei jedem weiteren Use Case, weil die Grundlagenarbeit jedes Mal neu gemacht werden muss. Das Ergebnis: steigende Betriebskosten, inkompatible Systeme und keine gemeinsame Datenbasis, auf der weitere Anwendungen aufgebaut werden könnten.

Zentraler Tenant statt Insellösung

Was das konkret bedeutet: ein zentraler Azure-Tenant, in dem alle KI-Anwendungen unter einem Dach laufen. Rollenkonzept und Zugriffsrechte werden einmal definiert und zentral verwaltet — nicht je Use Case neu erfunden. Neue Anwendungsfälle — ob Vertrieb, Service oder Einkauf — bauen auf derselben Plattform auf, statt eigene Insellösungen zu schaffen, die sich gegenseitig nicht kennen.

Azure AI Foundry bündelt über 1.800 KI-Modelle, Integration in Microsoft 365, Protokollierung aller Zugriffe und Governance-Funktionen auf einer Plattform [10]. Entscheidend ist nicht die Plattformwahl. Entscheidend ist, dass die Architekturentscheidung einmal getroffen wird — und dann für alle künftigen Use Cases gilt.