KI im Unternehmen einführen: von der ersten Idee bis zum laufenden System

Wo fangen wir mit KI an?

Beginnen Sie mit einem Prozess, nicht mit einem Werkzeug, einer Plattform oder einem Strategiepapier. Gute erste Kandidaten haben viele ähnliche Fälle, Daten, die ein System erreichen kann, und ein Ergebnis, das ein Mensch viel schneller prüfen kann, als die Arbeit selbst zu erledigen: Eingangsrechnungen, Kundenanfragen, Angebote oder Fragen an das interne Wissen. Gerade diesen ersten Fall zu finden, fällt vielen Unternehmen schwer. KfW Research nannte die Identifikation der ersten praktischen Anwendung in ihrer Studie zu KI im Mittelstand vom 29. Juli 2026 „eine zentrale Hürde“.

Die zweite Hürde ist das Know-how. In der Bitkom-Umfrage vom 14. September 2026 sagen 85 % der Unternehmen, die keine KI nutzen, dass ihnen technisches Know-how fehlt, und 51 % fehlt das Personal. Beides spricht dafür, klein und mit Unterstützung anzufangen. Für Abwarten spricht es nicht. Der Leitfaden zur Wahl des ersten KI-Workflows zeigt, wie Sie Kandidaten gegeneinander bewerten.

Wie viele Unternehmen nutzen schon KI?

Je nach Umfrage nutzen zwischen 20 % und 57 % der deutschen Unternehmen KI, und die Zahlen weichen vor allem deshalb voneinander ab, weil jede Umfrage etwas anderes zählt. Vier aktuelle Umfragen im Vergleich:

Bitkom zählt Unternehmen ab 20 Beschäftigten, die KfW kleine und mittlere Unternehmen und das IAB Betriebe aller Größen. Das IAB fragt nur nach generativer KI, die KfW nach mindestens einer KI-Technologie. Außerdem wurden die Befragungen zu unterschiedlichen Zeitpunkten zwischen Frühjahr 2025 und Sommer 2026 durchgeführt. Zitieren Sie jede dieser Zahlen nur zusammen mit ihrer Grundlage. In den beiden Umfragen, die ein Vorjahr nennen, stieg die Nutzung deutlich: bei Bitkom von 36 % auf 57 %, bei ifo von 40,9 % auf 54,5 %. Für Ihre eigene Entscheidung zählt weniger, wie viele andere KI nutzen, als die Frage, ob einer Ihrer Prozesse damit messbar schneller oder günstiger wird.

Was hält Unternehmen vom KI-Einsatz ab?

Meist dieselben wenigen Dinge, und sie unterscheiden sich zwischen Unternehmen, die KI schon nutzen, und solchen, die es nicht tun. In der Bitkom-Umfrage vom 14. September 2026 nannten KI-nutzende Unternehmen Anforderungen des Datenschutzes (66 %), Rechtsunsicherheit (56 %), schwer abschätzbare Kosten (54 %), die Sorge, dass Unternehmensdaten in falsche Hände geraten (45 %), fehlende Akzeptanz der Beschäftigten (42 %), mangelnde Qualität der Ergebnisse (26 %) und fehlende Nachvollziehbarkeit der Ergebnisse (25 %). Unternehmen ohne KI nannten fehlendes technisches Know-how (85 %), Rechtsunsicherheit (66 %), Kosten (63 %) und fehlende Daten (40 %).

Für jede dieser Hürden gibt es eine konkrete Antwort, und die meisten behandelt ein eigener Leitfaden:

KI-Verordnung: BetreiberpflichtenKI-Business-CaseChange Management bei KI

Warum bleiben viele KI-Piloten im Test stecken?

Die meisten Piloten zeigen, dass etwas funktionieren kann, und danach kümmert sich niemand darum, dass es auch im Alltag läuft. Die Lünendonk-Studie unter 180 CIOs, IT-Leitern und Fachbereichsverantwortlichen in der DACH-Region, über die CIO.de am 17. September 2026 berichtete, ergab: 58 % der Unternehmen im gehobenen Mittelstand und der Großunternehmen pilotieren KI-Agenten, 19 % nutzen sie produktiv in einzelnen Bereichen und 1 % durchgängig. 66 % sagen, dass weniger als ein Viertel ihrer pilotierten Agenten das Testlabor verlässt. Der Studienautor fasste es so zusammen: „Was fehlt, ist die operative Konsequenz.“

Dieselbe Studie nennt Altsysteme ohne Integrationsschicht und eine schlechte Anbindung der Daten als Haupthindernisse für die Skalierung von Agenten. Nach unserer Einschätzung bleibt ein Pilot aus wenigen wiederkehrenden Gründen stecken:

• Keine Abnahmekriterien: Niemand hat vereinbart, welches Ergebnis den nächsten Schritt rechtfertigt, also lässt sich über jedes Ergebnis streiten.
• Keine Integration: Der Pilot lief auf einer Datenkopie oder in einem separaten Werkzeug, und die Anbindung an ERP, CRM oder Dokumentensystem war nie geplant.
• Keine verantwortliche Person: Das Pilotteam zieht weiter, und niemand ist für Qualität, Kosten und Änderungen zuständig.
• Keine frühe Freigabe: IT-Sicherheit, Datenschutzbeauftragte oder Betriebsrat sehen das System kurz vor dem Go-live zum ersten Mal.
• Kein Ausgangswert: Der alte Prozess wurde nie gemessen, also lässt sich der Nutzen nicht zeigen.

Jeder dieser Punkte lässt sich vor dem Piloten günstiger klären als danach. Der Leitfaden zum Weg vom KI-Piloten in die Produktion beschreibt die Übergabe im Detail.

Wir haben Lizenzen gekauft und ChatGPT getestet. Warum hat sich nichts verändert?

Weil eine Lizenz ein neues Werkzeug bringt und der Prozess bleibt, wie er war. Der Bitkom-Präsident formulierte es am 14. September 2026 so: „Wer nur eine Lizenz kauft, hat KI eingekauft, aber noch nichts verändert.“ In derselben Umfrage sagen nur 3 % der Unternehmen, die KI nutzen, dass sie ihr Potenzial eher stark ausschöpfen.

Trotzdem ist das ein brauchbarer Ausgangspunkt, denn die Nutzung zeigt, wo Mitarbeitende KI schon hilfreich finden. Drei Schritte bringen Sie weiter:

• Finden Sie heraus, wer was wie oft und zu welchen Kosten nutzt, einschließlich privater Werkzeuge, die für die Arbeit genutzt werden. Das zeigt Ihnen, wo der Bedarf liegt.
• Wählen Sie die Aufgabe, die innerhalb eines Prozesses am häufigsten vorkommt, etwa eine bestimmte Anfrageart beantworten oder eine bestimmte Dokumentart prüfen, und messen Sie, wie lange sie heute dauert.
• Machen Sie aus dieser Aufgabe einen Workflow, der an Ihre Systeme angebunden ist, mit freigegebenen Quellen, Berechtigungen und einer Person, die das Ergebnis freigibt. Dort wird die Zeitersparnis sichtbar.

Die kostenlose KI-Nutzungsanalyse deckt den ersten Schritt ab: eine Seite zu KI-Ausgaben und Qualität, erstellt aus Exporten, die Sie selbst auswählen.

Welche Schritte führen von der ersten Idee zum laufenden System?

Jede Stufe endet mit einer Entscheidung und mit Belegen für die nächste. Wer eine Stufe überspringt, holt sie meist später nach, unter mehr Druck.

1. 1

   Bereitschaft am eigenen Prozess prüfen

   Nehmen Sie den Kandidaten-Prozess und einen echten Beispielfall und prüfen Sie, ob Daten, Systeme, Regeln und Menschen bereitstehen. Heraus kommt eine Lückenliste mit einem Namen an jeder Zeile.

2. 2

   Den ersten Workflow entwerfen

   Beschreiben Sie die Arbeit Schritt für Schritt: wo Fälle ankommen, was das System liest, was es vorbereitet, wo ein Mensch freigibt und was in welches System zurückgeht. Messen Sie gleichzeitig den heutigen Prozess.

3. 3

   Pilot mit Abnahmekriterien durchführen

   Vereinbaren Sie vor dem Piloten schriftlich, welche Fehlertypen inakzeptabel sind, welcher Anteil richtiger Fälle genügt, was ein bearbeiteter Fall kosten darf und was jedes Ergebnis finanziert. Testen Sie dann an Ihren eigenen Fällen, oft zuerst im Schattenbetrieb, in dem das System neben den Menschen mitläuft, ohne dass seine Ergebnisse verwendet werden.

4. 4

   Auf eigenen Systemen in Produktion gehen

   Binden Sie den Workflow mit den Berechtigungen der Nutzer an ERP, CRM, Dokumentenmanagement oder Ticketsystem an. Entscheiden Sie anhand der Daten, wo er läuft, zum Beispiel in Ihrem eigenen Cloud-Konto oder auf eigenen Servern, damit die Daten im Unternehmen bleiben. Vor dem Go-live steht ein Abnahmetest an Ihren eigenen Fällen.

5. 5

   Betreiben und verbessern

   Benennen Sie eine verantwortliche Person, überwachen Sie Qualität und Kosten, lassen Sie die Tests nach jeder Änderung laufen und schreiben Sie ein Runbook, also eine schriftliche Anleitung für den Betrieb und den Umgang mit Störungen. Danach wählen Sie den nächsten Prozess und nutzen wieder, was Sie gebaut haben.

Brauchen wir vor dem Start eine KI-Strategie und eine KI-Roadmap?

Sie brauchen eine kurze, und ihr erster Punkt sollte ein laufendes System sein. Viele Unternehmen haben bereits ein Strategiepapier: In der KPMG-Umfrage unter 480 Entscheiderinnen und Entscheidern in Deutschland vom 9. Juni 2026 hatten 98 % eine erste KI-Strategie, aber nur 39 % sagen, dass das Top-Management sie aktiv steuert, und 37 % haben klar definierte Verantwortlichkeiten und Governance. Für ein mittelständisches Unternehmen ist eine KI-Strategie auf wenigen Seiten nützlicher als ein dicker Foliensatz. Sie sollte beantworten:

• Welchen Geschäftszielen KI dienen soll: weniger Routinestunden, schnellere Antworten, weniger Fehler, neue Leistungen.
• Welche Prozesse infrage kommen, bewertet nach denselben Fragen, und welcher zuerst drankommt.
• Welche Daten wohin dürfen: was einen Cloud-Dienst in einer EU-Region nutzen darf und was in Ihrem eigenen Cloud-Konto oder auf eigenen Servern bleiben muss.
• Welche gemeinsamen Grundlagen Sie einmal bauen, etwa ein LLM-Gateway, also einen kontrollierten Zugang zu allen Modellen mit Schlüsseln, Budgets und Logs.
• Wer insgesamt für KI verantwortlich ist, wer jedes einzelne System verantwortet und welche Regeln für die Beschäftigten gelten.

Eine KI-Roadmap bringt die Prozesse dann in eine Reihenfolge. Planen Sie den ersten im Detail und halten Sie den Rest kurz, denn was Sie beim ersten lernen, ändert die Reihenfolge der anderen.

Wer muss beteiligt werden, und wann?

Holen Sie alle, die einen Go-live stoppen können, gleich zu Beginn an den Tisch. In einem deutschen Unternehmen sind das in der Regel:

• Die Geschäftsführung, die das Ziel setzt und das Budget unterschreibt, und das Controlling, das nach dem Business Case fragt.
• Die Prozessverantwortlichen und die Mitarbeitenden, die die Fälle heute bearbeiten, denn sie kennen die Ausnahmen und werden die Ergebnisse prüfen.
• IT und IT-Sicherheit, für Systeme, Berechtigungen, Hosting und Betrieb.
• Der oder die Datenschutzbeauftragte, für Rechtsgrundlage, Auftragsverarbeitungsverträge und, wo nötig, eine Datenschutz-Folgenabschätzung.
• Der Betriebsrat, wo es einen gibt: Ein KI-System, das aufzeichnet, wer was getan hat, kann die Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG auslösen.

Das sind keine Formalitäten. Unter den Unternehmen, die KI nutzen, sind Datenschutzanforderungen laut der Bitkom-Umfrage von 2026 das am häufigsten genannte Hemmnis (66 %), und 42 % nennen fehlende Akzeptanz bei den Beschäftigten. Eine im Magazin der IHK Karlsruhe 2026 zitierte Stimme brachte es auf den Punkt: „Wer nur die Technologie implementiert, aber die Belegschaft nicht mitnimmt, wird scheitern.“

Wir liefern die technische Seite: was gespeichert wird, wo Daten verarbeitet werden und was der Betriebsrat sehen kann. Ihr Unternehmen entscheidet, beraten von seinen Datenschutzbeauftragten und Anwälten, und nichts hier ist Rechtsberatung. Der Leitfaden zu Betriebsrat und KI-Protokollierung zeigt die Konfiguration im Detail.

KI-Strategie und KI-EinführungAnwendungsfälleFür die Geschäftsführung