On-Premise-KI für Unternehmen: eigene KI-Assistenten und Agenten auf Ihrer Infrastruktur

Die meisten Unternehmen, mit denen wir sprechen, wollen KI für ihre eigenen Handbücher, Verträge, Tickets und Prozessdaten, und viele können oder wollen diese Daten nicht an einen Anbieter schicken, den sie nicht kontrollieren. Laufen die Modelle bei Ihnen oder in einem Cloud-Konto unter Ihrem eigenen Vertrag, ist die erste Frage Ihres Datenschutzbeauftragten beantwortet.

Es ist nicht immer die richtige Antwort. Hardware muss gekauft und betrieben werden, offene Modelle liegen bei manchen Aufgaben noch hinter den größten kommerziellen Modellen, und für eine kleine Nutzergruppe kann eine Cloud-Region günstiger sein. Was für Sie gilt, sagen wir in der Vorstudie, bevor irgendetwas gekauft wird.

• Ihre Daten bleiben in Ihrem Netz oder in Ihrem eigenen Cloud-Konto.
• Sie wählen das Modell und können es wechseln, ohne die Anwendung neu zu bauen.
• Die Kosten richten sich nach geplanter Hardware und Kapazität, nicht nach einer Token-Rechnung, die mit jedem neuen Nutzer wächst.
• Ihr Betriebsrat und Ihr Datenschutzbeauftragter sehen, was wo läuft.

Im eigenen Rechenzentrum, wenn Daten das Netz nicht verlassen dürfen oder die Nutzung so hoch und gleichmäßig ist, dass sich eigene Hardware rechnet. In einem Cloud-Konto unter Ihrer Kontrolle, bei AWS, Azure oder dem Anbieter, den Sie schon nutzen, wenn ein schneller Start oder schwankende Last wichtiger ist. Beides hinter einem Gateway, wenn unterschiedliche Daten unterschiedliche Regeln brauchen.

Der Aufbau ist in jedem Fall gleich: Container auf Kubernetes, ein LiteLLM-Gateway vor den Modellen und Infrastruktur als Code in Ihren Repositories. Einen Workload später umzuziehen ist eine Änderung von Konfiguration und Kapazität und kein Neuanfang.

Systeme, die aus Ihren eigenen Dokumenten antworten oder Arbeit vorbereiten, über die ein Mensch entscheidet. Jedes beginnt mit einem Anwendungsfall, an dem eine Zahl hängt: eingesparte eingesparte Stunden pro Woche, Antworten, die ein Team nicht mehr selbst suchen muss, oder vorbereitete Vorgänge pro Tag.

• Ein Service-Assistent, der aus Handbüchern, Ersatzteillisten und früheren Tickets antwortet, für Servicetechniker und die Hotline.
• Ein Assistent für Angebote und Ausschreibungen, der Anforderungen, frühere Angebote und die passenden Produktdaten findet.
• Interne Wissenssuche, die die Dokumentrechte beachtet, die Sie schon haben.
• Ein Agent, der einen Prozessschritt vorbereitet, etwa die Prüfung eines eingehenden Auftrags, und ihn an einen Menschen übergibt.

Wir wählen offene Modelle nach Aufgabe aus und testen die Kandidaten an Ihren eigenen Fällen, auf Deutsch, wenn Ihre Nutzer auf Deutsch arbeiten, bevor eines feststeht. Wo Ihre Regeln es erlauben, können kommerzielle Modelle wie Claude oder GPT hinter demselben Gateway die Aufgaben übernehmen, die sie besser lösen.

Die Hardware dimensionieren wir nach Nutzerzahl, Länge der Dokumente und den Antwortzeiten, die Sie brauchen. Wir empfehlen Server und GPUs; Sie kaufen direkt oder über Ihr gewohntes Systemhaus, oder Sie starten in einem Cloud-Konto und entscheiden später.

Eine Demo zeigt, dass ein System antworten kann. Ein Abnahmetest zeigt, wie oft es richtig antwortet. Vor dem Go-live legen wir mit Ihren Fachleuten Abnahmekriterien fest, führen 100 bis 200 Testfälle aus Ihren eigenen Dokumenten und Vorgängen aus und weisen für jedes Kriterium eine Erfolgsquote mit Konfidenzintervall aus. Die Kriterien stehen im Vertrag, damit die Abnahme eine Messung ist und keine Meinungsfrage.

Dieselben Testfälle werden zur Regressionssuite, die nach jeder Änderung an Modell, Prompts oder Dokumenten läuft.

Modell, Dokumente und Nutzer ändern sich jeden Monat. Nach der Übergabe betreibt Ihr Team das System mit den Runbooks und der Schulung, die wir übergeben, oder wir betreiben es mit einem monatlichen Betreuungsvertrag: Updates von Modellen und Infrastruktur, Regressionstests bei jeder Änderung, Überwachung von Antwortzeiten, Fehlern und Kosten je Team und ein monatlicher Qualitätsbericht von einem festen Ansprechpartner.

Jeder Vertrag enthält einen Auftragsverarbeitungsvertrag. Bei Systemen auf Ihren eigenen Servern verlassen keine Daten Ihr Netz, und wir arbeiten nur über die Zugänge, die Sie freigeben. Ihr Betriebsrat bekommt eine verständliche Beschreibung, was das System tut, was es protokolliert und wer die Protokolle sehen kann, und die mit ihm vereinbarten Regeln sind umgesetzt, bevor das System in Betrieb geht.