Leitfäden für Teams, die KI in die Praxis bringen

Praktische Antworten auf die Fragen, die entstehen, wenn ein Unternehmen KI finanziert, aufbaut und betreibt, von der Wahl des ersten Workflows und der Einführung von Coding-Agenten bis zu Retrieval, Modellkosten und Plattformsicherheit.

KI-Vorhaben planen und finanzieren

Wo KI zuerst eingesetzt wird, was ein Pilot belegen muss, was ein Workflow wirklich kostet, wer das Ergebnis verantwortet und wann umgesteuert wird.

BeitragThema

Erfolgskriterien für KI-PilotenWas ein KI-Pilot zeigen muss, bevor die nächste Phase finanziert wird, und wie Sie Abnahmekriterien festlegen, bevor jemand ein Werkzeug wählt.Business Case Den ersten KI-Workflow wählenWie Sie den ersten Prozess für KI-Automatisierung auswählen, indem Sie jeden Vorschlag nach Volumen, Varianz, Systemzugang, Prüfaufwand und bekannten Ergebnissen bewerten.KI-Strategie KI kaufen oder bauenWie Sie zwischen dem Kauf eines KI-Produkts und dem Bau rund um Ihre vorhandenen Systeme entscheiden und was Ihr Team in jedem Fall besitzt und pflegt.Beschaffung Datenbereitschaft für KI-ProjekteWelche Datenverantwortlichen, Systemzugänge, repräsentativen Fälle und Expertenzeit ein KI-Projekt vor dem Start braucht, mit Startcheckliste und dem, was warten kann.Umsetzung Vollkosten eines KI-WorkflowsWie Sie KI-Optionen über die Kosten pro bearbeitetem Fall vergleichen, inklusive Prüfung, Eskalationen, Nacharbeit und Pflege, mit Rechenbeispiel und offenen Annahmen.Business Case Budget für menschliche PrüfungWie Sie Prüfstunden budgetieren, bevor Sie einen Prozess automatisieren: Prüfmodi, ein Kapazitätsbogen mit Spitzentagen, schnellere Prüfungen und wann der Prüfanteil sinken darf.Betrieb Vom KI-Piloten in die ProduktionWas vorhanden sein muss, bevor ein erfolgreicher KI-Pilot live geht: Regressionstests, Versionierung und Rollback, Monitoring, eine verantwortliche Person, Übergabe und stufenweiser Start.Umsetzung Verantwortung für KI-SystemeWer nach dem Abzug des Pilotteams für Prompts, Modelle, Daten, Testsatz und Fehler eines KI-Systems verantwortlich ist, wer welche Änderung freigibt und wer es abschalten darf.Betrieb Ausstiegsplan für KI-AnbieterWas Sie selbst in der Hand behalten sollten, damit ein Wechsel des KI-Anbieters kein Neuanfang wird: Tests, Prompts, Regeln, Daten, ein Abhängigkeitsverzeichnis und Vertragsklauseln.Beschaffung Wann ein KI-Projekt stoppen sollteWie Sie anhand gemessener Qualität und Kosten pro Fall entscheiden, ob ein KI-Projekt weiterläuft, seinen Umfang verengt, auf einen einfacheren Entwurf wechselt oder stoppt.KI-Strategie Agentic SDLCKI im Softwareentwicklungsprozess: was Coding-Agenten in jeder Phase übernehmen, wer jede Übergabe verantwortet und wie Sie das messen und steuern.Prozess Autonome Software FactoryWas Coding-Agenten brauchen, um klar abgegrenzte Aufgaben vom Issue bis zum Merge zu übernehmen, welche Arbeit sich dafür eignet und wo Menschen die Kontrolle behalten.Strategie Eine KI-Beratung auswählenWas Sie eine Beratung für Coding-Agenten oder KI fragen sollten, bevor Sie sie beauftragen, und welche Belege Sie zu jeder Antwort verlangen.Beschaffung

Coding-Agenten einführen

Piloten, Repository-Vorbereitung, Review, CI und Team-Anweisungen für Engineering-Teams, die mehr Arbeit an Coding-Agenten übergeben.

BeitragThema

Agentic EngineeringWas Agentic Engineering für ein Engineering-Team bedeutet: wie es sich von Vibe Coding unterscheidet, wohin sich die Arbeit verlagert, was die Forschung über Ergebnisse sagt und welche Grundlagen über den Nutzen entscheiden.Entwicklungspraxis Design eines Coding-Agent-PilotenWie Sie Coding-Agenten an derselben Arbeit vergleichen: zufällige Zuteilung der Aufgaben, ein Replay gemergter Änderungen und eine vorab vereinbarte Entscheidungsregel.Einführung Repositories bereit für Coding-AgentenWas ein Repository braucht, damit Coding-Agenten darin zuverlässig arbeiten, und wie die Setup-Anweisungen zu einem Check werden, der in der CI läuft.Harness Branch-Schutz für Agenten-Pull-RequestsWelche Einstellungen für Branch-Schutz und Rulesets auf GitHub gelten sollten, wenn Coding-Agenten Pull Requests öffnen, und wie Sie prüfen, ob sie wirklich greifen.Governance Agenten-Änderungen, die in der CI scheiternWie Sie eingrenzen, warum die Änderung eines Coding-Agenten in seiner eigenen Umgebung bestand und in der CI scheiterte, und welche Harness-Korrekturen eine Wiederholung verhindern.Harness Claude-Code-Anweisungen im TeamWie ein Team CLAUDE.md-Dateien und Rules Verantwortlichen zuordnet, sie prüft und Einträge entfernt, die das Verhalten von Claude Code nicht mehr ändern.Claude Code Cursor Rules im MonorepoWie Cursor Rules in einem Monorepo für jedes Paket relevant bleiben: mit pfadbezogenen Regeln, verschachtelten AGENTS.md-Dateien und einer verantwortlichen Stelle für jede Regel.Cursor Metriken für einen GitHub-Copilot-PilotWas die Copilot-Nutzungsmetriken von GitHub messen, wo sie aufhören und wie Sie sie mit eigenen Daten zu Review und Nacharbeit kombinieren, um über die Fortsetzung zu entscheiden.GitHub Copilot Aufgaben an Cloud-Coding-Agenten übergebenWas eine Aufgabe enthalten sollte, bevor sie an einen Cloud-Coding-Agenten geht: eine wiederverwendbare Vorlage, drei Prüffragen und Regeln für die Rückgabe der Arbeit.Arbeitsweise Kontextbudgets für Coding-AgentenWie Sie den Kontext eines Coding-Agenten verkleinern, ohne wichtige Vorgaben zu verlieren, und an eigenen Aufgaben prüfen, dass die Qualität gehalten hat.Kosten Upgrades von Coding-Agenten testenWie Sie prüfen, ob ein neues Modell oder eine neue Agentenversion auf Ihren Repositories besser ist, bevor sie Teamstandard wird, mit fixierten Versionen und einem paarweisen Vergleich.Evaluierung Spec-Driven DevelopmentWie Sie Specs für Coding-Agenten schreiben, eine Änderung von der Spec bis zum Merge führen und Spec Kit, OpenSpec, BMad, GSD und Kiro einordnen.Entwicklungspraxis KI-Code-ReviewWie Sie KI-Code-Review einrichten und für jeden Merge eine Person verantwortlich halten, wenn Coding-Agenten mehr Pull Requests schreiben.Qualität pstack-WorkflowsWas das Cursor-Plugin pstack enthält, wie seine Playbooks und Modellrollen arbeiten und wie ein Team es unter eigenen Kontrollen einführt.Tooling Coding-Agenten für Teams im VergleichClaude Code, Cursor, GitHub Copilot und OpenAI Codex nebeneinander: Pläne, Abrechnung der Nutzung, Modelle, Anweisungsdateien, Datenschutz und wann welches Tool passt.Tooling Was eine Einführung von Coding-Agenten kostetPlatzpreise für 50 Engineers bei Claude Code, Cursor, GitHub Copilot und Codex, warum Nutzung und Review-Zeit oft mehr kosten und wie Sie pro gemergter Änderung budgetieren.Kosten

Prozessagenten im Betrieb

Tests, Freigaben, Eskalation, Monitoring und Wiederherstellung für Agenten, die Geschäftsfälle bearbeiten und in Ihren Systemen handeln.

BeitragThema

Testsets für Agenten aus vergangenen FällenWie Sie vergangene Geschäftsfälle für das Testset eines Prozessagenten auswählen und einen zurückgehaltenen Teil bewahren, an dem niemand optimiert.KI-Agenten Ergebnis- oder Trace-BewertungWarum ein Agentenlauf fehlerfrei enden und den Fall trotzdem falsch bearbeiten kann und wie Sie Geschäftsergebnisse getrennt von Traces prüfen.KI-Agenten Menschliche Freigaben in Agenten-WorkflowsWelche Aktionen eines Agenten auf Geschäftsdaten eine Freigabe brauchen, was die freigebende Person sehen muss und wie Freigaben nicht jeden Fall aufhalten.KI-Agenten Wenn Tools eines Agenten ausfallenWas ein Prozessagent tun sollte, wenn eine API in ein Timeout läuft oder ein Tool unvollständige Daten liefert: typisierte Fehler, begrenzte Retries, saubere Übergabe.KI-Agenten Idempotenz für AgentenaktionenWoher doppelte Zahlungen und Datensätze in Agentensystemen kommen, wie Sie jede Geschäftsaktion mit einem Schlüssel versehen und warum das Zielsystem ihn durchsetzen muss.KI-Agenten Einen Prozessagenten im Betrieb überwachenDie Signale, die zeigen, dass ein Prozessagent im Betrieb teurer wird oder Fälle schlechter bearbeitet, gemessen pro Fall und gebunden an vorab vereinbarte Ziele.KI-Agenten Eskalationen eines Agenten gestaltenWann ein Prozessagent einen Fall an eine Person übergeben sollte, was die Übergabe enthalten muss und wie die empfangende Warteschlange organisiert wird.KI-Agenten Schattenbetrieb für ProzessagentenWie Sie einen Prozessagenten auf echten Fällen laufen lassen, ohne dass er etwas ändert, seine Vorschläge mit menschlichen Entscheidungen vergleichen und über den nächsten Schritt entscheiden.KI-Agenten Einen Prozessagenten versionierenWas eine Version braucht, wenn sich ein Prozessagent ändert, wie Sie sie an jedem Fall vermerken und wie Sie ein Ergebnis Monate später erklären, ohne es neu auszuführen.KI-Agenten Ausnahmen eines Agenten auswertenWie Sie die Ausnahmen eines Agenten in Produktion mit festem Zeitbudget auswerten, einer verantwortlichen Person zuordnen und die richtigen in Regressionsfälle verwandeln.KI-Agenten

Antworten aus Ihren Dokumenten

Quellen vorbereiten, Berechtigungen erhalten, Zitate prüfen und Retrieval-Assistenten genau halten, wenn sich Dokumente ändern.

BeitragThema

Quellen für RAG vorbereitenWie Sie entscheiden, welche Dokumente ein Retrieval-Assistent nutzen soll, wem jede Quelle gehört und wie Sie fehlende Antworten vor der Indexierung finden.RAG Berechtigungen in RAGWie Zugriffsregeln aus Quellsystemen in einen Retrieval-Index gelangen, wo sie verloren gehen und welche Negativtests zeigen, dass niemand abruft, was er nicht öffnen darf.RAG Zitatqualität in RAGWie Sie prüfen, ob die Textstellen, die ein Assistent zitiert, jede seiner Aussagen tatsächlich stützen: Prüfung pro Aussage, Rechenbeispiel und Abnahmekriterien.RAG Retrieval oder Generierung?Ein Diagnoseverfahren, das zeigt, ob eine falsche RAG-Antwort in Ingestion, Suche, Reranking oder im Modell entstand, mit markierten Belegen und Traces pro Frage.RAG Veraltete Dokumente in RAGWie ein Retrieval-Assistent aktuell bleibt, wenn Dokumente bearbeitet, umbenannt, eingeschränkt oder gelöscht werden, mit Sync-Design und Canary-Tests, die Altinhalte ausschließen.RAG Chunking von GeschäftsdokumentenWie Sie Verträge, Richtlinien und lange Verfahren so aufteilen, dass eine Antwort bei ihren Ausnahmen und Definitionen bleibt, und wie Sie die Strategie per Experiment wählen.RAG RAG oder Fine-Tuning?Entscheidungskriterien für Retrieval, Fine-Tuning oder beides: ob die Aufgabe veränderliches Wissen oder konsistentes Verhalten braucht, mit Beispieltabelle und Vorgehen.RAG Tabellen und Tabellenkalkulationen in RAGWann ein Assistent Tabellenzeilen als Text abrufen und wann er stattdessen eine Abfrage ausführen sollte, mit Routing-Regeln, Zeilenformat für die Suche und Schutz für generiertes SQL.RAG Mehrsprachiges RAG testenWie Sie testen, ob ein Assistent dieselben Belege findet, wenn auf Englisch, Deutsch oder Polnisch gefragt wird, mit parallelem Testset, Sprachmatrix und Terminologie.RAG RAG-Übergabe in den BetriebWas ein RAG-Dienstleister übergeben sollte, damit Ihr Team das System betreiben und ändern kann: Konnektoren, Konfiguration, Evaluierung, Runbooks, Zuständigkeiten, Probelauf.RAG

Modelle, Inferenz und Kosten

Wann sich Fine-Tuning oder ein kleineres Modell lohnt, wie Sie es mit dem bisherigen vergleichen und woher Latenz und Modellkosten kommen.

BeitragThema

Datenqualität fürs Fine-TuningVier Prüfungen, die zeigen, ob Ihre Beispiele für ein Fine-Tuning taugen: Labelfehler, Abdeckung des echten Traffics, Herkunft und Überschneidungen mit dem Testset.Modelle Feingetunte Modelle bewertenWie Sie zeigen, dass ein feingetuntes Modell das bisherige ersetzen sollte: vorab festgelegte Abnahmekriterien, ein fairer Vergleich auf zurückgehaltenen Fällen sowie Kosten und Latenz in derselben Tabelle.Modelle Aufgaben für kleine ModelleWie Sie die volumenstarken Aufgaben finden, die ein kleines Sprachmodell zuverlässig erledigen kann: eine Checkliste, ein Test vor jedem Training und ein Kostenvergleich bei Ihrem eigenen Volumen.Modelle Zielkonflikte bei der DestillationWann sich die Destillation eines großen Modells in ein kleineres lohnt: was der Lehrer kostet, welche Methode was voraussetzt, welche Qualität verloren gehen kann und wie Sie das prüfen.Modelle Latenzbudget für LLM-FunktionenWie Sie herausfinden, warum eine KI-Funktion langsam ist: jede Anfrage in Warteschlange, Retrieval, Modell und Tools aufteilen, den größten veränderbaren Anteil beheben und die Ausreißer unter Last messen.Performance Qualitätskontrolle beim LLM-RoutingWie Sie einfache Anfragen an günstigere Modelle leiten, ohne Qualitätsverluste zu verbergen: den Router wie einen Klassifikator testen, Fallbacks getrennt halten und protokollieren, welches Modell tatsächlich geantwortet hat.Kosten Einsparungen durch Prompt-CachingWarum Prompt-Caching weniger spart als erwartet und wie Sie es messen: Voraussetzungen, die üblichen Ursachen für Cache-Misses, Nutzungsfelder pro Anfrage und der Abgleich mit der Rechnung.Kosten GPU-Kapazität für Inferenz planenWie Sie die GPU-Kapazität für ein selbst betriebenes Modell bemessen: was eine Replika begrenzt, wie Sie sie bei Ihrem Latenzziel benchmarken, wie viele Repliken die Spitzenlast braucht und wie Sie ungenutzte Stunden vermeiden.Infrastruktur Qualität nach der QuantisierungWelche Tests Sie wiederholen sollten, bevor ein quantisiertes Modell das Original ersetzt: Aufgabenqualität, strukturierte Ausgabe, lange Eingaben, Verhaltensprüfungen und Serving-Performance, mit Kostenvergleich pro GPU.Modelle LLM-Kosten zuordnenWie Sie eine LLM-Rechnung nach Team, Aufgabe und akzeptiertem Ergebnis erklären: Anfragen am Gateway kennzeichnen, so bepreisen, wie abgerechnet wird, gemeinsame Kosten nach einer festen Regel verteilen und monatlich mit dem Finanzbereich abgleichen.Kosten

Plattform, Integration und Sicherheit

KI über MCP und Identitätsdienste an Unternehmenssysteme anbinden, Prompt Injection eindämmen, Zugangsdaten verwalten und KI-Dienste zuverlässig betreiben.

BeitragThema

Berechtigungen für MCP-ServerWie Sie einen Assistenten an interne Systeme anbinden, ohne jedem MCP-Tool weitreichenden Zugriff zu geben: Scopes, Prüfungen in jedem Tool und getrennte Identitäten nach unten.Sicherheit Design von MCP-ToolsWarum ein MCP-Server meist besser wenige Tools rund um fachliche Aktionen anbietet, statt jeden API-Endpunkt abzubilden, mit einem durchgerechneten Beispiel und einem Tool-Vertrag.Integration MCP und UnternehmensidentitätenMit welcher Identität ein MCP-Tool ein Fachsystem aufrufen sollte: Delegation durch den Nutzer, Token Exchange oder Service-Identität, und welche Token-Grenzen Sie prüfen sollten.Sicherheit Testplan für MCP-ServerEin Testplan für einen MCP-Server, bevor Nutzer sich verbinden: Vertragstests, negative Autorisierungstests, Fehlertests und Tests für Zustandsänderungen, mit Prüfungen für die CI.Qualität Grenzen gegen Prompt InjectionWie Sie den Schaden begrenzen, wenn ein Agent Anweisungen aus einem Dokument, einer E-Mail oder einem Tool-Ergebnis befolgt: Eingaben und Aktionen abbilden, Wege kappen, Grenzen testen.Sicherheit Selbst betreiben oder Managed APIWie Sie entscheiden, ob eine KI-Anwendung auf eigener Infrastruktur laufen oder auf einem gemanagten Modell-Endpunkt bleiben sollte, anhand von Zugriffsanforderungen, Betriebskapazität und gemessenen Kosten.Infrastruktur Aufbewahrung von KI-TracesWas Sie protokollieren sollten, um Agenten zu debuggen, ohne jeden sensiblen Prompt aufzubewahren: drei Stufen von Trace-Daten, Inhalte standardmäßig aus, Grenzen der Schwärzung und Fristen Ihrer Verantwortlichen.Betrieb Runbooks für KI-FunktionenWas die Bereitschaft tun sollte, wenn eine KI-Funktion langsam, nicht verfügbar, teuer, falsch oder außerhalb ihrer Grenzen ist: Symptomklassen, Runbook-Einträge, sichere Schalter und Verantwortliche.Zuverlässigkeit Failover zwischen ModellanbieternWie Sie bei einem Ausfall auf ein anderes Modell umschalten, ohne still Qualität, Berechtigungen oder Datenbedingungen zu ändern: ein Ausweichvertrag, Auslöser, Äquivalenztests und Rückkehr.Zuverlässigkeit Secrets und Zugangsdaten für AgentenWo Zugangsdaten von Agenten und Modellintegrationen liegen sollten, wie jeder Agent eine eigene Identität erhält, wie Sie rotieren, ohne laufende Abläufe zu brechen, und was nach einem Leak zu tun ist.Sicherheit Sicherheit von Coding-AgentenSicherheit und Governance für Coding-Agenten in der Praxis: Prompt Injection, Secrets, Berechtigungen, Sandboxing, unbeaufsichtigte Läufe und Verantwortlichkeiten.Sicherheit

Datum und Quellen

Modelle, Tools und Anbieterbedingungen ändern sich häufig. Deshalb zeigt jeder Leitfaden das Datum der letzten Prüfung und nennt die Quellen, auf denen er beruht. Aussagen über ein Produkt gelten für die Versionen und die Dokumentation, die der Leitfaden zitiert.

Hat sich seitdem etwas geändert, sagen Sie es uns, und wir aktualisieren den Leitfaden.

Mit einem Engineer sprechen

Bringen Sie eine Aufgabe mit, die Sie verbessern möchten. Das Gespräch dauert 30 Minuten und braucht keinen Zugriff auf Ihre Systeme oder Ihre Daten.

30-minütiges Gespräch buchen

Die Buchung läuft über Google Kalender.

Lieber zuerst schreiben? Hinterlassen Sie Ihre E-Mail-Adresse und ein paar Zeilen, dann antworten wir mit Terminvorschlägen.