BlogBeschaffung
Eine Beratung für Coding-Agenten oder KI auswählen: die Fragen, auf die es ankommt
Beauftragen Sie die Beratung, die Ihre Ausgangslage misst, bevor sie etwas ändert, und die jede Änderung an Arbeit prüft, die Ihr Team bereits erledigt hat. Der Rest eines Angebots lässt sich leichter beurteilen, wenn klar ist, ob diese beiden Dinge passieren. Die Fragen unten helfen Ihnen, das schon im ersten Gespräch herauszufinden, und sagen, welche Belege Sie verlangen sollten.
Fragen Sie, wie die Ausgangslage gemessen wird
Eine Beratung, die eine Einsparung verspricht, bevor sie Ihre Nutzungsdaten gesehen hat, rät. Fragen Sie, was sie in den ersten Wochen misst und aus welchen Daten. Für Coding-Agenten sind brauchbare Ausgangswerte die Kosten pro gemergter Änderung, der Anteil der angenommenen Agent-Änderungen und wie viel Review und Nacharbeit diese Änderungen brauchen. Für Prozessagenten sind es Kosten und Genauigkeit pro bearbeitetem Fall.
Belege, die Sie verlangen sollten: ein Beispiel für eine Ausgangsmessung aus einem früheren Projekt, wenn nötig ohne den Namen des Kunden, und die Liste der Exporte oder Zugänge, die die Beratung von Ihnen bräuchte.
Verlangen Sie einen Test an Ihrer eigenen Arbeit
Demos an Beispiel-Repositories zeigen, was ein Tool kann, nicht was es in Ihrer Codebasis leisten wird. Eine seriöse Beratung schlägt vor, Änderungen an Arbeit zu testen, die Ihre Teams bereits gemergt haben, oder an Fällen, die Ihr Prozess bereits bearbeitet hat, und vereinbart vor dem Test, was als Erfolg zählt.
Wenn sie Tools vergleicht, fragen Sie, wie der Vergleich fair bleibt. Wer einem Team das eine und einem anderen Team das andere Tool gibt, misst vor allem den Unterschied zwischen den Teams.
Einen fairen Pilot für Coding-Agenten planenEvaluierungen auf Ihren Repositories
Fragen Sie, wer die Arbeit macht
Fragen Sie nach den Namen der Engineers, die mit Ihrem Team arbeiten würden, und danach, was sie mit Claude Code, Cursor, GitHub Copilot oder OpenAI Codex gebaut oder betrieben haben. Fragen Sie, ob sie in Ihren Repositories und Reviews mitarbeiten oder einen Bericht übergeben und gehen.
Partnerprogramme der Anbieter helfen, aber lesen Sie sie nach dem, was sie messen. Die Partnerstufen für Dienstleister bei Anthropic zählen zertifizierte Fachleute, gemeinsame Kunden im Produktivbetrieb und öffentliche Kundengeschichten. OpenAI hat im Juni 2026 ein eigenes Partnernetzwerk gestartet. Eine Stufe zeigt, dass eine Firma in einen Anbieter investiert hat. Ergebnisse an Ihrem Code zeigt sie nicht.
Fragen Sie, was bei Ihrem Team bleibt
Fragen Sie, was Ihrem Team am Ende gehört: die Anweisungsdateien und Prüfungen für die Agenten in der Versionskontrolle, die Evaluationssets, die Runbooks und das Wissen, all das ohne die Beratung zu ändern. Hängt die Antwort an einer proprietären Plattform, in die Sie nicht hineinsehen können, kaufen Sie eine Abhängigkeit.
Fragen Sie auch, ob die Beratung an einen Tool-Anbieter gebunden ist. Das kann in Ordnung sein, wenn Sie das Tool schon gewählt haben. Wenn nicht, ist ein unabhängiger Vergleich an Ihrer eigenen Arbeit mehr wert als die Empfehlung eines Wiederverkäufers.
Fragen Sie nach Zugriff, Daten und Betriebsrat
Ein erster Schritt braucht selten Produktionsdaten. Fragen Sie, ob die Beratung mit Nutzungs- und Abrechnungsexporten und gemergten Änderungen beginnen kann, welche Systeme sie lesen müsste und wo Daten verarbeitet würden.
In Deutschland braucht die Einführung technischer Einrichtungen, die dazu bestimmt sind, Verhalten oder Leistung der Beschäftigten zu überwachen, nach § 87 Abs. 1 Nr. 6 BetrVG die Zustimmung des Betriebsrats. Eine Beratung, die Teams, Tools und Aufgaben misst statt einzelner Engineers, macht diese Frage einfacher, und das entscheidet oft, ob der erste Schritt in diesem Monat oder im nächsten Quartal beginnt.
Verlangen Sie einen kleinen ersten Schritt mit schriftlichem Ergebnis
Ein guter erster Auftrag ist kurz, hat einen schriftlich vereinbarten festen Umfang und Preis und endet mit einem Ergebnis, das bei Ihrem Team bleibt, ob Sie weitermachen oder nicht. Zwei bis vier Wochen mit einem Team reichen meist, um eine Ausgangsbasis zu messen, etwas zu ändern und erneut zu messen. Kann eine Beratung nur mit einem langen Programm beginnen, fragen Sie, was Sie nach dem ersten Monat wüssten.
Fragen für das erste Gespräch
- Was messen Sie in den ersten zwei Wochen, und aus welchen Daten?
- Wie testen Sie Änderungen an Arbeit, die wir bereits erledigt haben?
- Wer genau arbeitet mit unserem Team, und was hat diese Person schon ausgeliefert?
- Was gehört am Ende uns, und können wir es ohne Sie ändern?
- Welchen Zugriff brauchen Sie, und wo werden unsere Daten verarbeitet?
- Was kostet der erste Schritt, und was wissen wir, wenn er endet?
Fragen
Sollten wir eine Beratung wählen, die an einen Tool-Anbieter gebunden ist?
Wenn Sie das Tool bereits gewählt haben und Hilfe bei der Einführung brauchen, ist ein Spezialist für dieses Tool in Ordnung. Wenn nicht, nehmen Sie lieber eine Beratung, die Tools an Ihrer eigenen Arbeit vergleicht und an Ihrer Wahl nichts verdient.
Wie lange sollte ein erster Auftrag dauern?
So lange, dass gemessen, eine Sache geändert und erneut gemessen werden kann. Für ein Team mit Coding-Agenten sind das meist einige Wochen. Beginnt ein Angebot mit Monaten an Analyse, fragen Sie, was Sie nach dem ersten Monat wissen werden.
Was beweist eine Partnerstufe bei einem Anbieter?
Dass die Firma die Kriterien des Anbieterprogramms erfüllt, etwa zertifizierte Mitarbeitende und Kunden im Produktivbetrieb. Ergebnisse an Ihrem Code beweist sie nicht, verlangen Sie also zusätzlich einen Test an Ihrer eigenen Arbeit.
Verwandte Leistungen
KI-Beratung
KI-Strategie, Bewertung von Anwendungsfällen und Readiness-Checks von Engineers, die das erste System auch bauen und messen.
Kostenreview für ein Team
Ein erster Schritt von zwei Wochen mit einem Team: wohin die Kosten der Coding-Agenten fließen, was wir gemeinsam ändern und die Kosten pro gemergter Änderung vorher und nachher.
Evaluierungen auf Ihren Repositories
Tools, Modelle oder Einstellungen im direkten Vergleich, getestet an Änderungen, die Sie bereits gemergt haben, bevor Sie sich festlegen.
Mehr aus dem Blog
Design eines Coding-Agent-Piloten
Wie Sie Coding-Agenten an derselben Arbeit vergleichen: zufällige Zuteilung der Aufgaben, ein Replay gemergter Änderungen und eine vorab vereinbarte Entscheidungsregel.
Erfolgskriterien für KI-Piloten
Was ein KI-Pilot zeigen muss, bevor die nächste Phase finanziert wird, und wie Sie Abnahmekriterien festlegen, bevor jemand ein Werkzeug wählt.
Ausstiegsplan für KI-Anbieter
Was Sie selbst in der Hand behalten sollten, damit ein Wechsel des KI-Anbieters kein Neuanfang wird: Tests, Prompts, Regeln, Daten, ein Abhängigkeitsverzeichnis und Vertragsklauseln.
Mit einem Engineer sprechen
Bringen Sie eine Aufgabe mit, die Sie verbessern möchten. Das Gespräch dauert 30 Minuten und braucht keinen Zugriff auf Ihre Systeme oder Ihre Daten.
Die Buchung läuft über Google Kalender.
Lieber zuerst schreiben? Hinterlassen Sie Ihre E-Mail-Adresse und ein paar Zeilen, dann antworten wir mit Terminvorschlägen.
Sehen Sie in Ihrem E-Mail-Programm nach dem Entwurf
Senden Sie ihn von dort ab, und ein Engineer antwortet Ihnen persönlich mit Terminvorschlägen für ein 30-minütiges Gespräch. Hat sich kein Entwurf geöffnet, schreiben Sie uns an miki@cloudsail.com.