Wie wir bei AI FIRST mit KI arbeiten: Blick hinter die

Du willst das KI-Betriebssystem und eine AI-First Arbeitsweise für dein Unternehmen aufbauen?

Am 13. Januar starten wir die nächste Kohorte im AI Collective und nehmen 30 Mitglieder auf, die KI in ihrem Unternehmen vorantreiben wollen. Jetzt im AI Collective bewerben

In dieser Solo-Folge gibt Felix einen Einblick hinter den KI-Vorhang von AI FIRST. AI FIRST sieht sich als Anwendungslabor: Was Anthropic, OpenAI und Google an neuen Möglichkeiten liefern, setzt das Team zuerst bei sich ein, lernt daraus und gibt es an Kunden weiter.

Anfang des Jahres hat AI FIRST seine 25 spezialisierten KI-Agenten durch einen einzigen Agenten ersetzt. Felix erzählt, warum das funktioniert hat, woran das erste KI-Betriebssystem nach einigen Monaten scheiterte und wie die Version 2.0 aufgebaut ist.

Warum KI als Tool nicht genug bringt

Viele Unternehmen behandeln KI wie Software: kaufen, Rechte vergeben, Schulungen anbieten. Mitarbeitende nutzen sie dann für einzelne Aufgaben, so wie man einen Hammer nimmt, um einen Nagel in die Wand zu schlagen. Jetzt fragen immer mehr CFOs, wo der Return für sechs- bis siebenstellige Beträge bleibt. Belegen lässt er sich oft nicht.

Die nächste Stufe sind KI-Agenten als digitale Mitarbeiter mit festen Rollen. Doch bei Hunderten oder Tausenden Agenten kümmert sich irgendwann kaum noch jemand richtig um sie, obwohl sie sich mit der Arbeit weiterentwickeln müssten.

Ein Agent mit Skills statt 25 Spezialisten

Agenten sind in einem Jahr deutlich leistungsfähiger geworden. Sie haben nicht nur ein größeres Gehirn bekommen, sondern auch große Muskeln: lange Aufgaben, mehr Schnittstellen, größere Kontextfenster. Anthropic empfiehlt deshalb, einen Agenten mit vielen Skills einzusetzen, also mit Prozessbeschreibungen. Das spart Übergaben zwischen Agenten, an denen Multiagentensysteme gerne brechen.

Felix vergleicht das mit einer Küche: Du stellst nicht für jedes Gericht einen eigenen Koch ein, sondern einen mit einem guten Rezeptbuch. Der Auslöser bei AI FIRST war ein Test mit den neuen Opus-Modellen. Ein Agent mit dem Zugriff aller 25 Agenten erledigte deren Aufgaben zuverlässig, und die 25 Agenten wurden nicht mehr genutzt.

Was am ersten KI-Betriebssystem nicht funktioniert hat

Das erste Setup war stark, doch dann passierte, was Felix verhindern wollte: Die Arbeit entwickelte sich weiter und die KI wuchs nicht mit. Skills und Kontext veralteten, besonders nach dem größeren Wechsel im Angebot im Sommer. Die Feedback-Datenbank lief über, viele schnell gebaute Skills waren nicht sauber getestet, und neuer Kontext kam zwar herein, alter wurde aber nicht gepflegt. Dazu liefen Notion und die selbst gebaute Software in zwei getrennten Welten.

Felix hat danach jeden Baustein hinterfragt. Die Grundarchitektur blieb, die wichtigsten Bausteine hat er neu gebaut.

Die sieben Bausteine

Agent: der unwichtigste Baustein, austauschbar. AI FIRST arbeitet mit Claude, das System darunter ist portabel. Ein Prüfer-Agent kontrolliert Ergebnisse, ein Logbuch hält jede Aktion fest.
Skills: Prozessbeschreibungen, die weniger Schritte und mehr Ziel und Rahmen vorgeben.
Kontext: das Wissen der Firma als Markdown-Dateien in GitHub.
Tools: Konnektoren zu CRM, Google Workspace, Slack und mehr, immer mit den Rechten der jeweiligen Person.
Regeln: eine Ampel aus Grün, Gelb und Rot, plus technische Sperren für alles, was Schaden anrichten kann.
Automatisierungen: Aufgaben, die nach Zeitplan oder bei einem Ereignis von selbst starten.
Lernschleife: Feedback fließt zurück in Skills und Kontext.

Skills und Kontext: hier entscheidet sich, ob es klappt

Bei den Skills gibt AI FIRST heute das erwartete Ergebnis, die Kriterien und die Tools vor, aber weniger den Weg.

Wir geben also viel mehr den Rahmen vor, der ausgeführt werden soll und weniger den Weg.

Felix nennt das Leadership statt Micromanagement. Jeder Skill hat Evals, also Beispiele mit erwartetem Ergebnis, und drei Prüffälle: einen Normalfall, einen Fall mit fehlender Information und einen Grenzfall. Erst danach darf das Team ihn nutzen. Ein Prozessverantwortlicher hält ihn aktuell.

Den Kontext hält Felix für noch wichtiger als die Skills. Er liegt in GitHub, jede Datei hat einen gleichen Kopf mit Beschreibung, Prüfdatum und Verantwortlichem. Ein Index zeigt der KI, wo sie was findet, eine Landkarte, in welchem System welche Daten liegen. Aktuell bleibt der Kontext durch zwei Automatisierungen: Die Kontext-Ernte läuft täglich, die Kontext-Pflege wöchentlich. Felix bestätigt oder lehnt die Vorschläge per Slack ab.

Wie das System im Team läuft

Alle Automatisierungen liegen in Claude und sind für den Agenten direkt änderbar. Kommuniziert wird über das Claude-Interface oder Slack. Neue Mitarbeitende richten sich per Plugin ein: Ein Onboarding-Skill führt in etwa einer halben Stunde durch und liefert ein persönliches Betriebssystem, das mit den gemeinsamen Standards arbeitet. Ein wöchentlicher OS-Check prüft das ganze System und schlägt Verbesserungen und neue Skills vor. Seit einigen Wochen läuft Version 2.0, und laut Felix hat KI noch nie so viel Arbeit bei AI FIRST übernommen.

So fängst du an

Den Agenten aufzusetzen ist laut Felix ein Walk in the Park. Die Arbeit liegt darin, Skills aufzuschreiben, Kontext sauber aufzubauen und mit dem Team zu klären, wie ein gutes Ergebnis aussieht.

Aber das Wichtigste ist anzufangen, denn KI ist da nie so gut wie heute.

In großen Organisationen rät er, mit einer Abteilung zu starten: zentraler Agent, Skills, Kontext, Konnektoren, Regeln und eine erste Feedbackschleife. Das ergibt einen Blueprint, den andere Abteilungen übernehmen können.

Kernaussagen

Wird KI nur als Tool genutzt, lässt sich der Return oft nicht belegen.
Ein Agent mit Skills ist leichter zu warten als viele Spezialisten-Agenten.
Kontext und Skills müssen sich automatisch mit der Arbeit weiterentwickeln, sonst driftet das System weg.
Technische Sperren und eine Ampel halten alles, was nach außen geht, unter menschlicher Kontrolle.
In vielen Fällen fehlt nicht unbedingt das Wissen, sondern die Umsetzung: Wichtig ist, anzufangen.

Fazit und Takeaways

Für Führungskräfte

Wähle eine Abteilung, definiere mit dem Team, wie ein gutes Ergebnis aussieht, und fang an. Der Aufwand liegt in Skills und Kontext, nicht im Agenten.

Für KI-Verantwortliche

Plane von Anfang an ein, wer Skills und Kontext pflegt und wie Feedback zurückfließt. Sonst läuft deine KI nach wenigen Monaten an der Realität vorbei.