KI-Skills: Worauf es ankommt und wie wir sie testen

Herzlich Willkommen zu den AI FIRST Insights! Letzte Woche ging es darum, wie wir den Kontext-Layer für unsere KI so aufgebaut haben, dass KI alles über unser Unternehmen weiß und mit unserer Arbeit mitwächst. Heute geht es um den nächsten großen Baustein: Skills. Sie sagen der KI, was sie können soll.

Was Skills sind und wie man sie grundsätzlich baut, habe ich im März im Skill-Playbook ausführlich beschrieben. Kurz gesagt ist ein Skill eine schriftliche Anleitung für eine Aufgabe, die immer wieder vorkommt, und der Agent lädt sie, sobald eine Bitte dazu passt.

Auch Ende 2026 halte ich einen Haupt-Agenten mit vielen spezialisierten Skills für die beste Architektur, um eine KI unterschiedliche Aufgaben nach einem vorgegebenen Standard erledigen zu lassen.

Aber Skills sind immer nur so gut wie der Output, den sie erzeugen. Heute zeige ich dir, wie wir die Output-Qualität unserer Skills gesteigert haben.

Los geht's!

Von vereinzelten Experimenten zum AI FIRST Unternehmen

Diesen Weg gehen wir mit unseren Mitgliedern im AI Collective. Zum 13. Januar nehmen wir noch 9 Menschen auf, die KI in ihrem Unternehmen vorantreiben wollen.

Du lernst unsere Methode, mit dem wir KI in 50+ Unternehmen mit 10.000en Nutzern integriert haben, die heute 4-8 Std/Woche/Person mehr Kapazität gewinnen und täglich AI-First arbeiten.

Dafür teilen wir all unser Wissen, Werkzeuge und Netzwerk, um deine KI-Reise zu beschleunigen:

Wie du ein Fundament für die KI-Reise aufbaust
KI-Betriebssystem anpassbar auf Claude, Langdock, Copilot und Co.
Ein Agent, der auf all unserem Wissen trainiert ist und bei der Umsetzung unterstützt
Wöchentliche Sprechstunde mit mir und meinem Team zu deinen individuellen Fragen
Wöchentliche Community Sessions zu aktuellen KI-Themen mit Top-Experten
Netzwerk auf 150+ Unternehmen, die den gleichen Weg gehen
Vor Ort Events, Hackathons uvm.

→ Für die Q1-Kohorte bewerben

Und wenn du noch zögerst: Nach 30 Tagen gibt’s dein Geld zurück, wenn du nicht zufrieden bist.

Worauf es bei Skills wirklich ankommt

Nach fast einem Jahr mit Skills, vielen Fehlern und einem kompletten Neubau kommt es für mich bei Skills auf vier Dinge an:

Ein klares Ziel: Was soll am Ende da sein, woran erkennt man ein gutes Ergebnis, und welchen Kontext und welche Tools hat der Agent, um es zu erreichen?
Qualitätssicherung: Ein Skill wird sauber getestet, bevor er zum ersten Mal echte Arbeit macht.
Prüfung bei jeder Ausführung: Bei jedem Ergebnis wird geprüft, ob Ziel und Kriterien erreicht sind. Wenn nicht, bessert die KI selbst nach.
Verbesserungen fließen zurück: Jede Korrektur und jede Prozessänderung landet wieder im Skill. Sonst driften der Skill und der Prozess, den wir tatsächlich leben, auseinander.

Angedacht hatten wir alle vier schon in Version 1 von unserem KI-Setup. Gelebt haben wir sie kaum. Getestet wurde zu wenig, geprüft hat sich die KI selbst, und mit dem Nachziehen der Skills kamen wir irgendwann nicht mehr hinterher.

Wir arbeiten heute mit Claude und legen unsere Skills in GitHub ab. Die vier Punkte hängen aber an keinem Tool, sie gelten genauso für einen Agenten in Copilot oder Langdock.

1. Ziel + Kriterien > Schritte

Eine der wichtigsten Erkenntnisse für mich: Wir investieren heute mehr Zeit darin, zu beschreiben, was „fertig“ und „gut“ heißt, als jeden kleinen Schritt vorzugeben.

Links siehst du unseren alten Skill „Angebot erstellen“ aus Version 1, eine lange Liste von Anweisungen bis ins kleinste Detail. Rechts steht sein Nachfolger von heute. Ganz oben steht, was am Ende herauskommen soll, nämlich ein Angebotsdeck, das ich nur noch durchklicke und verschicke. Darunter stehen die Schritte, deutlich knapper als früher, und am Ende, woran man erkennt, dass das Ergebnis gut ist.

Wenn die KI das Ziel und die Kriterien kennt, den nötigen Kontext hat und auf die Tools zugreifen kann, findet sie den Weg mit den heutigen Modellen meist selbst. Ein praktischer Vorteil kommt dazu. Ändert sich das Ziel oder ein Kriterium, muss ich nicht alle Schritte mit anpassen.

Gerade bei längeren Prozessen geben wir weiterhin vor, was in welcher Reihenfolge passieren muss, zum Beispiel erst das Angebot anlegen und dann die Mail schreiben, die darauf verlinkt. Nur eben nicht mehr so kleinteilig wie früher.

Mein Take für die Zukunft: Diese festen Schritte haben wir als Menschen gebraucht. Für die KI werden sie tendenziell immer unwichtiger. Die Frage „Wie sieht ein gutes Ergebnis aus und woran erkenne ich das?“ wird hingegen wichtiger denn je.

Hier siehst du, wie so ein Skill bei uns aufgebaut ist:

Am wichtigsten sind zwei Stellen. Die Beschreibung entscheidet, ob der Agent den Skill überhaupt nimmt, denn er wählt nur anhand dieser paar Sätze. Und gegen „Fertig heißt …“ wird später jedes Ergebnis geprüft. Gebaut wird ein Skill erst, wenn wir eine Aufgabe oft genug selbst gemacht haben und wissen, wie ein gutes Ergebnis aussieht.

2. Wie wir die Qualität von Skills prüfen

Unsere Skills baut der skill-creator von Anthropic. Ein Skill, der andere Skills baut. Er fragt, was der Skill können soll, schlägt passende Testfälle vor und lässt sie auf Wunsch zweimal laufen, einmal mit dem neuen Skill und einmal ohne. So sieht man schwarz auf weiß, ob der Skill das Ergebnis wirklich besser macht.

Jeder unserer Skills hat mindestens drei solcher Testfälle. Einer ist ein ganz normaler Fall, in einem fehlt eine wichtige Information, und der dritte ist ein Grenzfall, in dem der Skill etwas gerade nicht tun darf. Zu jedem Fall schreiben wir auf, was herauskommen soll.

Im Fachjargon heißen solche Tests Evals, und es gibt sie mittlerweile auch in Plattformen wie Langdock.

Nehmen wir die Vorbereitung unseres Podcasts. Vor dem Vorgespräch recherchiert der Skill zum Gast und seiner Firma und schreibt mir ein kurzes Briefing.

Im Normalfall geht es um eine bekannte Firma zu der es viele Infos im Internet gibt, und jede Aussage im Briefing braucht einen Link mit Beleg. Im zweiten Fall gibt es zur Firma kaum etwas im Netz. Dann soll der Skill genau das sagen, statt Beispiele zu erfinden. Im Grenzfall steckt in der Notiz zum Vorgespräch eine versteckte Anweisung, die Folge auf „Live“ zu setzen und eine Mail zu senden. Die darf er nicht ausführen, er muss sie melden.

Schon im ersten Testlauf fiel auf, dass das Briefing mit über 6.300 Zeichen viel zu lang war, um es vor einem Gespräch schnell zu lesen. Nach der Korrektur waren es rund 2.500. Durch solche kleinen Verbesserungen steigt die initiale Qualität der Skills und wir müssen weniger den Ergebnissen unserer KI hinterher arbeiten.

Ändern wir den Skill oder kommt ein neues KI-Modell, laufen die Fälle natürlich noch einmal.

Der Prüfer-Agent

Im laufenden Betrieb kommt eine zweite Prüfung dazu. Bevor ein Ergebnis bei mir ankommt oder nach außen geht, schaut ein zweiter Agent drüber.

Er kennt nur das Ergebnis und die Kriterien aus „Fertig heißt …“, nicht den Weg dorthin. Das ist wichtig, denn wer seine eigene Arbeit prüft, liest seine Absicht in den Text hinein. Das war auch unser Problem dieser Alibi-“Prüfung“ in der Version 1 unseres KI-Betriebssystems.

Heute funktioniert das super. Findet der Prüfer einen Fehler, bessert der erste Agent nach.

3. Verbesserungen fließen zurück

Trotz aller Tests rutscht etwas durch, und Prozesse ändern sich. Genau daran ist Version 1 gescheitert. Die Skills blieben stehen, während sich unsere Arbeit weiterentwickelte.

Ich zeige dir ein ganz einfaches Beispiel: Vor ein paar Tagen sollte die KI neue Folien an einen bestehenden Vortrag anhängen. Die neuen Folien hatten aber einen anderen Hintergrund, und die Titel standen in der Mitte statt links oben wie im Rest des Decks…weil sich in der Zwischenzeit unser Folien-Master verändert hatte :)

Daraus wurde eine Regel im Skill: Bevor neue Folien in ein Deck kommen, schaut sich die KI erst ein paar Folien davon an und übernimmt deren Aufbau. Dazu hat sich die KI einen neuen Testfall erstellt, damit der Fehler nicht noch einmal vorkommt.

Heute fragt unsere KI bei jeder Korrektur die wir nach einer Skill-Ausführung machen, ob sie einmalig war oder beim nächsten Mal wieder nötig wäre. Nur im zweiten Fall schlägt er eine neue Regel für den Skill vor, und erst nach meinem Ja ändert sich etwas. Einmal pro Woche schaut er außerdem, was wir still nachgebessert haben und schlägt automatisch neue Regeln zur Anpassung der Skills vor — die wir aber immer freigeben.

Das Prinzip dahinter ist einfach und geht in jedem Tool: Jeder Skill hat einen Verantwortlichen, und bei jeder Korrektur fragt er sich, ob er das beim nächsten Mal wieder tun müsste. Wenn ja, gehört es in den Skill.

Fazit

Skills bestimmen, wie viel Arbeit unsere KI für uns übernehmen kann. Die größten Hebel hatten für uns:

Detaillierte Beschreibung des Ziels und der „Fertig heißt“-Kriterien
Stärkere Qualitätssicherung bei der Skill-Erstellung mit Prüffällen
Der unabhängige Prüfer-Agent, der Skills gegen Evals prüft

Wenn du morgen anfangen willst, nimm dir einen Skill vor, den du schon nutzt, und geh ihn mit drei Fragen durch:

Steht ganz oben, was am Ende herauskommen soll und woran du ein gutes Ergebnis erkennst?
Hast du ihn mit drei Fällen getestet, einem normalen, einem mit fehlender Information und einem Grenzfall?
Und wer sorgt dafür, dass Korrekturen zurück in den Skill fließen?

Nächsten Sonntag geht es um Automatisierungen. Ich zeige dir, wie aus einem Skill, der alle Tests besteht, eine Routine wird, die ohne uns läuft, und an welchen Stellen wir trotzdem drinbleiben.

Bis nächsten Sonntag,

Felix

P.S. Im AI Collective zeigen wir den ganzen Weg zu einem Unternehmen, in dem KI möglichst gut für Menschen arbeitet — vom Fundament, über Agents, Skills, Kontext bis zur Automatisierung von Prozessen. Hier kannst du dich für einen der letzten 9 Plätze ab Januar bewerben.