State of AI Agents: Wie Beam agentische Systeme in Produktion bringt

In dieser Episode ist Jonas Diezun zu Gast — Co-Founder und CEO von Beam, einer führenden Enterprise-Plattform für agentische KI-Systeme. Sechs Monate nach seinem ersten Auftritt im AI FIRST Podcast zieht Jonas Bilanz: Wo stehen KI-Agenten heute wirklich, warum nimmt der Grenznutzen reiner Modell-Upgrades ab und wie baut man Systeme, die in hochkomplexen Kernprozessen zuverlässig funktionieren?

Das Gespräch liefert einen schonungslos pragmatischen Blick in den Maschinenraum moderner KI-Automatisierung: Vom 5-Phasen Agent Lifecycle über synthetische Testdaten bis hin zur entscheidenden Erkenntnis, dass Verification Loops und Grader für die Genauigkeit weitaus wichtiger sind als die neuesten Spitzenmodelle. Zudem gibt Jonas exklusive Einblicke in die Weiterentwicklung seines persönlichen CEO-Office von einem reaktiven Feedback-System hin zu einem proaktiven Command Center.

Über den Gast

Jonas Diezun ist Co-Founder und CEO von Beam. Mit einem Hintergrund in Elektrotechnik und BWL baute er unter anderem Konux mit auf, wo er bereits 2015/16 mit Predictive Analytics und neuronalen Netzen arbeitete. Nach Stationen bei Rocket Internet und als Mitgründer der Razor Group gründete er 2022 Beam mit der Vision, wiederkehrende Unternehmensprozesse durch agentische KI-Systeme zu automatisieren — mit starkem Fokus auf Finance-, HR- und Operations-Prozesse im Mittelstand und in Großunternehmen.

Jonas gilt als einer der profiliertesten Praktiker im Bereich agentischer Architekturen im deutschsprachigen Raum und teilt regelmäßig transparente Learnings aus dem Produktivbetrieb mit Hunderttausenden von Transaktionen.

State of AI Agents: Vom Modell-Hype zur System-Architektur

Jonas blickt auf die rasante Entwicklung der letzten sechs Monate zurück. Zwar sind neue Modelle erschienen, doch der wahrnehmbare Grenznutzen für klassische Business-Anwendungen nimmt zunehmend ab: Die heutigen Basismodelle sind bereits intelligent genug, um die meisten Aufgaben zu lösen. Der eigentliche Durchbruch liegt in der dramatischen Kostensenkung: Die Nutzung vergleichbarer Intelligenz kostet heute nur noch ein bis zwei Prozent dessen, was Anfang des Jahres fällig war.

Der Fokus verschiebt sich deshalb radikal von der reinen Modell-Intelligenz hin zum Harness und zur System-Architektur. Nicht das nächste Modell entscheidet über den Erfolg, sondern wie Werkzeuge, Kontext und Ausführungslogiken drumherum gebaut werden.

„Die Modelle alleine lösen das Problem häufig nicht. Der Impact von Retries, Verification Loops und Gradern ist viel, viel höher als die bessere Modellgeneration.“

Agenten vs. agentische Systeme: Warum ein Prompt kein System ist

Der Begriff des Agenten wird heute inflationär genutzt. Jonas grenzt klare Begrifflichkeiten ab: Ein einfacher Prompt oder ein Chatbot, der eine Frage beantwortet, ist kein Agent. Ein echter Agent bzw. ein agentisches System kombiniert LLM-Aufrufe mit deterministischer Programmlogik, Schnittstellen zu Unternehmenssystemen, Memory und geschlossenen Feedback-Loops.

Agentische Systeme zeichnen sich dadurch aus, dass sie komplexe, mehrstufige Arbeitsabläufe mit Retry-Mechanismen und Zwischenprüfungen eigenständig abarbeiten können. Für Unternehmen bedeutet das: Ein Agent ist nicht ein isolierter Prompt, sondern ein vollwertiges Software-System.

Problem-First & Kriterien: Wo sich KI-Agenten wirklich lohnen

Beam folgt dem Grundsatz, niemals Technologie auf ein unklares Problem zu werfen, sondern immer vom konkreten Business-Schmerz auszugehen. Jonas definiert zwei zentrale Kriterien für den erfolgreichen Einsatz von KI-Agenten:

1. Bounded Tasks (Abgegrenzter Prozess): Der Prozess muss ein klares Start- und Endsignal haben und in seinen Grenzen definiert sein. Unbegrenzte Aufgabenstellungen („Baue mir ein Unternehmen“) scheitern in der Praxis.
2. Judgment (Urteilsvermögen): Der Prozess muss Schritte enthalten, die nicht rein deterministisch gelöst werden können, sondern Kontextverständnis und Abwägungen erfordern. Reine Berechnungen oder Sortierungen nach festen Regeln gehören in klassische Software.

Zur oft zitierten Aussage von McKinsey, 25.000 der 60.000 Mitarbeitenden seien KI-Agenten, äußert sich Jonas pragmatisch: Entscheidend ist nicht das Zählen von Agenten, sondern die Frage, wie viel operative Last sie im Alltag abnehmen und wer die Governance darüber behält.

Der 5-Phasen Agent Lifecycle: Wie Beam Agenten baut

Um Agenten sicher in die Produktion zu bringen, setzt Beam auf einen strukturierten, 5-stufigen Lebenszyklus:

1. Discovery: Den Prozess im Detail analysieren und implizites Wissen der Fachabteilung erfassen.
2. Build (Architektur): Prompts definieren, deterministische Schritte und Schnittstellen anbinden, Human-in-the-Loop-Übergabepunkte festlegen und Retry-Loops einrichten.
3. Evaluation & Testing: Systematisches Testen gegen Datensätze mit definierten Qualitätskriterien (E-Vals).
4. Go-Live & Stufenweise Autonomie: Schrittweises Ausrollen über Stichproben und manuelle Freigaben bis hin zu hoher Autonomie.
5. Operations & Monitoring: Kontinuierliches Monitoring von ROI, Performance-Drift bei Modell-Updates und regulatorischen Änderungen.

„Wir kommen immer von: Was ist das Businessproblem, was ich lösen möchte – und zerlegen das dann, anstatt einfach zu sagen: Hier machen wir jetzt drei Agents hin.“

Verification Loops & Evaluation: Genauigkeit durch Retries statt Spitzenmodelle

Ein zentrales technisches Highlight des Gesprächs ist die Bedeutung von Verification Loops. Jonas erklärt, dass ein Agent mit 70 % Basisgenauigkeit durch ein teureres Modell vielleicht auf 74 % klettert. Baut man jedoch einen internen Grader ein, der den Zwischenschritt prüft und bei Fehlern gezielte Retries anstößt, steigt die Systemgenauigkeit sofort auf über 95 %.

Um diese Genauigkeit abzusichern, arbeitet Beam mit synthetischen Testdaten (Golden Datasets). Da echte Kundendaten selten alle Ausnahmefälle abdecken, werden zehntausende synthetische Fehlervarianten generiert (z. B. unvollständige Rechnungsdaten, Scanfehler, ungültige Bestellpositionen). Diese Fehler werden geclustert, um den Agenten gezielt gegen Edge Cases abzuhärten.

Fehlerkultur, Benchmarking und das Judgment-Problem

Ein großes Paradoxon im Unternehmensalltag: An KI-Agenten wird oft der Anspruch von 100 % Perfektion gestellt, während menschliche Fehlerquoten im selben Prozess nie systematisch gemessen wurden. In Evaluierungen zeigt sich regelmäßig, dass der Agent eine signifikant niedrigere Fehlerquote aufweist als erfahrene Sachbearbeiter:innen.

Zudem existiert bei Prozessen mit Ermessensspielraum oft gar keine absolute Single Source of Truth — selbst verschiedene Senior-Mitarbeitende kommen bei identischen Fällen zu unterschiedlichen Bewertungen. Deshalb sind transparente Evaluations-Kriterien und Audit-Trails unverzichtbar.

Time-to-Value & Go-Live: Von der Pilotfalle zum Produktivbetrieb

Während Beam für die ersten Agenten-Setups noch Monate benötigte, liegt die typische Umsetzungszeit für komplexe Unternehmensprozesse heute bei rund sechs Wochen, bei gut vorbereiteten Schnittstellen sogar bei wenigen Tagen. Entscheidend für den Erfolg ist eine klare Governance: Die IT verantwortet Infrastruktur, APIs und Datensicherheit, während die fachliche Logik und das Kontext-Management bei den Application Ownern im Fachbereich liegen müssen.

CEO-Office 2.0: Vom reaktiven Assistenten zum proaktiven KI-Betriebssystem

Jonas gibt ein Update zu seinem persönlichen Agenten-Setup. Was vor einem halben Jahr als reaktives System mit Persona-Feedback (z. B. Frank Slootman für kritisches Sparring) begann, hat sich zu einer proaktiven Context-Engine weiterentwickelt:

• GitHub als Kontext-Speicher: Alle Unternehmensinformationen, Projektstände und Kunden-Feedbacks liegen strukturiert in Markdown-Repositories, optimiert für Coding- und Kontext-Agenten.
• Leitsatz für die Organisation: „Erzähl's nicht mir, sondern strukturiere es so und erzähl's deiner AI so, dass meine AI das findet.“
• Proaktives Command Center: Jeden Morgen priorisiert das System eigenständig die Top-3-Herausforderungen des Tages, zieht relevante Notizen und Daten zusammen und bereitet fertige Briefings und Entscheidungsunterlagen vor.

Kernaussagen

1. Verification Loops schlagen Modell-Upgrades — „Die Modelle alleine lösen das Problem häufig nicht. Der Impact von Retries, Verification Loops und Gradern ist viel, viel höher als die bessere Modellgeneration.“ [Verification Loops, Accuracy, System Design]
2. Problem-First statt KI-Aktionismus — „Wir kommen immer von: Was ist das Businessproblem, was ich lösen möchte – und zerlegen das dann, anstatt einfach zu sagen: Hier machen wir jetzt drei Agents hin.“ [Business Value, Prozesszerlegung, Problem-First]
3. Der neue interne Kommunikations-Standard — „Wir haben intern den Leitspruch: Erzähl's nicht mir, sondern strukturier's so und erzähl's deiner AI so, dass meine AI das findet.“ [Context Engineering, GitHub, AI-First Organisation]
4. Fehlertoleranz und Benchmarking — „Der Anspruch an KI-Agenten ist extrem hoch. In vielen Fällen stellen wir fest, dass die reale Fehlerquote des Agenten minimal war – aber die Fehlerquote der menschlichen Mitarbeiter im Vergleich viel höher lag.“ [Benchmark, Single Source of Truth, Genauigkeit]
5. Agenten sind vollständige Software-Systeme — „Ein Agent ist nicht einfach nur ein Prompt, den man irgendwo drauf schmeißt, sondern ein System aus LLMs, deterministischer Logik, Tools und Feedback-Schleifen.“ [Agentische Systeme, Architektur, Determinismus]

Fazit und Takeaways

Für Führungskräfte und Business Leader

• Vom Prompt-Denken zur System-Architektur: Hören Sie auf, nach dem „magischen Prompt“ zu suchen. Echter ROI entsteht durch die Orchestrierung von LLMs, deterministischen Prüfungen und Retries.
• Kontext-Infrastruktur aufbauen: Dokumentieren Sie Prozesswissen digital und zugänglich. Wenn Daten in Silos oder Köpfen gefangen sind, kann kein Agent Mehrwert liefern.
• Faire Benchmarks setzen: Messen Sie die Baseline der menschlichen Fehlerquote, bevor Sie von KI 100 % Perfektion fordern.

Für Solution Engineers und Prozessverantwortliche

• Mit Bounded Tasks und Judgment starten: Wählen Sie Prozesse mit klaren Grenzen, aber echtem Bewertungsbedarf, um den Wert agentischer Systeme schnell zu belegen.
• Synthetische Datensätze nutzen: Testen Sie Agenten systematisch mit tausenden synthetischen Varianten, um Edge Cases vor dem Go-Live abzufangen.
• Pragmatische Modellauswahl: Setzen Sie in der Ausführung auf schnelle, kostengünstige Modelle und heben Sie die Qualität über Grader und Verification Loops.

Für den Aufbau agentischer Systeme

• Time-to-Value priorisieren: Starten Sie mit einem fokussierten ersten Beachhead statt mit einem unüberschaubaren Gesamtumbau.
• Proaktive Systeme anvisieren: Die Zukunft liegt in Systemen, die eigenständig Kontext verknüpfen und Arbeit vorbereiten, statt nur auf Prompts zu reagieren.

Jonas Diezun zeigt in dieser Episode eindrucksvoll: Die Ära reiner KI-Demos ist vorbei. Wer agentische Systeme produktiv nutzen will, braucht saubere Systemarchitekturen, rigorose Evaluationen und den Mut, Arbeitsweisen konsequent an KI auszurichten.