Herzlich Willkommen zu den AI FIRST Insights!

In den letzten 12 Monaten habe ich immer wieder öffentlich meine Kritik an Copilot geteilt: Große Versprechen in bunten Produktankündigungen, aber in der Realität Timeouts, schwächere Ergebnisse als andere Chatbots und Features, die einfach nicht funktionieren.

Aber ich berate Kunden, die aufgrund von zentralisierter Microsoft-Strategie auf den Copilot setzen. Deshalb habe ich die Entwicklungen auf dem Schirm und teste kontinuierlich neue Features. So auch diese Woche.

Und ich muss zugeben: Ich war positiv überrascht.

Nachdem wir monatelang mit selbstgebauten Copilot-Agenten gegen Wände gelaufen sind, zeigen diese neuen Features plötzlich, was Microsoft tatsächlich kann.

Mein Learning: Niemals Anbieter im KI-Rennen abschreiben.

Los geht's!

Warum ich Copilot kritisch sah

Meine Kritik war nicht unbegründet.

In direkten 1:1-Vergleichen mit ChatGPT, Claude und Gemini lag Copilot in praktisch allen Aufgaben deutlich zurück:

• Chatbot-Qualität: Weniger umfangreiche und qualitativ schlechtere Antworten
• Enterprise Search: Funktionierte nicht zuverlässig, spielte Suchergebnisse unvollständig oder gar nicht zurück
• Bildgenerierung: Deutlich schwächer als Gemini oder ChatGPT
• Agent Builder: Kompletter Ausfall – selbst einfache Prompts wurden nicht befolgt
• Office-Integration: Der eigentlich große Vorteil von Copilot. Aber: Excel funktionierte nicht, PowerPoint war maximal durchschnittlich

Einzig Outlook und Teams liefen ganz ordentlich. Der Rest wirkte unfertig.

Trotzdem verstehe ich die Entscheidung für Copilot völlig.

Die Marketing-Videos sehen beeindruckend aus – woher soll man als Entscheider wissen, was davon wirklich funktioniert? Und wenn du tausende Mitarbeiter hast, die den ganzen Tag in Microsoft-Produkten arbeiten, macht die versprochene nahtlose Integration absolut Sinn. Kein Medienwechsel, keine zusätzlichen Tools, keine Datenschutz-Kopfschmerzen bei neuen Softwarelösungen.

Verlockende Theorie.

Frustrierende Praxis.

Die neuen Copilot-Agenten im Praxistest

Diese Woche erschienen in meinem Copilot Account plötzlich 2 neue Agenten: Recherche-Agentund Analyst.

Also ab in den Test.

Recherche-Agent: Deep Research auf professionellem Niveau

Mein Prompt:"Untersuche die Entwicklungen bei [Unternehmen X] seit 01.01.2024, insbesondere im Hinblick auf ihr Portfolio für [Produktkategorie Y] im deutschen Kernmarkt. Identifiziere spezifische Anzeichen für Portfolio-Anpassungen, geänderte Preisstrukturen oder neue Vertriebsstrategien. Welche unmittelbaren Konsequenzen siehst du für unsere Marktanteile bei [Zielgruppe Z] bis Ende 2025?"

Das Ergebnis: Eine Marktanalyse, die ich so von einem Junior-Consultant erwartet hätte. Detaillierte Insights mit hochrelevanten Quellen, die weit über Standard-Internetsuchen hinausgehen. Die Analyse war strukturiert, fundiert und erkenntnisreich. In mehreren Checks waren auch die Fakten korrekt.

Zweiter Test:"Erstelle eine Analyse der Zielgruppenpräferenzen von 12 bis 17-Jährigen in Bezug auf Nahrungsmittel, die potenziell in einer Bäckerei hergestellt werden können."

Das Ergebnis: Wieder eine professionelle Zielgruppenanalyse mit konkreten, umsetzbaren Produktempfehlungen.

In beiden Fällen wurden die generierten Insights von den Experten auf Kundenseite als hilfreich und neu bewertet.

Einziger Minus-Punkt: Die Anzahl der Quellen ist noch sehr überschaubar mit nur 6-8 Quellen. Dafür waren diese jedoch sehr relevant und bestanden oft aus umfangreichen Berichten oder Studien zu den Themen.

Analyst-Agent: Endlich brauchbare Datenanalyse

Mein Prompt:"Führe eine Analyse des Kundenfeedbacks durch inklusive: Sentiment-Analyse der Freitext-Kommentare, Identifizierung der Top 5 Themen für Zufriedenheit und Unzufriedenheit, Korrelation des Sentiments mit dem CSAT, datenbasierte Empfehlung von Maßnahmen."

Das Ergebnis: Der Agent arbeitete mehrere Minuten systematisch durch verschiedene Python-Operationen. Er identifizierte automatisch Stoppwörter für die Sentiment-Analyse, führte statistische Korrelationen durch und fand dabei sogar Datenfehler in meiner Excel-Datei, die er eigenständig bereinigte.

Exakt diese Analyse hatte ich in den letzten Monaten mehrfach mit der alten Copilot-Excel-Integration und der in Excel integrierten Python-Anwendung versucht. Das Ergebnis war jedes Mal unbrauchbar - frustrierende Timeouts oder oberflächliche Pseudo-Analysen.

Jetzt war das Ergebnis korrekt und brauchbar und hat mir tatsächlich Zeit gespart.

Weitere brauchbare Features

Neben den leistungsfähigeren Agenten hat Copilot das Interface aufgeräumt und die UX deutlich verbessert. Du kannst jetzt auch Notebooks erstellt werden, die mit den Projekten bei Claude und ChatGPT gleichzusetzen sind.

Auch die Enterprise Search hat einen neuen Bereich bekommen und ist in all meinen Tests gnadenlos durchgefallen. Keine Suchabfrage wurde korrekt beantwortet. Ich war doch gerade dabei, zum Copilot Fan zu werden ;D

Was das für das KI-Rennen bedeutet

Ich würde mal sagen: The race is on und niemand ist abgeschrieben :)

OpenAI, Google und Microsoft schenken sich gegenseitig nichts. Dazu kommen spezialisierte Player, die sich komplett auf KI-Plattformen für Unternehmen fokussieren und ebenfalls fleißig entwickeln.

Das Tempo ist brutal. Was heute noch als "hoffnungslos zurückliegend" gilt, kann in wenigen Monaten wieder konkurrenzfähig sein. Meine Copilot-Erfahrung ist der beste Beweis dafür.

Was bedeutet das jetzt für Unternehmen?

Aktuell ist es schlicht unmöglich, eine 100% richtige Entscheidung zu treffen, wer der perfekte KI-Anbieter ist. Die Landschaft verändert sich zu schnell.

Am Ende sehe ich den Trade-off zwischen Innovation + Performance (ChatGPT, Start Ups) und Sicherheit + Convenience durch Integration in vorhandene Interfaces (Copilot).

Warte am besten nicht auf die perfekte Lösung. Die wird nicht kommen. Analysiere und gewichte deine Anforderungen, triff eine Entscheidung und integriere das gewählte Tool dann konsequent.

Eine interessante Alternative ist die zweigleisige Strategie: Spezialist plus etablierter Player. Zum Beispiel ein Anbieter mit Zugang zu mehreren LLMs für Power-User kombiniert mit Copilot für die breite Masse – Integration trifft auf beste Performance.

Ist Copilot zurück im Rennen?

Trotz des Upgrades hängt Copilot in vielen Bereichen noch deutlich hinterher. Der Agent Builder ist weiterhin frustrierend schlecht und die angebundenen Modelle von vorgestern. Auch die Enterprise Search funktioniert nicht zuverlässig und sollte dann besser nicht bereitgestellt werden.

Aber: Copilot sendet wieder ein klares Lebenssignal. Microsoft hat bewiesen, dass sie aufholen können. Mit ihrer Distribution, dem Kundenzugang und der tiefen Office-Integration sind sie jetzt wieder ein ernst zu nehmender Konkurrent im Kampf um die führende KI-Plattform für Unternehmen.

Das macht die Entscheidung nicht einfacher – aber das Rennen definitiv spannender.

🏁 Fazit

Mein wichtigstes Learning: Niemals jemanden im KI-Rennen abschreiben. Die Entwicklungsgeschwindigkeit ist zu hoch für endgültige Urteile.

Copilot hat einen Qualitätssprung hingelegt, den ich nicht erwartet hätte. Microsoft ist wieder ein ernst zu nehmender Konkurrent im Kampf um die führende KI-Plattform für Unternehmen.

Für Unternehmen: Klare Prioritäten setzen, fundierte Entscheidung treffen, konsequent umsetzen. Nicht auf die perfekte Lösung warten.

Key Takeaways

1. Das KI-Rennen ist unberechenbar – was heute zurückliegt, kann morgen führen
2. Microsofts neue Recherche- und Analyst-Agenten funktionieren endlich auf professionellem Niveau
3. Keine perfekte KI-Lösung existiert – entscheide basierend auf deinen Prioritäten (Integration vs. Performance)
4. Zweigleisige Strategie als Option: Spezialist für Power-User + etablierter Player für die Masse
5. Regelmäßig testen und flexibel bleiben statt auf die eine perfekte Lösung warten

Hast du die neuen Agenten bereits getestet und wie schätzt du die Posistion von Copilot ein?

Ich bin gespannt auf deine Einschätzung.

Bis nächsten Sonntag,

Felix