[00:00:00]  Felix: Herzlich willkommen zum AI-First-Podcast. Heute habe ich Florian Leurer von der Otto Group zu Gast. Und Florian ist Tech-Lead und Expert für AI und Machine Learning und hat unter anderem federführend an der Entwicklung und Einführung des OGGBT Mitgewirkt und dazu möchte ich dir heute ganz viele Fragen stellen, um herauszufinden, warum brauche ich eigentlich so einen hauseigenen GPT, was muss da alles rein und wie schaffe ich es, dass meine Teams so ein Tool auch produktiv nutzen. Ich freue mich total aufs Gespräch Danke, dass du da bist, Florian: ich freue mich auch. Hallo Felix. Felix: Magst du einmal kurz erzählen wie du zu dem AI-Thema gekommen bist? Du bist ja schon etwas länger auch in der Autogruppe. Florian: Ja, ich komme auch eigentlich aus einer fachlich ganz anderen Ecke. Also ich habe einen langen SAP-Background. Irgendwann ist aber die Liebe zu SAP geschwunden [00:01:00] Und das war so um 2018, als das Thema Deep Learning und NLP, also alles, was mit Texten zu tun hat, gerade irgendwie ins Rollen gekommen ist. Und ja, da habe ich mir quasi ein neues Herzensthema gesucht und das war dann Machine Learning-AI und alles, was mit Texten und multimodalen Modellen zu tun hat. Felix: Ja, sicherlich ein gutes Thema, wie wir in den letzten Jahren gesehen haben Es wird ja nicht langweilig. Und so aus der Außenwahrnehmung wart ihr eines der ersten Unternehmen in Deutschland, zumindest eines der ersten großen Unternehmen, die gesagt haben, wir bauen unser eigenes Unternehmen Chat GPT für die Otto-Gruppe. Warum habt ihr euch damals, also ich kann es mal sagen, wann war das und warum habt ihr euch damals dafür Florian: das war tatsächlich ziemlich genau vor einem Jahr. Also Go Live von [00:02:00] OJGBT war der 18. September. Und wir haben quasi unseren einjährigen Geburtstag jetzt gefeiert. Und ich glaube, der Grund war relativ naheliegend. Generated AI und JetGBT ist irgendwie... Durch die Decke gegangen. Ich glaube, jeder hat sich so ein bisschen gefragt, was man damit anfangen kann und wie man es vielleicht nutzen kann und das naheliegendste ist einfach die Technologie und sowas wie ChatGVT eben jedem Mitarbeitenden irgendwie zugänglich zu machen und damit auch so die ja vielleicht die ganz neue Welt und neuen Skills, die man dafür braucht, irgendwie Beizubringen oder die Möglichkeit eben zu geben, zu lernen. Und ja das war so der Hauptgrund, wieso wir OGGVT entwickelt haben [00:03:00] und wieso es eine Eigenentwicklung war, lag hauptsächlich daran, dass es zu dem Zeitpunkt noch nicht so viel Die Standardlösungen neben Chat-GBT tatsächlich gab. Chat-GBT war keine Option wegen den klassischen Datenschutzthemen, USA, damals wurden noch die Daten gespeichert etc. pp. Und das war so ein bisschen der Hauptgrund, wieso wir uns für eine Eigenentwicklung entschieden haben. Felix: Wir kommen gleich nochmal so ein bisschen auf die Funktion zu sprechen und wie ihr dann vorgegangen seid, aber du hast gerade gesagt, dass es total wichtig ist bei generativer KI als eine sehr neue Technologie, diese Funktion erstmal zu Mitarbeitenden zugänglich zu machen, um zu lernen, wie man eigentlich damit umgehen kann. Der andere Ansatz wäre ja, von den Use Cases her zu kommen und erstmal durch alle Bereiche und alle Teams zu gehen, [00:04:00] sich anzuschauen, was gibt es denn möglicherweise für Anwendungsfälle und dann zu gucken, was wäre jetzt das richtige Tool, um den jeweiligen Anwendungsfall umzusetzen, vereinfacht gesagt. Warum seid ihr da einen anderen Weg Florian: Ich glaube, wir sind gar nicht einen anderen Weg gegangen, sondern wir sind den Weg parallel gegangen. Also zum einen gab es Kollegen von der Otto Group Digital & Consulting, die sich eben strategisch um das Thema gekümmert haben, welche Use Cases sind vielleicht die, die den meisten Impact bringen, also Customer Support, irgendwas mit Produktentwicklung in der ganzen E-Commerce-Welt. Und der andere Punkt war eben, also wir nennen das individuelle Produktivität, Wie gesagt, jedem Mitarbeitenden einfach das Tool zur Hand zu geben und dann einfach mal gucken, was passiert. Die Leute effizienter machen und einfach mal für sich selbst [00:05:00] rauszufinden, für was das vielleicht nützlich ist oder auch nicht. Felix: Okay, also aus dem Wissensaufbau und dem eigenen Erfahrung sammeln, das dann eigentlich als Quelle zu nehmen für neue Use Cases, die man vielleicht ja auch vorher noch gar nicht kennen kann, oder? Also ich kenne das auch mit Kunden, die… Man könnte jetzt in der Theorie erzählen was kann ich jetzt damit machen, aber wenn ich das noch nie selbst mal ausprobiert habe und so die Stärken und Schwächen selbst kennengelernt habe, fällt es mir wahrscheinlich sehr schwer, mit wirklich konkreten Anwendungsfällen um die Ecke zu kommen. Florian: Also da würde ich gerne was zu sagen, weil ich den Punkt eigentlich ganz lustig finde. Also ich mache das Thema ja auch schon ein bisschen länger und es war wirklich sonst das größte Problem, Use Cases zu finden. Wie du sagst man versucht den Leuten zu erklären... Was vielleicht nicht Generative AI kann, aber eine Textklassifikation, Named Entity Recognition, da kann man ja auch schon viele [00:06:00] Sachen mit automatisieren, aber es ist super abstrakt und schwer den Leuten beizubringen wo das ihnen jetzt konkret helfen kann. Und das war für mich jetzt so, vielleicht nicht im ersten Moment, als OGGBT irgendwie live gegangen ist, sondern so vielleicht die letzten... Drei vier, fünf, sechs Monate eigentlich so das Spannendste, dass jetzt die Use Cases zu uns kommen. Also man muss nicht mehr durch die Gegend laufen und den Leuten versuchen zu erklären, was damit möglich ist, sondern wenn die mal eine Zeit lang sich damit beschäftigt haben, Dann kommen die schon selbst auf die Ideen und die Use Cases wo sie eben im Alltag merken, dass ihnen das helfen kann und dass man das vielleicht dann auch irgendwie in die Prozesse einbauen kann, also dass sie nicht mehr Copy und Paste machen, sondern ja, dass sie dann sagen, ja hey, ich habe hier immer ABC, lass das doch mal richtig machen und nicht nur in OGGPT. Felix: Kannst du dafür ein Beispiel geben? Florian: Das sind tatsächlich [00:07:00] wirklich viele. Also ein Beispiel, das war so das früheste, war von einem Konzernunternehmen Bonprix, die den Bonprix Language Converter entwickelt haben. Und das entlastet so ein bisschen Marketing, PR und übersetzt quasi Floriansprache oder ganz normale Mitarbeitendensprache in die, Bonprix Brand Language. Es gibt aber auch ganz, also Use Cases aus ganz anderen Ecken wie zum Beispiel arbeiten wir gerade daran, Schulungen im Konzern besser zugänglich zu machen. Also quasi so einen Coach zu entwickeln, mit dem ich quasi chatten kann, ihm sagen kann, dass ich mich weiterentwickeln möchte, der stellt dann Rückfragen und Und hat dann Zugriff auf eine ganze Reihe von Schulungen die eben zugänglich sind. Also interne Schulung externe Schulung. [00:08:00] Und basierend auf dem quasi Beratungsgespräch schlägt er dann eben Schulungen vor. Ja Felix: Vielen Dank. Florian: Wir haben andere Use Cases, wo es darum geht, irgendwie größere Mengen an Verträgen zugänglich zu machen. Also nach bestimmten Klauseln also vielleicht über 20 Vertragsdokumente projiziert Bestimmte Klauseln zu finden oder Konditionen in Verträgen zu finden und so weiter. Und das sind wie gesagt, waren alles Use Cases, wo wir nicht aktiv auf die Fachbereiche und Kolleginnen zugegangen sind, sondern das sind die Use Cases, die uns zugeflogen sind. Felix: Ja, spannend, ja, ich kann das zu 100% bestätigen, deswegen, ich sage immer, der wichtigste Use Case ist es, so ein AI-Chatbot, intern AI-Chatbot. Hast du ein besseres Wort dafür eigentlich? Also ihr habt euren jetzt [00:09:00] OGGPT genannt aber ist das ein AI-Assistent oder eine AI-Plattform oder ein Chatbot oder Florian: nennen es KI-Assistent und damit kann ich gut leben. Felix: Ja gut, so ein allgemein KI-Assistent, allen Mitarbeitenden zugänglich zu machen, damit sie selbst herausfinden können, wie kann ich den für mich eigentlich einsetzen, um daraus das dann eigentlich als so Use-Case-Sourcing-Pool zu nehmen. Und das dann, was du gesagt hast, das habe ich jetzt auch schon öfter erlebt, gerade wenn Teams dann schon ein bisschen weiter sind, dann kommen die Ersten und sagen, hey, warum muss ich denn hier jetzt immer noch auf den Knopf drücken und dann das Ergebnis kopieren und irgendwo anders einfügen? Ja Kann nicht der Trigger schon aus irgendeinem anderen System kommen. Mein KI-Assistent führt dann die Aufgabe aus, die ich jetzt immer Anstoße und spielt mir das ergebnis dann irgendwo anders hin und dann sind die leute nämlich in der prozess denke und dann kommt die kommen diese diese fähigkeiten in die workflows rein was eine spannende [00:10:00] neue phase ist aber vielleicht gehen wir noch mal einen schritt zurück weil Und sowas kommt ja auch nicht einfach so. Also jetzt so ein Tool dorthin zu stellen und zu sagen, so viel Spaß, das wissen wir alle, dass das nicht funktioniert. Wie habt ihr diesen Prozess gemanagt so ein Tool einzuführen? Es sprechen immer alle davon, wir müssen die Leute kennenlernen Mitnehmen, viel Schulungsbedarf aber auch irgendwie diesen Change-Prozess managen. Jetzt habe ich dir viele Sachen hingeworfen aber vielleicht mal so, wie seid ihr bei der Einführung vorgegangen, um die Leute auch zu befähigen, damit arbeiten zu Florian: Also ich glaube, das Wichtigste ist da wirklich irgendwie ein Team aufzustellen, das sich explizit darum kümmert. Also wir haben ein Adoption-Team und ein Schulungsteam für das ganze Thema und bieten zum Beispiel so Halbtages-Workshops an, wie promptet man. Das ist auch nicht so ein exklusiver [00:11:00] OGGPT-Workshop sondern da werden auch Tools verglichen wie verhält sich OGGPT an Wie verhält sich vielleicht Chat-GBT, solche Geschichten und das ist so, wie gesagt, eher so Prompting-Workshop, also den neuen Skill zu lernen. Dann gibt es sowas wie My Sessions, das sind so einstündige oder halbstündige Formate, wo wir einfach versuchen, das Tool beizubringen, also wie kann ich technisch darauf zugreifen, wo finde ich OGGBT, wie funktionieren neue Features und Felix: Vielen Dank. Florian: Es gibt eine Discover AI Community, nennt sich die bei uns in der Otto Group, wo quasi über Teams und verschiedene Kanäle es die Möglichkeit gibt, Fragen zu stellen. Also es sind Anwender und ich sage mal, AI-Experten In der Community und man versucht sich einfach selbst zu helfen und Erfahrungen auszutauschen und es gibt eine [00:12:00] Konferenz, also interne AI-Konferenz, die Discover AI, bei der eben auch das ganze Thema irgendwie bespielt wird. Also welche Möglichkeiten gibt es? Das ist jetzt unabhängig von OGGPT, sondern einfach generell zum Thema AI und Generative AI. Und Welche Möglichkeiten bietet AI, welche Use Cases gibt es vielleicht schon im Konzern und einfach so ein bisschen in den Austausch zu kommen und Wissen zu teilen. Und dann gibt es auch eher so technische Austauschformate, das ist dann auch eher, ich sage mal, OGGVT-unabhängig oder geht darüber hinaus, wo einfach so die Techies im Konzern versuchen, sich zum Thema AI und Mission Learning usw. zu Aber ich glaube, es ist wirklich wichtig und das sieht man auch so ein bisschen an den Nutzungszahlen. Das kommt ja von heute auf morgen. Das ist schon [00:13:00] ein Prozess einfach. Felix: Wenn ich jetzt... wäre von einem Unternehmen. Und jetzt mir auch überlegen würde, wir wollen jetzt unsere interne Effizienz steigern Dafür zum Beispiel so einen KI-Assistenten einführen und du hast jetzt von euren unterschiedlichen Schulungsformaten gesprochen, also so manche so One-Off-Formate die anderen eher wiederkehrend dann nochmal wahrscheinlich viel Inspiration auch auf eurer Konferenz, also wirklich so die verschiedenen Ebenen abgedeckt, finde ich großartig, wirkt für mich trotzdem erstmal total aufwendig Warum würdest du denn sagen, dass sich das trotzdem lohnt? Florian: Weil ich wirklich glaube, dass das Thema Generated VR nicht weggeht. Felix: Ja. Florian: ich glaube, man muss sich damit auseinandersetzen und desto früher, desto besser. Also ich glaube auch, dass die Zeit des Experimentierens langsam so [00:14:00] ein bisschen, also hört nie auf, aber ich glaube langsam kommen eben die konkreten Use Cases, die wirklich Nutzen stiften und wie gesagt, da kommt man nur ran, wenn man sich mit dem Thema meiner Meinung nach auseinandersetzt und das auch wirklich, Also was auch immer das dann für den konkreten Fall bedeutet. Also ich glaube, ein mittelständisches Unternehmen muss nicht eine eigene Konferenz aufziehen, aber vielleicht über andere Formate und Möglichkeiten nachdenken, zum einen eben die Technik zur Verfügung zu stellen oder ein Tool zur Verfügung zu stellen, aber auch die Leute mitzunehmen und Wissen aufzubauen. Felix: Ja, also ich habe Kunden, die sind 200 Mitarbeiter und die machen das auch, so ein AI-Day einmal im Jahr und ich war jetzt dieses Jahr dabei und das ist Wahnsinn, also was das für eine Energie und auch nochmal Sichtbarkeit für das Thema ist Hergestellt [00:15:00] hat und dann konnten alle ihre use cases untereinander teilen noch mal irgendwie andere input von außen mit reinbringen und das hat noch mal ganz viel schubkraft für dieses thema entwickelt und das hat wirklich gezeigt dass man so schafft wirklich nicht nur alle leute Mitzunehmen, sondern echt zu involvieren und dem Thema die nötige Relevanz zu geben, weil die auch ganz klar gesagt haben, wir werden nicht mehr wettbewerbsfähig sein, auf kurz oder lang, wenn wir diese Technologie nicht verstehen und in allen Bereichen richtig einwenden. Und jetzt gibt es, glaube ich, auch noch die Chance, vorne mit dabei zu sein, oder? Also ich glaube, jetzt gibt es auch ein Zeitfenster, wo man sich im Vorsprung erarbeiten kann, wahrscheinlich auch die Kompetenzen aufbaut, um alles, was in Zukunft kommen wird, dann viel schneller umsetzen zu können, oder? Weil das Verständnis für die Technologie Florian: Ja, das glaube ich auch. Und ich weiß nicht, du bist ja auch auf LinkedIn unterwegs und da gibt es auch immer die Diskussion wer ist denn jetzt KI-Experte und wer vielleicht [00:16:00] nicht. Aber ich glaube, eben durch genau solche Formate bilden sich im Unternehmen KI-Experten, die vielleicht gar keine Teche sind, aber eben sich damit beschäftigen, wie in ihrem Bereich das Nutzen stiftet. Und da ist es auch vollkommen egal, ob der oder diejenige jetzt irgendwie fünf Jahre oder zwei Monate Erfahrung damit hat. Wenn sie verstanden haben, wie das Ganze funktioniert und wie es Nutzen stiftet, ja, dann ist es eigentlich genau das, was es braucht. Und wie gesagt, also ich glaube, der Punkt ist auch richtig. Es ist jetzt, ich glaube, ChatGBT knapp zwei Jahre alt. Aber es ist immer noch früh, also sieht man in der technischen Entwicklung geht es immer noch mit rasenden Schritten voran aber eben auch mit Anwendungsfällen und den Lösungen die aktuell damit gebaut werden. Felix: Gute Überleitung. Chat-GBT ist ja immer so die Benchmark da [00:17:00] draußen. Also das ist das Maß aller Dinge wenn wir jetzt auch über KI-Assistenten konkret sprechen. Und ich erlebe das oft so, dass Mitarbeiter oder Nutzer, jedes Tool, was sie intern zur Verfügung gestellt bekommen, Benchmarken gegen ChatGPT und wenn das Tool deutlich schlechter ist als ChatGPT, dann doch wieder der private ChatGPT-Account genutzt wird. Ja, zum Beispiel Co-Pilot oder ich habe viele Company-GBTs gesehen, die hatten wirklich nur die API-Schnittstelle und dann den Chat-Schlitz und das war's, ja. Also kein anderes Feature und natürlich hat das dann niemand genutzt. Was kann denn der OG-GBT heute? Also wie sieht so die Funktionsbandbreite aus und vielleicht kannst du auch mal sagen, warum ihr euch für oder gegen ein bestimmtes Feature entschieden Florian: also das schon mal vorweg, der Grund, wieso wir uns gegen Features entscheiden, ist meistens Kapazität, das Backlog ist [00:18:00] tatsächlich lang und der Vergleich mit Chat-GBT ist eigentlich auch ganz richtig, aber da muss man sagen, das wurde zum Glück die letzten Monate oder ich sage mal das letzte halbe Jahr tatsächlich weniger, das war am Anfang tatsächlich noch aktueller, oft der Vergleich zu Chat-GBT, also Wieso kann Chat-GBT das und OGG-GBT nicht? Wieso bekomme ich bei Chat-GBT die Antwort und bei OGG-GBT die? Wie gesagt, die Diskussionen wurden die letzte Zeit weniger, aber es liegt, glaube ich, auch, dass der Funktionsumfang sich so ein bisschen angeglichen hat. Was hat OGG-GBT für Funktionen? Natürlich der klassische Chat. Also, ja, Chat-GBT-Klon, bei dem ich mit dem LLM quasi chatten kann und so Standard-Use-Cases wie Übersetzungen, [00:19:00] Brainstorming und so weiter und so fort relativ simpel machen kann. Wir hatten auch relativ früh schon so eine Retrieval Augmented Generation Funktion eingebaut, also man konnte sich Projekte anlegen und da Modelle, in die Modelle konnte man Dateien hochladen Und sich quasi einzelne Dateien oder ganze Knowledge Spaces hochladen. Also wir hatten auch keine Größenbegrenzung oder so eingebaut. Und das war an sich technisch hat es gut funktioniert, war konzeptionell nur ein bisschen zu weit gesprungen. Also Projekte und Modelle und Dateien hochladen war einfach Usability-mäßig nicht verständlich genug. Und Die Funktionen haben wir jetzt eigentlich überführt in Custom-GVTs, nennt sich das, die quasi so eine Agentenlogik haben oder [00:20:00] technisch Function-Calling verwenden, wo eben nicht nur quasi eine Knowledge-Base oder Dokumente hochgeladen werden, mit denen man chatten kann, sondern eben auch andere Funktionen nutzen kann. Es ist Felix: zum Beispiel? Also Internetsuche und irgendwie diesen Data Analyst, wo dann ein Code geschrieben wird, um bestimmte Tabellen oder Berechnungen oder Code-Auswertungen Florian: Genau, also die erste Funktion, die wir tatsächlich eingeführt haben, waren echte Summaries zu machen, weil was wir gemerkt haben, ist, dass Dokumente hochgeladen werden und dann quasi die Frage gestellt wird, fassen wir das durch Dokument zusammen und wie gesagt, technisch war da zuvor Retrieval Augmented Generation Felix: Vielen Florian: kommt halt keine wirklich gute Zusammenfassung des [00:21:00] kompletten Dokumentes raus, sondern im besten Fall werden die wichtigsten Teile des Dokumentes zusammengefasst. Und das heißt, wir haben jetzt tatsächlich ein Tool eingebaut das wirklich Das komplette Dokument summarized und eine echte Zusammenfassung und auch eine gute Zusammenfassung erstellt. Weil das war, glaube ich so der größte Schmerz dass Zusammenfassungen nicht gut funktioniert haben. Dann, wie du gesagt hast, Code Interpreter oder Data Analyzer, also Felix: Vielen Florian: Python-Code, der dann ausgeführt wird, um zum Beispiel Tabellen zu analysieren. Felix: Dank Florian: geht gerade live und was wir auch noch ja eigentlich mehr im Blick haben, sind einfach Schnittstellen und Tools, die im Konzern existieren darüber zugänglich zu machen. Also dass eben strukturierte [00:22:00] Datenquellen vielleicht angebunden werden können oder ja auch Aktionen in Systemen darüber eben ausgeführt werden können. Felix: Kannst da mal ein, zwei Beispiele geben, was ihr schon an Datenquellen oder an Drittsystemen angebunden Florian: Also das Feature an sich ist noch relativ früh, also andere Systeme anzubinden. Das heißt, wir haben davon aktuell noch nichts live, aber die ersten Schnittstellen ist zum Beispiel wirklich ein Online-Zugriff auf unsere Auto-Group-IT-FAQs. Also, dass wir wirklich Datenquellen synchron halten und dass wir vielleicht auch aus so Systemen wie Jira Daten abfragen können. Aber wie gesagt, das ist alles noch nicht live und eher so Ideen wo wir uns langsam rantasten. Felix: Das klingt ja für mich jetzt so ein bisschen so, [00:23:00] dass... Der KI-Assistent dann in der Mitte vom Unternehmen sitzen kann und immer mehr Zugriff auf bestimmte Unternehmensdatenquellen bekommt, um damit chatten zu können oder Informationen abzufragen und dann gleichzeitig Ergebnisse auch in Drittsysteme wieder zurückspielen zu können, also vielleicht ein Ticket im Jira aufzumachen oder... Ja, eine Kundennachricht zu beantworten oder vielleicht im Content-Management-System vielleicht schon irgendwie einen Text zu hinterlegen oder ähnliches ich denke jetzt mal laut. Siehst du das auch so oder was ist jetzt so die Vision? Wie siehst du das in eurer Systemlandschaft dann am Ende auch eingebunden und in die Zusammenarbeit mit verschiedenen Systemen? Florian: Genau das ist die Vision. Also in die Richtung wollen wir das Ganze weiterentwickeln, [00:24:00] aber man muss auch sagen, dass das nicht trivial ist, weil wir schon irgendwie die Herausforderung haben, ein System, das für alle Use Cases gut funktioniert, zu bauen und dann doch teilweise an, ich sage mal, Grenzen kommen, wo vielleicht diese, ich sage mal, klassische Function Calling-Systeme Agent nenne ich es jetzt mal, vielleicht nicht optimal funktioniert und wo man vielleicht mehr, vielleicht hartgecodete Logik bräuchte, vielleicht einen advanceren Agent und deswegen, wie gesagt, ist das die Vision, aber wir tasten uns da tatsächlich eher so Schritt für Schritt dran aktuell. Felix: Wie viele Leute arbeiten da dran? Florian: Jetzt muss ich mal kurz durchzählen.  Felix: Gott, das müssen ja viele Florian: Nee, das Problem ist, es ist sehr viel [00:25:00] Teilzeit. Also wir sind nicht ein großes Vollzeitteam. Ich werfe jetzt einfach mal eine Zahl in den Raum. Also die oder das Team, das OGTBT technisch entwickelt, sind ungefähr sechs Personen. Wir arbeiten aber nicht alle Vollzeit an OGTBT, sondern wir haben eben auch noch andere Aufgaben und andere Projekte an denen sie arbeiten. Felix: Und welche Skills habt ihr dann dort in dem Team? Florian: Eigentlich klassisch App- oder Webseitenentwicklung, also Fullstack, Frontend, dann eher so AI-Developer und ja, genau, ja. Felix: Okay. Und ihr könnt auch unterschiedliche Sprachmodelle [00:26:00] anbinden. Florian: richtig. Also das ist glaube ich auch ein Punkt, der bei uns in der Otto Group relativ wichtig ist. Wir wollen uns jetzt nicht irgendwie auf einen Anbieter verlassen weil das Ganze eben noch relativ dynamisch ist, sondern flexibel reagieren können. Ja, genau deswegen. Felix: Ja, denke ich einer der ganz großen Vorteile, also sehe ich auch so und deswegen bin ich auch sehr kritisch gegenüber ChatGPT zum Beispiel, weil ich mich halt maximal abhängig mache von wirklich einem einzigen Unternehmen und ich meine, das Rennen ist ja im vollen Gange, auch Anthropic, Meta und Co. bringen halt super Modelle raus Raus die teilweise noch stärker sind in einigen News-Cases. Trotzdem haben ja jetzt nicht alle Unternehmen da draußen ein eigenes Engineering-Team und dann vielleicht noch mehrere FTEs insgesamt frei [00:27:00] oder bei euch wurden die Kapazitäten ja sicherlich auch freigeschaufelt und priorisiert. Trotzdem sagst du ja ihr habt einen hohen Backlog, habt jetzt auch ein Jahr entwickelt oder wahrscheinlich länger, um an den aktuellen Status Quo zu kommen und da draußen gibt es ja auch Lösungen, die sich diesem Thema angenommen haben und das weiterentwickeln. Also jetzt natürlich so ein Co-Pilot und ChatGBT jetzt wahrscheinlich die bekanntesten. Ich würde gerne mal verstehen, was würdest du denn einem Unternehmen raten was nicht... Diese internen Engineering-Kompetenzen und Kapazitäten hat, um sowas zu bauen. Florian: zum einen wir stellen uns die Frage wirklich seit Tag 1, ob Eigenentwicklung der richtige Weg ist oder nicht, genau aus dem Grund, den du gesagt hast, es gibt Microsoft Copilot, also wie... Wir sind in dem ganzen Microsoft-Kosmos unterwegs. Es gibt [00:28:00] M365-Core-Palette etc. pp. Und wie gesagt, wir fragen uns seit Tag 1, ob das Ganze Sinn macht. Was wir aber auch gesehen haben oder was ein großer Vorteil von der Eigenentwicklung ist, ist tatsächlich Thema Usability und das wirklich auf... Auf die Anwender und Anwenderinnen wirklich zuschneiden zu können. Also das ist vielleicht noch so ein Feature, das ich vorhin nicht genannt habe, zum Beispiel Prompt-Marktplatz, auch noch so ein Format um eben das Wissen und vielleicht gute Prompts besser teilen zu können. Deswegen ist Eigenentwicklung ab einer bestimmten Größe glaube ich schon noch eine Option und kann auch Kann auch wirtschaftlich sein. Aber wie gesagt, wir haben jetzt potenziell 26.000 Kolleginnen, die Zugriff auf OGGVT haben und Felix: Dank. Florian: Wenn man jetzt deutlich weniger [00:29:00] hat, glaube ich, ist sicher auf dem Markt umzuschauen und ja, nach einer fertigen Lösung zu gucken, zu schauen, was für die eigenen oder auf die eigenen Anforderungen passt, absolut eine Option, ja. Felix: Okay, ja, da... Gibt es ja einige Anbieter die wirklich nur dieses Thema machen und ähnliches Feature-Set auch mittlerweile aufgebaut haben, alle Daten innerhalb der EU verarbeiten und Co. Ich denke, dass diese Anbieter Also Microsoft hat natürlich diesen Riesenburggraben dass die, ja, vor allem Gen-AI-Funktionen dann in alle Apps sehr nativ eingebaut werden können, das, ja, trotzdem ist das Produkt halt meiner Meinung nach deutlich schlechter als, ja, auch Chat-GBT und, und und und Co., [00:30:00] ja Jetzt habe ich mich verhaspelt. Das können wir auch weglassen. Florian: Aber den Punkt finde ich eigentlich ganz interessant, weil ich glaube schon, dass, Felix: Ich wollte dich noch fragen, ob ihr die auch parallel mitlaufen lasst und testet. Florian: also wir waren auch Co-Pilot, Pilotkunde von Microsoft und haben da glaube ich 300 Kunden Test-User aktuell und verfolgen das eigentlich auch, weil ich glaube, die Idee von Microsoft ist schon richtig. Also eigentlich muss Gen AI eben dahin wo die Prozesse sind, wo die Daten sind. Und wie gesagt, die Idee ist gut. Ich bin selbst kein Tester gewesen, habe aber das Feedback bekommen, dass es noch nicht so funktioniert, wie man es sich vielleicht wünschen würde. Ja. Felix: Ja, [00:31:00] Microsoft hat es ja in der Vergangenheit also Teams war ja am Anfang auch Murks und ist über die letzten Jahre vom Funktionsumfang auch finde ich von der Performance halt viel, viel besser geworden und heute ist es schwer, Überhaupt alle Funktionen noch richtig zu hebeln und zu nutzen und jetzt hat, wir nehmen heute auf am 25. September, ich glaube vor einer Woche ungefähr war das Wave 2 Event, da kam dann auch nochmal so ein signifikanter Schub an neuen Features, womit sie jetzt aufholen und ich glaube am Ende werden sie das schon sehr, sehr solide in den ganzen Microsoft Stack mit integriert haben. Florian: ich glaube, also ein konzeptionelles Problem ist Oder was wir, glaube ich grundsätzlich anders machen und anders sehen, ist nicht ein Co-Pilot, der alles kann, sondern lieber kleine Co-Pilots die einen relativ kleinen Funktionsumfang vielleicht haben, aber den dann auch beherrschen sage ich mal, oder dass es auch tatsächlich gut funktioniert. Ich glaube, das ist auch so ein [00:32:00] bisschen Erwartungsmanagement Also ist bei Felix: Dank. Florian: glaube ich genau dasselbe Problem, wenn man ein Tool hat, das potenziell alles kann, dann erwartet man eben auch, dass es alles kann und dann ist man auch relativ schnell enttäuscht. Wenn man den Scope ein bisschen kleiner schneidet und sagt, du hast hier einen Assistenten der bereitet sich zu Schulungen und hier hast du einen, der die Bonprix Brand Language irgendwie versteht, dann ist da glaube ich das Erfolgserlebnis näher als bei so einem Alles Könner. Felix: Vielen Dank. Du hattest vorhin 26.000 potenzielle Nutzer angesprochen. Kannst mir so ein bisschen uns durch die Zahlen führen? Also jetzt einjähriges Geburtstag, wie viele Nutzer habt ihr aktuell? Wie oft loggen die sich dort ein? Wie viele Prompts werden dort abgeladen Schickt, vielleicht habt ihr auch schon mal die tatsächliche Zeitersparnis gemessen, das ist ja auch immer schwieriger wie bewerte ich jetzt eigentlich den [00:33:00] Return on Invest, also ich habe noch ganz viele Fragen, aber könnt ihr damit Florian: Also erstmal zu Zahlen und zum Stichwort Return und Invest ist, glaube ich wichtig zu sagen, dass das kein Ziel von OGGPT ist. Also wir messen keine Zeiten, wir versuchen da nicht irgendwie gegenzurechnen ob sich das Ganze lohnt Das ist tatsächlich nicht das Ziel des Tools, sondern wie vorhin schon gesagt, einfach jedem die Möglichkeit zu geben, eben datenschutzkonform mitzumachen Mit der Technologie zu arbeiten. Trotzdem interessiert uns natürlich, wenn wir besser, wie verhält sich die Nutzung? Und das heißt, so anonyme Zahlen tracken wir. Also wie viele User haben sich angemeldet? Und das waren jetzt, ich glaube, zum Ende Zum Einjährigen waren es, glaube ich 13.500, die sich schon mal [00:34:00] angemeldet hatten. Monatlich haben wir so circa 1.800 User. Ah ne, stopp da müssen wir nochmal von vorne anfangen. Ja, genau. Was hatte ich als erstes gesagt? Ja Felix: es 13.500 waren. Florian: Ja, zum Geburtstag waren es, glaube ich, 13.500 User, die sich zumindest schon mal in OGGVT angemeldet hatten. Monatliche User haben wir circa 7.000 und verarbeiten über 200.000 Nachrichten im Monat. Und wie gesagt, der Das Spannende bei dem Thema für mich ist eigentlich, dass es stetig ansteigt. Also gefühlt ist der Hype irgendwie vorbei. Also jeder hat schon mal was von OJGBT bei uns, glaube ich gehört. Jeder hat schon mal was von ChatGBT gehört. Aber trotzdem [00:35:00] steigen die Zahlen eigentlich stetig an. Und ich glaube, das ist eben genau das Thema. Schulungsformate werden wahrgenommen Die Leute sind vielleicht im ersten Moment enttäuscht dass es nicht funktioniert, probieren es irgendwann wieder, sehen, dass es besser geworden ist, vielleicht auch bessere Use Cases für sich und bauen es dann so in den Arbeitsalltag ein. Und wie gesagt, deswegen finde ich es eigentlich ganz spannend, dass das über die... Eigentlich komplett oder stetig über das Jahr die Nutzungszahlen immer noch wachsen. Wir versuchen auch rauszufinden Felix: Vielen Florian: viel Zeitersparnis das Ganze bringt und wir machen das über User-Umfragen. Also wir machen relativ regelmäßig eben Umfragen, in denen wir versuchen herauszufinden wie sich die Nutzung und der Nutzen entwickelt.[00:36:00]  Und das liegt so bei den normalen Usern im Bereich von 30 Minuten bis einer Stunde pro Woche Zeitersparnis und bei den Power-Usern, was so die Top 5% bei uns sind, Liegt das bei einem halben Tag pro Woche circa. Man muss aber dazu sagen, das ist jetzt keine repräsentative Umfrage, da gibt es natürlich ein bisschen Unschärfen, aber wie gesagt, wir tracken keine detaillierten Nutzerzahlen deswegen sind die Umfrageergebnisse eigentlich unser bester Hinweis darauf. Felix: Ja, trotzdem interessant mal so ein Gefühl zu bekommen und ich meine das auf die Anzahl der Nutzer multipliziert, natürlich auch schon ein ganz netter Hebel, aber finde ich spannend, dass ihr sagt, das ist für euch kein harter ROI-Case und ich finde es auch total schwer, das [00:37:00] zu bewerten, aber der Kompetenzaufbau, der damit stattfindet hat glaube ich langfristig sowieso den viel, viel größeren Wert noch und Und was du vorhin gesagt hast, nämlich, dass ihr jetzt eigentlich, also, wie sagt man, AI-literate Mitarbeiter habt, die jetzt viel informierter sagen können, hey, das ist eigentlich ein spannender Use Case und da würde ich gerne mal weitergehen und da gibt es ja dann wirklich die Customer Support in der Content-Erstellung, im Reporting und so weiter, die, Die harten Use Cases, die man wirklich gegenrechnen kann und sagt, okay, da spare ich mir jetzt wirklich 80, 90 Prozent der Zeit bei gleichbeibender oder besserer Florian: absolut. Und was finde ich auch spannend ist, oft ist es ja nicht nur AI-Technologie Das dann hilft, sondern man kommt vielleicht an Prozesse, die insgesamt noch besser werden können. Oder auch [00:38:00] ja, vielleicht Prozesse, wo andere Tools noch helfen können. Also vielleicht Prozessschritte komplett per API abbilden anstatt das manuell zu machen, vielleicht irgendwo noch RPA einzusetzen und Felix: Dank. Florian: da hilft einfach, so einen Ansatzpunkt zu haben, wo User eben um die Ecke kommen und sagen, ich habe da was gesehen, vielleicht kann man da was besser machen. Felix: Wie organisiert ihr das? Wie orchestriert ihr diesen nächsten Schritt aus jetzt kommen Ideen und jetzt werden Potenziale gefunden und dann ist es halt nicht immer nur der KI-Assistent mit dem wir alles erschlagen können oder ein Sprachmodell sondern dann gibt es unterschiedliche Methoden die dann wieder bewertet und sich angeschaut werden müssen. Wo geht das dann hin und wie geht das dann weiter? Florian: Also wir sind interne IT-Dienstleister in der [00:39:00] Otto Group. Das heißt, wir nehmen die Ideen auf. Versuchen in einem kleinen Workshop mal abzuklopfen wie viel Potenzial dahinter steckt und dann ist es eigentlich relativ klassisch, also man versucht da irgendwie mal einen Pock zu machen, wirklich mit wenig Aufwand zu gucken, ob es technisch funktionieren kann und am Ende muss man dann versuchen, ein Preisschild dran zu schreiben und Und mit dem Fachbereich oder mit dem Unternehmen ins Gespräch zu kommen, ob sich das Ganze dann auch wirtschaftlich rechnet. Und ja, wie gesagt, ich glaube, das ist dann gar nicht mehr so Chennai-spezifisch, sondern wie andere IT-Themen eben auch gemacht und bewertet werden. Felix: Ja, okay, also ein klassisches Proof-of-Concept-Business-Case und dann Entscheiden, ob ihr das größer macht oder Florian: genau. Felix: Und habt [00:40:00] ihr dort in den letzten zwei Jahren euch auch andere Kompetenzen noch aufgebaut oder haben sich die Kompetenzen verlagert so in eurem internen IT-Dienstleistungsteam? Florian: Also ich glaube, dass das Thema konkret Gen AI einfach größer geworden ist. Ich glaube, in den ganzen anderen Bereichen waren wir zuvor schon relativ gut aufgestellt. Aber Aber das ganze Thema Gen-AI, vor allem eher die textlastigen Use Cases, LLMs, dann auch die ganzen, ja, ich sag mal, Image Generation Use Cases da wurde einfach, ja, Know-How, also auch technisches Know-How aufgebaut, ja. Felix: Wenn wir jetzt mal... die Zukunft gucken. Das machen wir alle besonders gerne. Was sind denn so deine [00:41:00] Thesen bis Ende 2025? Was glaubst du, was passieren wird in der AI-Welt? Florian: Das ist eine schwierige Frage. Also ich glaube zum einen... Auf technischer Sicht, die Modelle werden besser, günstiger und schneller. Und vor allem günstiger und schneller ist, glaube ich, ein relativ großer Hebel. Ich glaube, für viele Use Cases müssen die Modelle gar nicht deutlich besser werden, sondern... Felix: Vielen Florian: muss nicht mehr oder ich glaube, wir müssen an einen Punkt kommen, wo man nicht mehr so sparsam sein muss. Also zum einen, was Zeit und Latenzen angeht aber dann am Ende auch Kosten. Und dann sind schon viele Use Cases oder mehr Use Cases umsetzbar und lösbar. Felix: [00:42:00] Dank. Florian: Wie man sich vielleicht von OpenAI 01 verspricht, also dass ein Modell jetzt auch wirklich im logischen Schließen oder im Reasoning deutlich besser wird. Ob sich da so viel tut, wäre wirklich ein bisschen Glaskugel lesen aber wie gesagt, ich glaube, das ist auch gar nicht Gar nicht für so viele Use Cases nötig. Der andere Punkt ist, wie gesagt, eher so, wie entwickelt sich die Organisation weiter? Und ich glaube, aus meiner Sicht ist der wichtigste Punkt, AI und Gen-AI muss eigentlich in die Prozesse rein. Wie sieht das Ganze konkret aus, weiß ich auch noch nicht. [00:43:00] Aber im Moment ist es, glaube ich, schon noch so, dass da vielleicht Lösungen an Prozesse drangebaut werden und eigentlich muss man eher Prozesse mit Gen-AI denken. Also wo kann ich von vornherein irgendwie bestimmte Schritte automatisieren? Und das können wirklich ganz simple Sachen sein, also wir haben Prozesse, da müssen bestimmte Daten extrahiert werden, Telefonnummern Adressen und solche Tools und solche Funktionalitäten müssen eigentlich in die Prozesse einfach schon mit reingebaut werden und ich glaube, das wird nochmal eine ganz spannende Phase und Auch ganz interessant zu sehen, wie sich das entwickelt, vor allem wenn es ums Tooling geht. Felix: Dank Florian: es entwickelt sich super viel [00:44:00] und es entstehen ganz viele Developer-Tools zum Thema Gen-AI, welche die Anbieter unabhängig sind, von Google, von Microsoft selbst und da ist super viel Bewegung drin, Und ich glaube, das wird einfach spannend, wie sich das ganze Ecosystem entwickelt und wie es da weitergeht. Felix: Ich sehe ja die Halluzination jetzt insbesondere von Anwendungsfällen, wo wir Sprachmodelle verwenden, die Halluzination gerade als den größten Blocker dafür, dass... Gen-AI wirklich in Prozesse reinkommt und End-to-End automatisiert werden kann. Weil auch wenn es 1% oder 0,5% Florian: Dank Felix: Risiko gibt, dass das Ergebnis nicht korrekt ist, der Use-Case nicht scharf gestellt wird, So gesehen.[00:45:00]  Und es gibt ja immer mehr Sachen, wie man drumherum bauen kann und diese 99,x% erreichen kann, was dann trotzdem irgendwie am Ende nicht reicht, weil ein Mensch dann doch nochmal über das Ergebnis drüber schauen muss. Was ist deine Meinung zu den Halluzinationen und glaubst du, dass die sich lösen lassen? Florian: Nein glaube ich nicht. Also ich glaube nicht, dass es Modelle geben wird, die nur faktisch richtige Antworten geben. Und ich finde das eigentlich auch gar nicht schlimm. Also das ist auch so eine Diskussion die immer wieder aufkommt ist, ja die Modelle die sind ja nicht immer zu hundertprozentig richtig. Ja, aber wenn ich jetzt mal an mich denke, ich ja auch nicht. Und trotzdem haben wir es im Unternehmen irgendwie geschafft, dass wenn ich einen Fehler mache, das trotzdem meistens nicht zu irgendeinem riesen Problem führt. Und das ist jetzt im Entwicklungsprozess sowas wie Code-Review. Ich entwickle was, jemand schaut nochmal drüber und sagt, ja, passt oder [00:46:00] Florian, guck lieber nochmal drüber. Und ich glaube, viel wichtiger als zu hoffen und auf technische Lösungen zu hoffen, die Halluzination ausschließen oder hundertprozentig richtige Entscheidungen bieten, ist es eigentlich, die Prozesse so zu bauen, dass es trotzdem funktioniert Und es ist vielleicht am Anfang zu 100% human in the loop. Also es schaut über jedes Ergebnis oder jeden Vorschlag ein Mensch drüber. Aber dann ist es auch so, man bekommt ja dann Vertrauen, dass bestimmte Aufgaben einfach zu 99% richtig sind. Und vielleicht kann ich dann anfangen die zu automatisieren oder den Check wegzulassen Vielleicht habe ich andere, wo ich weiß, die funktionieren nie. Vielleicht kann ich dann was bauen, dass die Entscheidungen einfach nie von einem LLM beantwortet werden, sondern immer [00:47:00] direkt zu einem Menschen durchgeroutet werden. Und das ist eigentlich für mich der Kernpunkt. Also nicht zu hoffen, dass die Modelle plötzlich fehlerfrei sind, sondern davon auszugehen dass es nicht der Fall ist und die Dinge so bauen, dass es trotzdem Nutzen schifftet. Felix: Also, abwarten ist keine Option. Ich habe total viel mitgenommen. Ich zähle es mal kurz auf. Die Use Cases kamen bei euch. Immer mehr auch vor allem durch die Nutzung der Mitarbeitenden und weil ihr AI-Tools einfach offen zur Verfügung gestellt habt. Ihr habt das flankiert durch Schulung für Prompting, wie die Tools funktionieren, habt interne Communities aufgebaut, veranstaltet eine jährliche Konferenz, was dabei geholfen hat, jetzt jeden Monat 7000 Nutzer auf euren OGGPT [00:48:00] und wahrscheinlich auch viele andere Tools zu bringen. Du gehst davon aus, dass die Phase des Rumspielens langsam vorbeigeht und jetzt die harten Use Cases kommen, ihr das bei euch auf jeden Fall sieht und AI und Gen-AI immer stärker in Prozesse reinkommt und auch reinkommen muss. Das wird natürlich einen riesen Effizienzhebel dann auch die Zukunft haben. Die Unternehmen, die das am besten lösen haben wahrscheinlich sehr, sehr große Vorteile. Ihr seht heute schon eine Zeitersparnis von, 30 Minuten bis hin zu 4 Stunden pro Person pro Woche, je nachdem, ob es die Power-User oder durchschnittliche Nutzer sind und dein Take für die Zukunft ist, dass die Modelle immer günstiger, schneller und besser werden, bin ich voll dabei. Ich meine, wenn man sich mal GPT-3 mit GPT-4o Mini vergleicht dann ist das genauso leistungsfähig aber 100 Mal günstiger und das waren nur zwei Jahre erst. Absolut nichts, also voll im [00:49:00] exponentiellen Wachstum drin und damit werden natürlich nochmal viel mehr Use Cases mit der Zeit freigeschalten und das ist eigentlich das Spannende, wenn man jetzt so wie ihr vorne dabei ist und die Organisation ready macht für dieses Thema, die Kompetenzen aufbaut, dann kann man halt in Zukunft auf sämtliche neue Durchbrüche, alles was kommen wird, total schnell und flexibel reagieren und das nutzen. Vielen Dank für deine Einblicke war total spannend. Florian: Dankeschön Hat Spaß gemacht. Felix: Vielen Dank