Herzlich willkommen zum AI-First-Podcast. Heute zu Gast ist Florian Johans. Der Head of Data Science von Freenet und wir haben uns heute als Hauptthema Hyperpersonalisierung vorgenommen, weil Florian und sein Team bei Freenet in dem Bereich schon einiges gemacht und viel Erfahrung gesammelt haben, wo er einiges von teilen möchte, bin aber auch gespannt, wie allgemein das Thema künstliche Intelligenz bei euch aufgehangen ist, gelebt wird und wie ihr darüber nachdenkt Florian vielen Dank, dass du dir die Zeit nimmst und heute dabei bist. Florian: Ja vielen Dank für die Einladung Ich freue mich auf das Gespräch. Felix: Magst du noch mal selbst ein bisschen beschreiben, was ist deine Mission bei der Freenet in der Rolle? Du bist ja auch schon etwas länger in einem Unternehmen und wo steht ihr gerade auf eurer Data- und KI-Reise? Florian: Ja, genau. Ich bin seit über zehn Jahren bei der Freenet und verantworte die Abteilung Data Science im Bereich [00:01:00] Data and Intelligence und unsere Aufgabe ist die Entwicklung von datengetriebenen Geschäftsprozessen, also Prozesse, die wir versuchen durch Algorithmen besser zu machen. Felix: Okay, da steigen wir gleich nochmal ein tiefer ein in ein paar konkrete Cases, dass wir uns darunter was vorstellen können. Ich frage hier immer öfter die Gäste, bevor wir das machen, wie sie selbst eigentlich KI nutzen. Was sind so deine Top-KI-Anwendungsfälle und oder Tools? Florian: Ich mag gute Recommendation-Modelle, es jetzt für Musik oder Einkaufen oder ähnliche Themen. Verwende LLMs sehr gerne, um Prompts zu optimieren, die dann wieder an LLMs gehen, um beispielsweise Erklärungen für Technologie oder Anwendungen zu finden. Das Plausibilisieren und die Konzeption zu Projekten gerade in sehr frühen Stadien und auch die Recherche zu neuen Themen und möglichen Datenquellen. Felix: Cool, [00:02:00] also vor allem das Thema Metaprompting finde ich ja mega spannend, also Prompt zu nutzen, um den bestmöglichen Prompt zu schreiben, den man dann einer KI geben kann. Florian: Ganz genau. Damit habe ich auch wirklich gute Erfahrungen gemacht. Wenn man in einem iterativen Prozess immer wieder versucht, den Prompt zu optimieren, den Input zu kontrollieren zu gucken, ob man wirklich in die Richtung kommt, dann Felix: Vielen Dank. Florian: besser wird. Und man kann da eine Menge beilernen. Das einzige Problem ist sicherlich dass die verschiedenen LLMs sehr unterschiedliche Prompts brauchen, um gute Ergebnisse zu liefern. Felix: Bevor wir jetzt in die einzelnen Cases auch vor allem ins Thema Hyperpersonalisierung einsteigen, das steht ja jetzt im Kern von unserem Gespräch. Wie seid ihr in deinem Team aufgestellt, damit wir so eine Vorstellung haben, mit wie vielen ihr das aufgebaut und umgesetzt? Florian: Zu Beginn meiner Reise bei der Freenet waren wir zwei Personen, die auf dem Thema Data Science gearbeitet haben. [00:03:00] Inzwischen ist es eine Abteilung von 16 Personen, die aufgeteilt auf drei Teams mit unterschiedlichen Schwerpunkten arbeitet. Wir orientieren uns nicht an verschiedener Methodik. heißt, wir teilen nicht zum Beispiel so etwas wie jetzt, LLM ist kein eigenes Team, sondern wir unterscheiden das eher nach verschiedenen Geschäftsbereichen Geschäftsprozessen, die primär unterstützt werden. Also so etwas wie Empfehlungsdienste oder so etwas wie Hyperpersonalisierung tatsächlich. Oder Forecasting, Planungsthemen, genauso dann wie Online-Optimierung, die ganze Werbewelt, Algorithmen, unterscheiden wir das eher. Die Idee ist eigentlich, dass der Methodenbaukasten für die einzelnen Teams identisch ist und wir je nach Use Case versuchen, die beste Methodik zu finden. Nach der alten Idee, einen Hammer kennt, benutzt einen Hammer Felix: Vielen Dank. Florian: ist exakt das, was wir vermeiden wollen, sondern jeder hat den vollen [00:04:00] Toolkasten und nimmt halt das Werkzeug, was am besten funktioniert. Felix: Okay, spannend. Und Hyperpersonalisierung ist ja ein großes Thema, du hast es ja gerade auch nochmal gesagt, auch ein Thema, was in meiner Wahrnehmung, klar, wie natürlich in vielen Bereichen nochmal deutlich Schwung aufgenommen hat in den letzten Jahren, aber es ja auch schon vorher gab, also ich habe auch vorher im Bereich Marketing, Customer Experience Management gearbeitet, da gab es das Thema schon länger mit dabei Allen möglichen Limitationen wie weit man das Ganze treiben kann. Jetzt insbesondere durch generative KI ist ja schon nochmal eine neue, gefühlt so neue Möglichkeiten freigeschalten worden, wie weit man Hyperpersonalisierung treiben kann. ich bisher noch keinen Case so wirklich gesehen, Hyperpersonalisierung tatsächlich dann auch umgesetzt worden ist. Und weil die [00:05:00] dahinterliegenden Daten, die ja benötigt werden, um Hyperpersonalisierung auch wirklich effektiv betreiben zu können, das ist ja dann doch ein bisschen komplexer als irgendwie ganz viel unterschiedlichen Content zu erstellen und in die Welt reinzukommen Raus zu schicken. es ist ja auch nicht nur Content, sondern mehr, was dahinter hängt. So ist gerade so mein und wie ich das beobachte. Was verstehst du denn unter Hyperpersonalisierung? Wie definierst du das oder definiert ihr das bei der Freenet? Florian: Ich sehe es als Gegenentwurf zu dem One-Size-Fits-All oder der Arbeit mit verschiedenen Ansätzen von Personas. Felix: Dank. Florian: Das heißt, der Versuch, entweder eine gute Journey zum Beispiel für alle Kunden zu bauen oder für vorab definierte Kundengruppen eher den Ansatz zu nehmen, man schafft eine Varianz an möglichen [00:06:00] die Kunden in die verschiedenen Gruppen, die sie dann laufen. Aber letztlich ist es ein Matching von einer immer größer werdenden Varianz an Kontakt Das kann mit anonymen Kunden sein, auch dort fallen ja einiges an Informationen an, genauso wie mit Bestandskunden, wo man normalerweise natürlich deutlich mehr Daten zur Verfügung Felix: Vielen Dank. Bedeutet Hyperpersonalisierung schon, dass N gleich 1 ist? Also jeder Kunde unterschiedliches Angebot unterschiedliche Kommunikation, perfekt zugeschaut. Also das ist ja das Endgame. Jeder Kunde bekommt zu jedem Zeitpunkt die und das Angebot und den Content zugeschaut Der in dem Moment zum nächsten Schritt oder zur Konvertierung führt, ich. dann gibt es ja wahrscheinlich Graustufen Kannst mal so [00:07:00] grob irgendwie so ein Gefühl geben, was ich versuche herauszufinden ist, wo ist die Grenze zwischen Personalisierung, was es schon irgendwie super lange gibt, und jetzt der Schritt in die Hyperpersonalisierung rein? Florian: Also Hyperpersonalisierung an der Stelle bedeutet für mich dass es keine Begrenzung gibt, wie viele Varianten es geben kann. Wenn ich von vornherein fünf definierte Personas habe, dann habe ich diese fünf Felix: Und diese Varianten ergeben sich dann auch dynamisch und... Basierend auf dem Kundenverhalten und den AB-Tests. Und das kann quasi fortlaufend neue Varianten erstellen und die Kunden darin geclustert und unterschiedlich bespielt werden. Florian: Ganz genau, ja. Letztlich ist es abhängig davon, wie viele Informationen ich über die Kunden habe und wie viel Varianz auch sinnvoll ist. kann jetzt Kundenkommunikation, kann ich variieren, aber auch das ist natürlich irgendwann endlich. Das Tolle jetzt an generativer KI ist, [00:08:00] dass das Erstellen von Varianten deutlich einfacher geworden ist. Wenn man einem Menschen sagt, erstell mal 30 unterschiedliche Varianten für Betreffzeilen, Dann sind da vielleicht zwei, drei recht kreative Varianten dabei, aber das hört dann auch sehr schnell auf und Rest ist dann eher so ein Abklatsch. ist generative KI deutlich weniger begrenzt und liefert mehr gute Varianten auch wenn man schon ein bisschen Informationen mitgibt, dass es Richtung verschiedene Gruppen gehen könnte und dann ein bisschen Freiraum gibt. Und diese Vielzahl an Varianten die sollte man sicherlich nochmal, sollte sicherlich nochmal ein Mensch drüber schauen, dass das auch im Rahmen des Dass Kommunikationsrichtlinien des Unternehmens entspricht. Felix: Dank. Florian: auf die Kunden loslassen und auf Basis der Rückmeldung aus den AB-Tests schauen, wie score ich meine Kunden, welche Kunden laufen ab dann in welche Kommunikationsstrecken zum [00:09:00] Beispiel. Felix: Mhm, mhm. Florian: Vielen Felix: hattest gerade eben gesagt, bei der Aufstellung eures Teams, nur den Hammer der sucht überall nach Nägeln, wo man mit dem Hammer draufschauen kann. Ich würde dann mal davon ausgehen, dass ihr jetzt nicht mit Hyperpersonalisierung als spannendem Thema gestartet seid und geguckt habt, was kann man denn damit machen, sondern wahrscheinlich von einem Businessproblem oder Businessziel hergekommen seid. Was ist das in eurem Fall? Florian: Die große Herausforderung die wir haben, ist, dass wir eine sehr viel größere Auswahl an Tarifen im Bereich Mobilfunk haben, als es jetzt unsere Mitbewerber haben. Das hat mit unseren Einkaufsmodalitäten zu tun. Und jetzt habe ich zwei Möglichkeiten, diese [00:10:00] Herausforderung zu betrachten Ich kann es als großes Problem sehen. Ich habe hier zu viel Komplexität. Ich kürze das Ganze und streiche ein paar Produktvarianten wir sehen das als Felix: Vielen Dank. Florian: mehr auf den individuellen Kunden passende Angebote. Haben dann natürlich die Herausforderung, dass wir die richtigen Angebote für die Kunden finden müssen und dass wir sie dann auch entsprechend erklären und kommunizieren müssen. Wenn ich drei Tarife Felix: Vielen Dank Ja und auch aus Kundenperspektive, also wenn ich nach einem neuen Mobilfunkvertrag suche und auf Webseiten gehe, wo ich 25 unterschiedliche Bundles habe mit verschiedenen und Geschwindigkeiten und so [00:11:00] weiter, dann ist für mich ja aus Kundensicht auch total schwer zu entscheiden, was da jetzt eigentlich das Richtige für mich ist. Florian: Genau, und das ist ein guter Ansatzpunkt für Hyperpersonalisierung. Es geht letztlich für uns als Unternehmen darum, richtige Angebot für den richtigen Kunden zu finden, den richtigen Tarif. Aber man kann das Ganze weiterführen und sagen, ich passe auch die Kommunikation an. Ich erkläre den Tarif zum Beispiel anders, gibt einfach Fachbegriffe, die sind für manche Kunden gang und gäbe und für andere klingen die eher, sind die erklärungsbedürftig. Und da muss ich dann vielleicht eine einfachere Sprache wählen und gucken, dass ich den Kunden an der Stelle auch nicht überfordere. Und ich muss für unterschiedliche Kunden unterschiedliche Merkmale des Tarifs in den Felix: Dank. Florian: und dann im Rahmen der Kommunikation individualisieren. Felix: Wenn ich jetzt Kunde bin, [00:12:00] wo Wo verändert sich denn etwas in meiner Kundenreise durch die Hyperpersonalisierung? Ist das im CRM, also wenn ich ein Newsletter oder eine andere Kommunikation von euch bekomme? Ist das, wenn ich auf die Website gehe, was sind so die größten wichtigsten Events, wo dann die Hyperpersonalisierung auch kommt Konkret anfängt zu greifen und ich etwas ganz anderes bei Freenet sehe, was besser zu meinen Daten, zu meinem Verhalten passt als zu anderen Kunden. Florian: Also wir befinden uns bei vielen Themen auch noch am Anfang der Journey. Wichtig ist vor allen Dingen, wir arbeiten vor allen Dingen mit den Bestandskunden, dort die kennen wir natürlich besser, da haben wir deutlich mehr Informationen, dort sind es dann, Die Auswahl von Tarifen, die wir im Rahmen von einer Vertragsverlängerung empfehlen, genauso wie beispielsweise auch Cross-Selling, dass wir zusätzliche Angebote dem Kunden machen über Produkte das ist individualisiert, auf [00:13:00] welche Produkte wird der Kunde angesprochen. Genauso experimentieren wir auch mit Felix: Vielen Dank. Florian: was ich gesagt habe, Richtung Betreffzeilen, auch die Individualisierung von Inhalten, was mit generativer KI wirklich sehr schön weiterentwickelt werden kann und womit man Varianz für AB-Tests schaffen kann in einem automatisierten Setting. Felix: ihr da vor allem text personalisierung oder seid ihr auch schon in den bildwelten unterwegs Florian: Also mit Bildwelten haben wir experimentiert. Wir fokussieren uns erstmal auf den Text. Aber die große Vision geht natürlich deutlich weiter. Felix: Es wäre wahrscheinlich schon so, dass jeder Kunde wirklich so fast schon perfekt zugeschnittene Landingpage angezeigt bekommt, die irgendwie auf die eigenen Präferenzen passt und die Conversion Wahrscheinlichkeit maximal steigert. Aber eben auch [00:14:00] ganz... Florian: Da sind wir noch nicht ganz, aber... Felix: Ja, genau, aber das ist ja spannender, aber genau, ich meine, wenn wir hier auch Bilder generieren für uns und für unsere Kunden, ist das nochmal ein ganz anderes Game, als wenn ich jetzt eine Betreffzeile oder einen Textabsatz generiere, weil es so viele unterschiedliche Parameter gibt, die so viel schwieriger zu kontrollieren sind, wie ich finde und wir stellen halt auch auf, Auch oft dutzende Bilder, wo wir dann eines von auswählen und wenn das automatisiert laufen soll, dann ist es halt knifflig aber gib Bescheid wenn ihr es gelöst habt. Florian: Wir haben alle die Bilder mit sechs Fingern gesehen mit Händen mit sechs Fingern gesehen und wissen, welche Risiken da bestehen. Felix: Ja, die willst du nicht auf der Webseite haben. Okay, du hattest jetzt schon öfter mal das [00:15:00] A-B-Testing-Framework angesprochen. Kannst uns da ein paar Einblicke geben, wie ihr dann die verschiedenen Varianten testet und euch für eine entscheidet? Florian: Ja, also der Kern ist die Stratifizierung von Kundengruppen Das heißt, wir versuchen, strukturgleiche Kundengruppen herzustellen. Im Rahmen unseres AB-Testings Das heißt, wir machen keine zufällige Auswahl von Kunden, sondern wir sorgen dafür, dass bestimmte Merkmale von denen wir wissen, dass die sehr, sehr wichtig sind in der Selektion von Felix: Vielen Dank. Florian: wir die strukturgleich herstellen und den AB-Test dementsprechend auf zwei nahezu identische Kundengruppen ausrichten. Und dann ist es, der große Schlüssel ist natürlich, einen guten Feedback-Loop zu haben, zu wissen, auf was man optimiert und eine möglichst komplette Strecke hat von, ich weiß, worauf ich modelliert habe und [00:16:00] ich weiß, welche Kunden wie darauf reagiert haben. Und das war, um ehrlich zu sein, auch die größte Herausforderung mit der wir angefangen haben, dieses AB-Setting aufzubauen. meinen Augen ist das der erste Schritt in die Hyperpersonalisierung, weil es die absolute Grundlage ist. Felix: Also gar nicht hinten die Generierung, das ist dann noch das Glitzer, was ich draufsteuern kann oder die reine Umsetzung, aber alles, was da vorkommt, ist die Grundlage dafür deutlich wichtiger. Florian: Ansonsten kann ich so viel individualisieren, wie ich will. Ich weiß halt nicht, ob es funktioniert. Felix: Du hast dann mit der Sprutflinte in den Wald schießen und gucken, hoffen dass irgendetwas trifft. Florian: Das ist ein schönes Bild, ja. Aber ich sehe ja noch nicht mal, ob ich getroffen habe, indem ich nicht weiß, was eine vergleichbare Gruppe oder wie ein vergleichbarer, eine andere Schrotflinte geschossen hätte, beispielsweise das, oder ein anderer Schütze. Felix: Ja, ja, ja. [00:17:00] die wichtigste grundstein ist ja jetzt schon mal dass ihr eure Kunden möglichst gut kennt und möglichst viele Datenpunkte habt. Das erlebe ich auch ganz viel in anderen Unternehmen. ihr seid, euch gibt es ja auch schon ein bisschen länger. Ihr habt ja auch eine gewisse Legacy. Ich kann mir vorstellen, dass du vor zehn Jahren keine perfekte Dateninfrastruktur und wunderbar verheiratete Systeme und 360-Grad-Kundenblick vorgefunden hast. Was habt ihr denn da? Über die Jahre verändert, um überhaupt diese Datengrundlage zu schaffen und heute in der Position zu sein, wo ihr immer besser mit diesen Daten arbeiten könnt, um Kunden bessere Angebote zu machen. Florian: Ich hatte schon das Glück, dass wir eine sehr gute Grundlage an Daten hatten. Die größte Lücke, von der ich sprechen würde, ist, wir beispielsweise jetzt, wenn wir Dinge modellieren wollen, häufig Informationen brauchen, nicht, was hat ein Kunde gemacht [00:18:00] Getan, zum Beispiel was hat er gekauft, sondern dass so eine Frage, wie viele Kunden haben das erlebt oder haben das gesehen, dass solche Informationen nicht vollständig da waren. bei wie vielen Kunden wurde etwas ausgelöst, aber es gab keine Reaktion. Datensparsamkeit in IT-Systemen ist ein hohes Gut, das habe ich auch lernen müssen. Als Data Scientist ist das eher ein Problem. Wir wollen halt möglichst das absolute Maximum an Felix: Und was habt ihr angepasst? Welche konkreten Maßnahmen habt ihr ergriffen um die Datenbasis dann zu vergrößern? Florian: haben bei vielen Systemen geschaut welche Informationen grundsätzlich gelockt werden und in Absprache mit dem Datenschutz auch genutzt werden können und haben die letztlich in unsere Systeme integriert Um damit so, ich sage mal, weichere Parameter zu haben, weichere Daten an den Kunden, die jetzt über einen Kunde X hat Y gekauft [00:19:00] hinausgehen. Felix: Okay. Und du hattest auch gesagt, dass ihr auch mit anonymen Kunden arbeiten können. Kannst du das nochmal kurz erklären? Was kann ich mir darunter vorstellen? Florian: Grundsätzlich bringt auch ein anonymer Kunde sehr viele Informationen mit, das fängt schon damit an, zu welcher Uhrzeit und an welchem Wochentag er sich auf die Webseite zum Beispiel begibt. Und dann gibt es natürlich immer noch Informationen rund um den Geräteheader und so weiter und so fort. Und sofern eine Einwilligung dazu besteht, kann man auf Basis dieser Informationen auch eine Modellierung durchführen, sei es eine geografische Zuordnung. Oder eine Zuordnung zu gewissen technischen Mitteln, die der Kunde nutzt. Und das differenziert Kunden stark. Und letztlich was wir dann immer gucken, ist, wenn ich jetzt hier unterschiedliche Kundengruppen habe, verhalten die sich dann anschließend auch unterschiedlich. [00:20:00] Wenn das der Fall ist, dann habe ich sehr gute Chancen auf Basis von individualisierten Aspekten der Journey, Auch letztlich mein Ziel, sei es jetzt einen besseren Service zu liefern oder mehr Produkte zu verkaufen oder höherwertige Produkte zu verkaufen, mein Ziel zu erreichen. Felix: Also auch hier wird ein Segment definiert, es werden bestimmte Inhalte ausgespielt, der AB-Test findet statt, es gibt den Feedback-Loop und dann darauf optimiert ihr weiter. Florian: Genau, also man könnte natürlich auch ganz einfache Regeln machen, wie dass jemand, der mit einem Safari-Browser auf die Webseite kommt, halt prima Apple-Geräte vorgeschlagen bekommt. Das ist sicherlich die Die Felix: Ja okay. Florian: Regel fassen könnte, so kann man sicherlich anfangen, aber wenn es dann komplizierter wird, dann bin ich immer in irgendwelchen Scoring-Verfahren. Felix Schlenther: Kurz in eigener Sache. Wenn dir der AI First Podcast gefällt und du mehr spannende Inhalte und [00:21:00] hochkarätige Gäste hören möchtest, dann freue ich mich über deine Unterstützung. Mit einer Fünf-Sterne-Bewertung und einem Abo für den Podcast hilfst du uns sichtbarer zu werden und AI First weiterzuentwickeln. Für dich und die gesamte Community. Ich danke dir. Felix: Welche Erfahrungen habt ihr dann mit den LLMs Da habt ihr ja sicherlich auch total viel getestet welche ihr dort nutzt, wie ihr... Die Prompts dahinter aufbaut, ob ihr so Multi-Step-Workflows macht, nutzt ihr da Agenten Also da würde ich gerne nochmal verstehen, wie dann die Generierung erfolgt und welche Erfahrungen ihr da im Umgang mit den LLMs gesammelt habt, weil sich das ja auch einfach super dynamisch entwickelt Entwickelt. hier, ja, auch kennst du von mir und von meinen Kunden immer wieder am Testen das LLM, was wir da unter der Haube nutzen, noch immer das Beste ist oder immer wieder am Vergleichen ob wir bessere [00:22:00] Ergebnisse mit einem anderen Modell, was neu rausgekommen ist erzielen können. Wie macht ihr das? Florian: Wir haben natürlich die Herausforderung dass wir sicherstellen müssen, dass diese Modelle Daten, die wir dort reinfüttern auch wirklich nur in unserem Kontext benutzt und nicht zum Beispiel zum Nachtrainieren verwendet oder ähnliche Dinge Deswegen sind wir etwas eingeschränkt in der Art und Weise, wie wir Modelle benutzen können. wir aber tun, ist, wir benutzen sie natürlich. Felix: Vielen Dank. Florian: ist im Bereich Data Science als Unterstützung im Coding, in der Entwicklung, ganz klar. schaffen damit Varianz für A-B-Tests, dass wir sagen, wir wollen zusätzliche Textvarianten schaffen, die man vertesten kann. Dass das nicht alles auf Basis von einem einzigen Entwickler Auf Basis der Ideen eines einzelnen Entwicklers besteht. Genauso verwenden wir es in Projekten wo wir den Kundenservice anbieten [00:23:00] unterstützen wollen und nach vorn heraus auch automatisieren wollen. Das ist eine sehr, sehr große Herausforderung. Wir wissen das alle, wenn generative KI auf Kunden losgelassen wird, dann möchte man sicher sein, dass die Qualität sehr, sehr sehr groß ist. Insofern ist das eher so ein Thema, wo ich sage, das ist ein perspektivisches Thema, wo wir in ein, zwei Jahren deutlich weiter sein werden. An dem man aber jetzt schon gut arbeiten kann. Die Qualität ist inzwischen wirklich hervorragend und es gibt tolle Frameworks, in denen man auch gerade Kundenservice entwickeln kann. Felix: Was nutzt ihr da? Florian: Ich finde zum Beispiel Pipecat wahnsinnig interessant. Felix: Mhm. Kannst kurz erklären, was das ist? Höre ich jetzt zum ersten Mal. Florian: das ist letztlich ein ja, Framework ist, glaube ich die beste Bezeichnung dafür, wo ich über APIs verschiedene Sprachmodelle ranhängen kann und das letztlich wie eine Kundenservice-Pipeline aufbauen kann, [00:24:00] die dann, sei es Chatbots, Sprachbots oder auch so etwas wie E-Mail-Antworten generieren kann und sich in Kundenservice-Prozesse einbinden lässt. Felix: Okay, und dann kommen Anfragen rein, die werden irgendwie klassifiziert und dann weitergeleitet und dann wird geschaut je nach Klasse gibt es dann wahrscheinlich irgendwelche Antwortvorlagen oder Datenbanken oder Vorgänge, wie man darauf reagieren soll und dann können darauf Antwortvorschläge generiert werden. Florian: ist ja letztlich, dass ich ja noch so gerade am Anfang der Entwicklung noch so ein Human in the Loop brauche Ich muss ja letztlich noch einen Mitarbeiter haben, der gerade am Anfang über die Antworten schaut, sie bewertet um auch ein selbstlernendes System zu kreieren, um nach vorne raus sicher zu sein, dass automatisch nicht nur generierte, sondern auch verschickte Antworten auch korrekt sind.[00:25:00] Ich glaube, was man bei diesen Projekten häufiger hört derzeit ist, dass Im ersten Schritt eigentlich sogar mehr Aufwände entstehen und die Agenten langsam arbeiten Felix: Vielen Florian: teilweise schneller direkt geantwortet hätten, als es dann in diesem Prozess passiert. Aber das ist halt nur ein Zwischenschritt bis man in dieser wirklich annähernd automatisierten Welt ist. Felix: Ja, ich glaube, das lernen alle. Und ich meine, das kennt man ja auch aus anderen Digitalisierungsprojekten Der Aufwand geht erstmal hoch, bevor er dann runtergehen kann. Der Lärm im KI-Markt ist nur so laut geworden Und mit so viel Marketing-Budget beworfen ... man annehmen könnte. Man stöpselt da jetzt irgendwie ein paar Systeme zusammen, packt eine KI dazwischen und die macht dann die Arbeit, ... ... was ja ein völliger Trugschluss ist. Gerade auch [00:26:00] im Kundenservice gibt es ja auch Beispiele ... ... Clanern, die da sehr früh sehr laut waren, ... ... ich auch dachte, das müssen die doch eigentlich ... ... super hinbekommen, weil das ja ... Relativ simple Anfragen sein müssten, die ja trotzdem vieles wieder zurückgerollt haben und wieder mehr auf menschliche Agenten auch setzen und anscheinend doch nicht so die Effizienzgewinne realisiert bekommen haben, wie sie das am Anfang vermutet haben. Eben genau, was du ja auch beschrieben hast, immer wenn wir extern kommunizieren wollen, sind wir natürlich auch haftbar für die Antworten und die Guardrails den LLMs zu geben, was jetzt wirklich wie beantwortet werden darf und was nicht, das Ist auch so infrastrukturell finde ich oft noch gar nicht so gut gelöst und das entwickelt sich einfach jetzt gerade alles und da werden wir in wenigen Jahren natürlich schon ganz woanders stehen, aber ich sehe das auch in Kundenservice-Use-Cases, dass ganz oft und ganz viel noch mit Human in the Loop gearbeitet wird und Antwortvorschläge generiert werden, die aber immer nochmal von den Menschen geprüft werden [00:27:00] und dann kann man sukzessive schauen, was sind eigentlich stabile, Anwendungsfälle und die dann auch durchautomatisieren. Aber das ist halt eher eine Evolution als eine Revolution, finde ich Florian: Auch hier beginnt das ja wieder mit anforderungen an so ein projekt beispielsweise an einen gut gepflegte wissensdatenbank ich muss ja letztlich ein single point of truth haben in dem die wahrheit über oder die möglichen antworten für service anfragen Und da hilft es mir Felix: Vielen Dank. Florian: das abgreifen kann, gerade wenn wir jetzt Richtung Sprachbots denken, in extrem optimierter Latenz eine Form von Vektordatenbank. ist auch technisch eine Felix: Dank Florian: Und ich [00:28:00] das ist schon das erste wirklich große Problem. Ich muss das erst mal schaffen, ein wirklich gut kuratiertes Wissen über die Serviceanfragen zu haben. Felix: genau. Und daher auch wissen, was sich nicht widerspricht was sich nicht doppelt was hierarchisch richtig strukturiert ist und so weiter. Also wenn man da wirklich mal rein Florian: Vielen Felix: dieser Vektordatenbank die genau richtigen Informationen auch extrahiert und weitergegeben werden an das LLM. Im richtigen Umfang und so weiter. Das merkt man aber dann, wenn man da wirklich einfach tiefer reinsteigt. Das ist halt nicht so ein paar PDF-Dokumente irgendwo hochladen und dann Und dann läuft das, sondern um so einen Use Case von einem Piloten, wo man einmal auf Knopf drückt und irgendwie eine Frage stellt und da kommt irgendwas halbwegs Sinnvolles raus, man denkt ja, cool, das ist ja mega und an einer skalierten Produktivanwendung da liegen einfach noch Welten dazwischen. Florian: [00:29:00] Jeder stellt sich das sehr einfach vor, neues Wissen in so ein Modell zu geben, das geht auch. Viel problematischer ist allein schon der Moment zu sagen, ich habe Wissen was abgelaufen Ich muss halt auch wieder Wissen aus so einer Felix: Ja ja. Florian: Das heißt, ich muss auch eine gut historisierte Wissensdatenbank haben. Felix: Wie löst ihr sowas? Habt ihr da schon Automatismen bei euch mit eingebaut? Florian: Das ist eine sehr große Frage. An dem Thema arbeiten wir noch. Felix: Alles klar, wir sind jetzt... Jetzt sind wir schon so bisschen in den Customer Support abgedriftet. Hyperpersonalisierung, also was ich jetzt verstanden habe, ist, dass ihr Hyperpersonalisierung natürlich auf der Website nutzt um den Kunden das richtige Angebot den richtigen [00:30:00] Vertrag das richtige Bundle zur richtigen Zeit anzubieten Gleichzeitig aber auch in eurer Marketingkommunikation, insbesondere auf Textebene Ihr habt dort über die Zeit eine immer bessere Datenbasis aufgebaut, um eure Kunden immer besser zu verstehen, auch insbesondere, wie sich verschiedene Segmente verhalten und habt dann ein A-B-Testing-Framework Wo ihr dann verschiedene Varianten ausspielen könnt und einen Feedback-Loop habt, womit die Ergebnisse wieder zurückgespielt werden und in eine Art Scoring einfließen, um dieses System immer weiter zu optimieren. Am Ende die reine generative Komponente dessen nämlich die Texte am Ende zu erstellen, das ist dann nur noch so eine letzte kleine Spitze des Eisbergs in diesem ganzen Konstrukt. habe noch mal eine Frage an dich in dem Kontext. Und zwar hat Mark Zuckerberg [00:31:00] schon ein paar Monate her in so einem Podcast oder Interview gesagt, dass Also sinngemäß dass er eigentlich jetzt alle Marketingagenturen ablösen will, weil Meta am Ende die Produktion von Content Assets, die für die Anbieter dann den Traffic auf ihre Angebote bringen und konvertieren, selbst übernehmen wird. Also ich stelle mir das so vor, man promptet halt nur noch, erstelle ein Video... Was auf Instagram ausgespielt wird und hier ist irgendwie unser Produkt, was dort dargestellt werden soll, was mir 100.000 Dollar Umsatz bringen wird. Und dann im Hintergrund eine Maschine aufgebaut wird aus Erstellung von dem Video, Erstellung von dem Skript was dort gesprochen wird, wie irgendwie ein Avatar, dieses Video Produkt in der Hand hält und dann dieses [00:32:00] Asset ausgespielt wird an einen kleinen Teil an Instagram User, getestet wird, wie gut das funktioniert und sich dynamisch immer weiter selbst optimiert. Also der Text wird angepasst die Stimme wird angepasst, der visuelle Inhalt wird angepasst bis die Conversion Rate irgendwann so hoch ist, dass mit dem eingesetzten Ad-Budget am Ende auch der Umsatz erzielt werden kann. Und das ist Ich fand das natürlich sehr, sehr abgefahren aber irgendwie glaube ich auch daran, dass wir irgendwie dahin laufen, wenn ich mir jetzt anschaue wie gut sämtliche Modelle oder wie viel besser sämtliche Modelle werden in der Generierung von Inhalten in allen Farben und Formen könnte ich mir das schon vorstellen, aber ich meine, du bist ja jetzt auch ein bisschen tiefer in dem Thema drin, wie denkst du darüber nach? Florian: Der Schlüssel wird glaube ich sein, dass man dann wiederum Weitere generative KI hat, die überprüft wie gut [00:33:00] das Resultat ist und ob ich das im Rahmen meiner Firmenkommunikation so auch veröffentlichen möchte. Also, jetzt die Hand sechs Finger hat, das Thema hatten wir ja schon, ist dann eher der harmloseste Fall. Aber ich möchte natürlich ganz, ganz sicher gehen, dass... Die Bildsprache, es in politischer oder von mir aus auch Political Correctness-Sicht so ist, wie meine Firma kommunizieren möchte. Und wenn etwas automatisiert massenhaft produziert, kann das irgendwann kein Mensch mehr überprüfen, vor allem nicht in guter Qualität. Das heißt, ich bin darauf angewiesen, dass das dann auch durch Maschinen letztlich erfolgt. Das heißt, dass sich letztlich diese Modelle dann gegenseitig kontrollieren und sicherstellen, dass der Content, der Felix: Ja. Florian: [00:34:00] Also eine technische Lösung letztlich für das Problem. Felix: Ja, macht natürlich Sinn, weil ich will ja nicht, dass auch das erste noch unoptimierte Asset was dann mal so als erster Test rausgeht, dass das schon irgendwelche Aussagen enthält oder auf der visuellen Ebene irgendwas passiert, was komplett gegen Markenrichtlinien verstößt oder ich meine solche Dinge, insbesondere von großen Marken können ja auch schnell schon zu Shitstorms führen. Florian: Vielen Felix: das an eine andere KI übergibt, sich so ein Fehler auch schnell mal einfach durchziehen kann und Und gerade so Agents da kann man das immer ganz schön beobachten, wenn die einmal in so einem Loop drin sind, dann kommen die da irgendwann selbst nicht mehr raus, [00:35:00] um sich wieder selbst zu korrigieren und dann muss eigentlich ein Mensch eingreifen. Florian: Ich denke ja, das beschreibt das wirklich gut. Wir sehen ja schon, dass die Kosten für generative KI deutlich sinkt und ich glaube, es ist dann relativ einfach möglich, einfach zusätzliche Modelle zu haben, die eine Qualitätssicherung betreiben in Letztens dann. Felix: Ja. Okay. spannend. glaube, da wird uns noch so einiges Ich bin gespannt, wie sich das auf uns als Konsumenten dann auch auswirken wird. Florian: ZDF, Felix: spannend, wirklich mal aus Unternehmen ein bisschen zu hören, was macht ihr noch? Wir haben jetzt über Hyperpersonalisierung gesprochen, wir haben über den Support gesprochen. Was sind noch so Anwendungsfälle, die ihr in den letzten Jahren umgesetzt habt, [00:36:00] die euch auch tatsächlich einen Mehrwert bringen? Florian: Also ein Aspekt der Foundation-Models die ja letztlich die Grundlage sind für die generative KI, die wir derzeit sehen, ist, dass es erste Foundation-Modelle gibt, die auch wahnsinnig gut tabulare Daten verarbeiten können, beispielsweise für Forecasting-Cases. Das ist für uns sehr, sehr wichtig. Wir wollen die nächsten ein, zwei oder bis hin zu fünf Jahre des Geschäfts gut vorhersehen können. Auch weil wir weitreichende Vereinbarungen haben und abschätzen müssen, wie gut sind wir dabei, diese einzuhalten, wann müssen wir reagieren. Und das ist, glaube ich so ein Aspekt der derzeit sehr unterschätzt wird, weil da findet schon gerade eine Revolution statt. Foundation Model im Forecasting, TAP-PFN ist so eins, was mir dabei einfällt. [00:37:00] Das hat definitiv das Potenzial die Art und Weise, wie Unternehmen Forecasting betreiben, zu revolutionieren. Auch gerade wenn nicht so viele Daten vorhanden sind, die Daten etwas kleiner sind und daran arbeiten wir so etwas zu integrieren in unsere Geschäftsprozesse. Das ist wirklich ein schönes Thema. Felix: Noch einmal ganz kurz erklären, was das Modell dann genau macht in dem Prozess. Welche Aufgabe übernimmt das? Florian: Geschäftszahlen für die Zukunft vorherzusagen in letzter Instanz. Und das arbeitet genauso, wie man das auch von den anderen Foundation Models kennt. Das sind halt Modelle, die mit Massivdaten vortrainiert wurden. Felix: Aber brauchen die nicht dann eure spezifischen historischen Geschäftsdaten? Also übernehmen die die Aufgabe, was vorher Machine Learning Entwickler übernehmen Übernommen haben, um Modelle einzustellen, Merkmale zu extrahieren und so weiter, um am Ende und immer wieder zu [00:38:00] prüfen wie akkurat waren jetzt die Vorhersagen und das Modell und die Berechnungen weiter zu optimieren. Macht es das? Florian: Du musst schon deine eigenen Daten dann noch diesen Modellen zur Verfügung stellen und Felix: Ja. Florian: Parameter, an denen du das Ganze optimieren kannst. Aber letztlich vieles beispielsweise Saisonalität oder wie sich bestimmte Trends fortsetzen, das ist ja auch allgemeingültig gerade auch im Unternehmensumfeld. Und das greifen diese, also ich war auch überrascht als ich die ersten Ergebnisse gesehen habe, aber ich muss sagen, ich kann den Hype der so ein bisschen gerade um dieses Thema entsteht, kann ich nachvollziehen Das ist wirklich ein sehr, sehr spannendes Thema. Felix: Ja, okay. spannend. Werde ich mir auf jeden Fall anschauen Danke. Gibt es noch andere Anwendungsfälle? Irgendwas was ihr euch gerade anschaut, was du teilen kannst oder möchtest Florian: in der Telefonie? Felix: Mhm.[00:39:00] Florian: Dass die Vermarktung korrekt abgelaufen ist, dass die Kommunikation korrekt war, dass alles gut verstanden werden konnte, beispielsweise auch so etwas wie ein Preis und dass die Zustimmung, die der Kunde gegeben hat, nachvollziehbar sind. Und so etwas konnte man früher nur stichprobenartig machen. Und da wollen wir in einem deutlich größeren Maße sicherstellen, dass die Vermarktung korrekt funktioniert Korrekt läuft und für den Kunden zu jedem Zeitpunkt nachvollziehbar. Und das können wir tatsächlich auch unterstützen. Auch da haben letztlich generative KI einen großen Beitrag geleistet indem die Transkriptionsalgorithmen deutlich besser geworden sind, die auch auf Fontation-Modellen basieren. Früher gab es klar auf Basis der Cloud-Anbieter, Transkriptions-Services, [00:40:00] die waren nicht so gut wie sie heute sind und recht teuer. Felix: Dank Florian: wenn man GPUs selber betreibt, dann ist der Preis, den man heute auf Basis von den Open-Source-Foundation-Modellen Felix: Vielen Dank. Florian: sehr viel geringer Felix: Sehr spannend. Vielen Dank, Florian, dass du uns mal so durch eure Anwendungsfälle und vor allem durch das Thema Hyperpersonalisierung geführt hast. Ich glaube, das hat mal ein bisschen Klarheit in dieses Buzzword gebracht, was das denn jetzt eigentlich heißt, was man damit machen kann und auch wie man am Ende zu Ergebnissen kommt. Abschließend Dann würde ich gerne noch von dir wissen, was sind denn gerade, wenn du dir jetzt so die Entwicklungen im KI-Markt anschaust, was sind da so Themen, die du dir gerade genauer anschaust? Eins hast du uns gerade schon mitgegeben mit dem Modell was [00:41:00] Tabellendaten gut verarbeiten kann, um Forecasts zu verbessern. Gibt es noch andere Themen, die du dir genauer anschaust, weil du glaubst, dass sie für euer Unternehmen super relevant werden in naher Zukunft? Florian: Also wo wir immer wieder drauf schauen, ist KI zu benutzen, um unstrukturierte Daten zu verstehen. Also ich komme noch aus einer Zeit, Wo gerade das Verarbeiten von unstrukturierten Daten eine sehr große Herausforderung war. Das ging dann los mit den Big-Data-Applikationen rund um Hadoop Map-and-Reduce-Jobs-Schreiben. Und viele unstrukturierte Daten sind Felix: Dank. Florian: Generative KI kann sehr gut Freitexte verstehen, kann sie klassifizieren und kann mir beispielsweise Inputs generieren, die ich dann wiederum in [00:42:00] klassische Machine Learning Modelle Füttern kann. Und so kann ich auf einmal Datenquellen nutzen, auch in der klassischen Modellierung, die ich vorher nicht nutzen konnte. Einfach weil ich niemanden dazu nötigen wollte, so viele Texte zu lesen und vorzuklassifizieren zu verarbeiten oder auf Basis von relativ weichen Faktoren zu bewerten. Felix: Also glaube ich auch noch total unterschätzt und eine der ganz, ganz großen Stärken von LLMs. Vielen Dank, Florian, für deine Zeit. Danke, dass du uns einmal durchgeführt hast durch alles, was ihr im Data- und AI-Bereich schon bei Freenet machst. Ich wünsche euch da auf jeden Fall auch weiterhin viel Erfolg, würde gerne auch mit dir mal ein Update beitragen Machen, wie ihr da weiter vorankommt, weil ich denke, das sind total relevante Themen und Fragen, die gerade ganz viele Unternehmen beschäftigen und immer wieder schön zu hören, wenn es da einige gibt, die tatsächlich schon [00:43:00] auch gute Fortschritte gemacht haben und die Früchte aus der Arbeit ernten können. Ich danke dir. Florian: Ich danke dir. Das war ein spannendes Gespräch.