[00:00:00]  Felix: Willkommen bei dem AI-First-Podcast, dieses Mal in Englisch. Heute habe ich Mathieu Bastian von GetYourGuide als Gast. Und Mathieu ist nicht einer der Und AI-Experten, die in den letzten zwei Jahren aufgewachsen Aber er hat eine wirklich in-depth-Erfahrung im Daten- und AI-Bereich seit vielen, vielen Jahren. Und jetzt leitet er die AI-Produktivität-Initiative bei GetYourGuide und wird seine Lernungen auf dieser Reise mit uns teilen Ich bin super gespannt, was ich darüber lernen kann. Und Mathieu, danke für deine Zeit. Mathieu: Felix, thanks for having me. Felix: Für diejenigen, die nicht wissen, was Get Your Guide tut, können Sie uns ein bisschen mehr Details über die Firma geben wie groß Sie sind, was Sie tun und auch, was Ihre Rolle aktuell ist. Mathieu: perfekt. So, in case you don't know, GetYourGuide is the leader in the tours and activities business. So, when you travel [00:01:00] and you're looking for something to do, you can come to GetYourGuide or app or website and find all kinds of things from museums to day trips, etc. The company is based in Berlin, so we have actually a large office in the city, 700 to 1,000 people worldwide, also around the world in what we call local offices. So it's a scale-up. Based in Berlin, we also have a team in Switzerland, where the company was originally founded. I am leading the AI Productivity Initiative, but I am not new to Get Your Guide. I have been doing data science for the last eight years, so I started there as a director leading the analytics, data science, machine learning. So it's not new to Get Your Guide, doing AI. Gen AI, of course, is new to everyone. And we are also doing that. I've been leading that data products team for [00:02:00] many, many years. And more recently, as you said, I focused purely on more the internal topics, supporting our staff to become kind of more efficient, more productive. And that's kind of what we're going to talk about today, I hope. Felix: Nice. What was the starting point when you also shifted your role and your focus to the internal staff support and how you can leverage AI for improving the Die Produktivität, weil, wie du gesagt hast, Radio Guide ist die erste digitale Firma, das ist das DNA des Geschäfts. AI ist nichts Neues. Du hast schon mit Daten und AI gearbeitet in deinen Produkten und Services. Ich würde mir vorstellen, wie der Schiff in die interne Perspektive Mathieu: denke, es ist mehr eine persönliche Geschichte. Ich bin seit aufgeregt daran. When I started with data science in around 2010, it was [00:03:00] less structured. It was a bit more, you know, people would come to the data science fields from all kinds of academic backgrounds. There was no training for it at the time. And... These early days of GenAI reminded me of that and I invested my time into exploring it, trying things out as a side project, literally, on top of my day job leading the data products team. An einem Punkt wurde das nicht mehr nachhaltig, weil ich Abende, etc. verbringe Wir sind sehr bereit, die Leute an Get Your Guide zu unterstützen das tun, worüber sie wirklich begeistert sind. Wenn es eine Verbindung gibt zu dem, was die Firma will und braucht, ist das eine perfekte Bedingung. So haben wir einen Plan entwickelt um all meine Energie auf dieses Thema Und wir werden sehen, wo es führt. Es könnte eine [00:04:00] temporäre Mission sein es könnte eine permanenten Mission sein. Es gibt keine echte Rolle. Ich habe meine eigene Rolle gegründet so zu sprechen, was immer cool ist. Und wir werden sehen, wo das uns führt. Aber es macht mich hundertprozentig auf Gen-AI konzentriert und das ist wirklich spannend. Felix: Ich denke, das ist eine Frage, die jede Firma jetzt fragt. Wer sollte für das verantwortlich sein? Und ist es ein Side-Thema oder ist es ein Cross-functional kind of team topic and everyone is carrying a part of it or do we need like a separate role or a separate team for it, to whom is this person reporting, what should be the profile of this person, is it more like a technical person or is it more of like a management, organization kind of people role? Cool Mathieu: ich meine, der interessante Parallel ist, dass, als Data Science in [00:05:00] den frühen 2010er Jahren das ist genau die Art von Fragen, die wir uns gestellt haben. Wer sollte Data Science zu Produkten weil sie viel Analyse oder Ingenieurarbeit machen weil sie die Models. So we kind of tried all models over the next couple of years back then and eventually found what the best structure is. I think we are in a similar situation here. Sometimes my role is a solution architect. You know, kind of looking at what exists and advising teams on what may be the best approach. Sometimes my role is about building it, it's you know, AI engineer, so actually building the solution ourselves. Sometimes it's more product management related, so you're more like, okay, what How do we include Gen-AI in our strategy and thinking about this? So it's not boring for sure, but eventually, you know maybe this will become, [00:06:00] you know a similar story as data science will have, you know directorship and, you know, full team dedicated to that. But exactly where it lives, it's very, very case by case to each company, I believe. Felix: So where are you moving from the management role into an individual contributor role or how is it structured? Okay. Okay. And are you reporting then to like the CTO or what is Mathieu: we still have that initiative as part of my former team, Dataproducts. So my peers working on machine learning models, more classic machine learning models, also use Gen-AI. So I think there's also a lot of synergies there as well. So it's a great place. If you already have an AI team, I think that's definitely a great place to be. Felix: When was this initiative starting or when have you seen, [00:07:00] okay, there is some potential here also on the internal side and not only in like providing a better product to our customers? Mathieu: Ja, I think they started in parallel. We obviously have a usage of Gen-AI in our product and we focused a lot on that as well. I think for me, there was this early start when OpenAI allowed you to create an organization. So you basically could sign up people in your company as part of an OpenAI account and somebody had to manage that account. So there was, okay, who accepts those invitations? Who looks at the cost? Who is spending what? So that. Das war eine Bedürfnis, weil es so viel Bedürfnis gab Die Leute waren interessiert, es auszuprobieren. Aber wir wollten natürlich auch ein paar Boundaries haben in Bezug auf Sicherheit und organisatorische [00:08:00] Hygiene. Ich würde sagen, dass jeder in alle Art und Weise geht. Wir wollten ein bisschen Struktur einbringen. Also habe ich das originally als And then took over the transitions to getting more and more professional. In the early stages, it was very much the idea of supporting experimentation. Experimentation is core to our way of working at GetYourGuide, via IP-Testing, but not only. Die Möglichkeit, alle in der Firma Chat probieren war essentiell und gab auch das Momentum. Ich denke, in den frühen Tagen hatten wir Hunderten von Leuten, die sich Getting signed up to this OpenAI account and some were doing [00:09:00] it programmatically via APIs to try out product ideas. We have this internal hackathon every two months, so that's a Das guter Ort, um zu starten. Andere haben es an ihrem Tag zu Tag versucht. Und als wir mit diesen Leuten gesprochen war es ewig, dass sie viel Wert daraus bekommen. Es gab also klaren Pattern von Champions. Und diese Champions machten in beeindruckende Dinge. Und das hat mich inspiriert, weiter in diese Richtung Felix: How long was that time frame of like, let's call it a structured experimentation? Mathieu: Ich würde sagen 6 Monate, es war von Anfang an, als OpenAI diese Art von Accounts [00:10:00] erlaubt es gab noch nie einen GPT-4. So it was somewhere in maybe February 2023, around that time frame, yeah. Felix: Es klingt so, als es sehr natürlich geändert, also du hattest die ersten Experimente und dann hast du die ersten Champions oder Power-User identifiziert und sie kamen mit den ersten tollen Anwendungsfällen. Ist Mathieu: Yes, I think it's... Es ist von Anfang Bottom-Up-Approach gewesen, wo man sich unterstützt und die Leute diese Gelegenheit Das ist die Art und Weise, ich es mir vorstelle. Es ist ein bisschen community-orientiert, und das ist immer noch ein wichtiger Wunsch von mir, dass man diese Champions nimmt Und sie vertreten sich als Role Model für andere, die vielleicht eher late Adopter oder fast Follower sind, wie wir es [00:11:00] nennen Sie werden also von diesen Champions inspiriert um diese Tools auf ihrer eigenen Seite Die Interessen wachsen durch diese Role Models, glaube ich. Felix: And what were the first breakthrough use cases or like the first like really great ideas that people have used ChatGPT for? Mathieu: I mean, there were lots around, you know text products, like reviews, for example, you know identifying defects on some products based on textual reviews, something that might be interesting at scale. Wir viel Interesse an Marketing, auch mit den Bildmodellen, das war auch sehr populär. Wir haben auch viel Lokalisierung [00:12:00] bei GetYourGuide Wir servieren unser Produkt in vielen, vielen Sprachen We've been using machine translation for years, but this team was very keen to see what LLMs can do. They know very well what are the limitations of machine translations and they're always on the lookout for new tools. So that quickly grew interest in the localization domain too. So that's what comes top of mind. And yeah otherwise coding, obviously, that's... Felix: Dank. Mathieu: Of course, GitHub Copilot was already out, but this became kind of the next level in terms of being able to code entire classes or refactor entire or create tests and so on. This was something completely new. Felix: Was ist der spezifische Weg, wie Sie die [00:13:00] Champions mit einander verbunden damit sie ihre Lern- und Anwendungsfälle teilen Ja, was waren die nächsten Schritte von dieser Experimentation und du hattest einen guten Momentum die Leute sahen den Wert, du hattest die ersten wirklich soliden Anwendungsfälle in Platz, was hast du dann nächstes Mal gemacht Mathieu: Ich denke, was funktioniert hat war, Eine Gruppe genannt AI-Interest-Gruppe, auf die die Leute einsteigen können und wir monatelose Events machen. Es war also ein Präsentationsstil in Person und dann nicht eine hohe Anzahl von Einstellungen Also jemand, der einen dieser Anwendungsfälle hatte würde sich präsentieren. Und das war wirklich großartig. Wir haben auch eine Newsletter entwickelt So it's a kind of a summary, a digest of what's been happening in GenAI for [00:14:00] the last week. At the beginning we were sending it every week because things were going so fast. So if we wouldn't send it one week, the following week would be like, oh man, it took me so much time to summarize everything because there was so much activity. Now we send it a little bit less often. But this newsletter was... Es ist auch ein guter Tool für mich, dass ich den Habit habe, was rauskommt zu das ist gut, wenn man versucht, diese Rolle zu. Und diese Newsletter war sehr populär. Und ich denke, selbst wenn die Leute es nicht ganz lesen ist es Teil dieses Momentums Man sieht, es gibt Aktivität, man sieht, es gibt Interesse Ich also, Kuriosität für wichtig ist Ich deine Beleitung bekommen und ich denke, dass das einen Hinweis gibt um bequem zu weil [00:15:00] wir es strukturieren würden Wir hätten vielleicht eine Sache zu lesen, eine Sache zu beobachten und dann einige Links. Ja, du könntest folgen was in Gen-AI passiert ohne dir sagen, Subscribe to other podcasts or whatever and people were appreciative of that Felix: Nice, I love it. I love it. It's a very pragmatic approach also. So like you had this monthly session where people could join and share what they have learned and share use cases and learn from each other. Basically. And then you had the newsletter as a news update that could be curated also by you, so that there were only relevant news for Get Your Guide. Yeah. Alright. And Du hast damals ChatGPT gearbeitet und alle interessierten [00:16:00] Mitarbeiter in der Organisation eingeladen und alle hatten einen Account. Wie hat sich dein Tools-Deck über die Zeit verändert Hast du mehr Tools oder hast du die Tools verändert? Mathieu: Yes, I think it evolved a lot in the early days. I think it was very much... Ein OpenAI-Account für die meiste Teil. Ich denke, das war der Startpunkt. Und es gab eine interessante Phase, die ich sagen würde, eine Transition-Phase. Ich denke, wir wurden mehr strukturiert mehr professionell bis zum Ende 2023. Also zwischen, wie ich gesagt habe, Februar, März 2023 und Ende des Jahres war es meistens ein OpenAI-Account. Und The number of users grew over time and I think we ended with something like 450 employees on that account. But during [00:17:00] that year, GPT-4 came out and it was significantly better than 3.5. This is where you would really recommend it to anybody. Try it out because it would do amazing things. But How do you get GPT-4 if you need to pay for it? Because that was not offered for free. But in fact, we had it for free for an extended period of time. By chance, I would say, because we actually had a ChatGPT-Plugin. Maybe you remember that this was the ancestor of the GPTs. So now there is a GPT store and we have a Get-Your-Guide GPT, but before it was called GPT, it was called a plugin. And when this idea of plugin came out, we said, okay, let's try it out during one of our kind of hackathon style. And it [00:18:00] was straightforward to build, so we... Wir hatten bereits APIs, also könnt ihr auf ChatGPT suchen ich reise nach New York, wir sind eine Gruppe von drei und wir sind interessiert in Essen und Kunst. Und im Grunde genommen würde das Plugin das in eine Get-Your-Guide-API-Querie konvertieren und dann würden wir Resultate zurückgeben und so weiter und so fort. Es war also wirklich lustig zu bauen, nicht schwer zu bauen. Und weil wir diese Chat-GPT-Plugin hatten waren sehr frühen Tagen Teil einer Art Liste, wir hatten eine Flagge auf unserem Organisationen-Account, die uns Zugang zu einem GPT-4-Alpha-Modell für gratis gegeben hat Also, letztendlich, denke ich, sie es geschlossen. Für eine längere Zeit hatten wir die Möglichkeit, GPT-4-Anbieter für alle Anbieter ohne dafür zu bezahlen. Das war sehr schön, einfach zu managen. Dann kamen mehr Herausforderungen, als [00:19:00] das Code-Interpreter-Modul entstanden ist Es gab viele Interessen es auch von unserem Analyse-Team zu Und es ist ich nicht, ob ihr es versucht habt, aber es ist unglaublich wie es Code, Python und, du weißt, Ingest-Data und Charting kann Felix: Vielen Mathieu: leider für das brauchten wir einen Plus-Account. Und so haben wir es beendet, literally, du weißt, Die Kreditkartennummer von der fliegen und versuchen zu halten, wer eine Subskription hat Das war sehr schwierig zu managen und ich denke, als wir das verabschiedeten, gab es noch diese eine Subskription, bei nicht wussten, wer sie war, für eine längere Zeit. Felix: Ich finde, Steve war Mathieu: genau. Also ja, es gab keine, es gab keine, es gab vorher eine Unternehmens- oder Team-Account, also du konntest nur, ich habe Zugang dazu, wenn du mit jeder [00:20:00] individuellen Kreditkarte bezahlt hast also das war, das war ein bisschen, äh Difficult to manage and and towards the end of the that year was clear that okay this gpt4 access will will go away at some point we need another solution and that that's when we started looking into into tools like lang dock and eventually uh moving to that as well but i think the the challenges uh started to appear uh also in in having uh having Das OpenAI-Account ohne irgendwelche Kontrakte. Gleichzeitig hatten wir auch Leute, die sich auf anthropologische Modelle interessierten Felix: Vielen Dank. Mathieu: Sie hatten definitiv ihre Merite, besonders in Bezug auf Content-Creation. Wir wollten also auch ein anthropologisches Account bekommen und das haben wir gemacht. And we still offer on Languedoc both open AI models and [00:21:00] entropic, and there is significant usage still of entropic models. Felix: Viele Firmen sind we need Co-Pilots Do we need ChatGPT? Do we have to build our own LLM-based chatbots that's hosted in our infrastructure? Do we need something else like LangDoc? What were your evaluation criteria and your process to make this decision? Mathieu: Wir haben mit, wie gesagt, fast 450 regelmäßigen Chat-GPTs begonnen My first goal was to make sure that we could continue to give access to that and to the latest model, if possible. Felix: Vielen Dank. Mathieu: Fortunately, OpenAI proposed all of these models via API, so you can kind of go [00:22:00] more, okay, you get a ChatGPT Enterprise license, or you can go more with a tool like LangDoc which... Es integriert die API, aber es ist im ähnliches Ergebnis als die Unternehmensabgabe. Wir haben also, Momentum von ChatGPT Und dann haben wir uns gefragt, was wir tun könnten. Und das ist, wo Dinge wie Integration, Our data and assistance came out as a bit of a vision for what we want this to be in 2024. So now we are really in the middle of it now. So my idea was kind of a three-phase approach Felix: Vielen Mathieu: get people off of the default chat [00:23:00] GPT into something more professional where there is also a bit more analytics and governance and you can control things as an administrator in a better way. Das war die erste Phase. Die zweite Phase ist die Erneuerung von mehr Integration, weil die Werte dieser Geräte wirklich gekoppelt werden, wenn man sie aufgrund deiner Dokumente und deiner internen Dokumente und der Wissensbasis etc. Und die dritte Phase ist mehr darüber, es ist großartig, Wissen erzeugen, Informationen zu GPT zu bekommen, Und so weiter, aber es ist auch interessant, Aktionen nicht wahr Also, wenn du tatsächlich ein E-Mail mit ChatGPT schreibst wenn du es verabschiedest, warum nicht einen Knopf haben um tatsächlich das Verabschieden und sogar das E-Mail selbst zu nicht wahr? Also, ich denke, dass die Unterstützung eigentlich einige [00:24:00] unserer Arbeitsincentiven wie repetitiver Arbeit, Sounder like a very interesting vision to aspire to. So when we looked at these three things, what would be a tool that does that? LangDoc was definitely having all of that in their roadmap. Not everything was built, but they had it in their roadmap. Nobody had it built anyway. But it was a... Felix: Microsoft, wir sagen, dass sie es gebaut haben. Mathieu: Yeah, everybody is building it right now and I think they are selling it, but we also tried Copilot, by the way, but we don't have much Microsoft Word and Excel usage. We're more on the Google Docs and so on, but we also tried that. Yeah, I mean, we saw that LangDoc had Hat diese wirklich interessante Vision. Und er hat auch eine Sache, die wir gerne präsentieren, die [00:25:00] Modellagnostik ist Also die Möglichkeit, OpenAI, Cloud und vielleicht auch andere Modelle einzusetzen. Wir haben Mistral auf LangDoc. Es ist einfach zu erstellen. Ich denke, das war auch Interessantes zu präsentieren Felix: Dank Okay, so I try to summarize it like one was to have access to different large language models. The second was like user access management, governance, some usage analytics and having simply a bit more control over what's going on and who has access and who has what kind of rights inside and so on. Okay. And then the capability, at least in the midterm or in the future, to integrate your own knowledge and data sources on the one side, so to pull data from somewhere and make it accessible to user or make it like easy to chat with and then to push data to third party systems like [00:26:00] sending an email or opening a ticket. Mathieu: Genau. Und wenn möglich, auch nicht nur externe Drittpartien, sondern auch unsere eigenen Systeme Wenn wir interne administrativen Systeme haben können diese Systeme APIs haben Und wenn wir durch diese wiederholbare Aktionen machen, z.B. ein operatives System dann könnten wir ein API bauen Integration between lang doc and our internal systems to Felix: Ist das so, wie Sie in Vision liken? An AI Assistant, a multi-purpose AI Assistant that's sitting in the middle of your company has access to all your knowledge and also access to all your systems, so you can easily pull data from anywhere of the company, you can kind of create something New Text or an Excel sheet or whatever inside of the tool [00:27:00] and then you can push it to whatever place you want to have it. Mathieu: So I see it in not exactly like that because we have built also one of these more like knowledge management Slack bot and there is definitely a space for a generic assistant. Das hat Zugang zu all den relevanten Dokumenten, weil Felix: Vielen Dank Mathieu: in der Wissensverarbeitung gibt. GenAI hat, wir wissen, dass das wieder herausfinden, aber die Wissensverarbeitungs-Tools sind seit vielen Jahren da Es war ein bisschen abweichend, würde ich sagen. Aber die Herausforderungen sind immer dieselben. Die Dokumentation ist noch nicht fertig. Ich weiß nicht, wo ich das kann. Es ist schwer, neue Mitarbeiter anzubieten. All diese Herausforderungen sind bekannt. Und ja, früher organisierten Wissen in Folgen [00:28:00] und so weiter. Niemand macht das. Niemand öffnet seinen Hard Drive mehr. Es ist Felix: Dank. Mathieu: to clean it up, basically. So there is definitely a space for a generic assistant to help you Um eine große Anzahl an Dokumentationen. Aber es muss kontextuell sein und es muss ziemlich klug sein denn es gibt viel Geräusch. Es sollte in die Metadaten schauen ob diese File eingegangen sind ob man diese File angeschaut sonst gibt es unerlässliche Antworten Ich denke, es gibt für bestimmten Raum. Taking actions and automating repetitive tasks, I see a little bit more [00:29:00] having its own assistant, so more narrow in terms of scope, so you create one assistant for that specific task. Und du gibst es Zugang zu einem bedingten Set von Dokumenten wenn du es brauchst, oder APIs. Und du bist sehr spezifisch über die Prompte und den Fluss. Du versuchst, es so deterministisch möglich zu weil, Felix: du ein Beispiel geben Mathieu: ich meine, zum Beispiel haben wir einen Assistenten für Berg-Triage, richtig? So in theory, you know, you could say, okay, if I have a generic assistant, that it's great at ingesting all of my company's knowledge, I could, you know, it knows about all the teams. So if I, if a bug comes in, it should be able to tell me, that's the main use case, right? So who owns this piece? You know you should know who owns that that kind of piece of software or that service or that, that process. But I think you're not getting [00:30:00] as good results as Du kontrollierst diesen Assistent, in einem Prompt listest du, was die Teams sind. Und du musst das, übrigens der Zeit behalten, weil die Teams-Namen und Struktur immer verändern. Du kreierst diesen Assistent, testest ihn und der einzige Rolle des Assistenten es, Bug-Triage zu Und ich denke, ist mehr, das macht es mehr deterministisch oder macht es auch einfacher, zu debuggen. Und ich denke, das ist, wo ich mehr sehe okay, du hast eine Kollektion von Assistenten du weißt, und vielleicht hat Team ein paar, die auch mit anderen Teams geteilt oder vielleicht sind einige von ihnen nur persönlich zu dir oder persönlich zu deinem Team, um eine bestimmte Aufgabe zu und es sehr gut zu. Also sehe ich das. Felix: Vielen Mathieu: more happening right now with assistance is one person creates an [00:31:00] assistant to do one task, try to do that very well, and then share that assistance for others to use. Felix: Okay got it. How many assistants have you built since then? Mathieu: I think we are like 150 or something like that. Felix: Okay. Have you done it in a structured process? So you've listed down all the processes, all the tasks in the processes and then you've assessed like, okay, where does it make sense to have an assistant and not what data is required? What kind of prompt is required? How should the output look like? And then you've done it Mathieu: Nein, es geht mehr darum, was wir in der Q4 tun Wie ich vorhin habe, hatten wir drei Phasen. Jetzt sind wir in der Q4, also in der Mitte der dritten Phase. Die Phase, in der viel mehr Aufmerksamkeit auf die Assistenzen. Nicht alle LangDocs-Fähigkeiten wurden gebaut. Wir arbeiten [00:32:00] mit ihnen, sie sind sehr akzeptabel zu unserem Feedback und wir diskutieren auch Roadmaps, damit sie das Richtige. Die 150 Assistenten viele von ihnen sind Teil von Workshops oder kleinen Tests. Es gibt wahrscheinlich nur ein Dutzend oder mehr, Very regularly used, so we've not structured that. I think we were focusing on first the integrations and I think in the coming months we will have more assistant building workshops and helping folks specifically on those assistant building. But the understanding of what to do The process mapping has to come from them, right? We don't have the capacity to go deep into each single one of those processes. Maybe some companies have, but our approach will always be, I think [00:33:00] that we try to have some self-serve documentation and videos and so on that are pretty good so that anybody who wants to build an assistant has a starting point. Dann werden wir Events und Präsentationen machen Wir zeigen die besten Assistenzen die die Leute, die sie gebaut haben, kommen und präsentieren Dies wird hoffentlich andere inspirieren, es probieren. Und dann haben wir etwas wie Office Hours, also du kannst rein kommen, du versuchst den Assistenten, nichts funktioniert, du brauchst Hilfe, dann können wir versuchen, dir helfen. Aber der letzte ist der meiste skalierbare, also wir haben kein Team, das dazu dediziert Es ist meistens selbstbewusst und Inspiration von Champions. Das ist das beste Tool, das haben. Aber ich denke, das wird funktionieren und gerade haben wir viel Interesse auf Assistenten-Bildung. Wir müssen uns [00:34:00] nur die Mechaniken für die kommenden Monate einstellen Felix: Like this shows that there are many many different kind of smaller use cases that can like we can build assistance and those can augment people in their day to day life can we dive a bit deeper into this because everyone is looking for use cases you've mentioned the bug triage one Mathieu: sehr sexierter, aber ein sehr wichtiger. Felix: Ja, genau, aber es ist ein guter. Ich mag es sehr, weil ich denke, dass jeder über Kunden Support und Content und Marketing spricht es ist wie ein No-Brainer, aber es gibt so viele andere interessante Anwendungen und andere Bereiche der Firma, wie du es jetzt gezeigt hast. Du hast auch den Slack-Bot erwähnt Wie ist das? Wie kann ich das vorstellen? Mathieu: Ja, es gibt zwei Anwendungsfälle, die ich [00:35:00] besprechen kann, weil ich mich persönlich daran involviert habe, sie zu bauen. Einer ist der Slack-Bot. And that's a bot that anybody can talk to on Slack and it's connected to our Es war ein bisschen schwer zu bauen, weil unsere Dokumentation in mehreren Systemen. Es gibt einige auf Google Docs andere auf Backstage, wir haben auch Google Sites, Intranet, es gibt verschiedene Sourcen. Felix: Vielen Dank. Mathieu: Die Slack-Bot kann zum Beispiel eine HR-Frage beantworten Zum Beispiel, was ist die Sicherheits- oder Verkaufs-Polizei? Das ist ein klassischer Beispiel und das funktioniert ziemlich gut. [00:36:00] Was wir auch gemacht haben,, es ein bisschen weiter zu um diese Bot auf Support-Slack-Kanäle zu Das sich in der Ingenieurarbeit begonnen Engineers have multiple channels for get support when they are stuck on something when they need to install their development environment or something like that so channel development support somebody posts a message and the bot will provide a first reply and that first reply would in some cases basically resolve the The concern or the the question without having a human basically look into it um and and that's that's this idea of deflecting some of these repetitive questions to to to ai and the slack bot is great at that because a lot of these repetitive questions tend to [00:37:00] happen on these support slack channels right so i don't know if other companies do it in the same way but we have Wahrscheinlich 50 dieser Kanäle. Es gibt einen für Finanzierung, einen für Verkauf und Versorgung, einen für Ingenieurarbeit oder mehrere von Ingenieurarbeit. Und wenn man mit den Ingenieuren spricht die auf Rotation sind, verabschieden uns von Menschen, um Antworten ist es eine wertvolle Werkstatt für sie, damit sie weniger Zeit verbringen, Fragen zu und mehr Deep Work zu Felix: Okay very interesting. And it sounds like you've managed it really well, that you have now more than 400 or 500 employees actively working with LangDoc. How have you managed this? Adoption process because i also see this as a big challenge [00:38:00] that you have the technical capabilities and you can build all those assistance and you can integrate your data and even deploy it on on slack i mean that's already probably better because you have it in an interface integrated that people are using all the time but what helped you to actually make people work with the capabilities that are there Mathieu: I mean it's actually 700 now on LangDoc. Felix: Okay, wow. Mathieu: We have less than that, of course, on a daily or weekly basis, but it's growing very, very nicely and very fast also on the daily usage. I think the I don't think that there was any radical shifts, it's been very organic. The momentum that we started in last year didn't die out.[00:39:00]  But I think we worked hard to maintain that momentum. And I think the key ingredients are always the same. und Videos, also machen das. Und auch Newsletter. Und dann auch Events. Als wir unser Sommer-Summit hatten das ist ein jährliches Event, bei dem alle Get-Your-Guide-Employees für eine ganze Woche kommen Und es gibt viele Workshops. Es ist wie eine interne Konferenz, wenn du möchtest Yeah, we had a prime spot for talking about AI and also LangDoc at that event, right? So it's been an important milestone. I think after that event, we saw quite a nice uptake of usage as well. So I think it's a bit about this repetition, right? So [00:40:00] if you... If you see it from different corners, right, so not only your colleagues are maybe using it, but then you see it at one of the internal presentation and then you see it at one of our all hands meeting when we talk a little bit about it. So I think having that momentum. Und Repetition hilft, wenn es auch mit der Top-Leadership verbunden was es für Get Your Guide natürlich ist. Sie sind natürlich sehr bereit, sehen, was wir mit dieser Technologie tun Da haben wir Schwierigkeiten oder Herausforderungen, um jemanden überzeugen, was, glaube ich, immer hilft. Aber das war auch Fall für die AI vor Gen-AI, also hatten immer eine sehr unterstützende Führung. Ich, wir sind noch am Anfang, aber ich denke, [00:41:00] Was ich höre, ist auch, dass viele Leute mit Prompt Design, Prompt Engineering kämpfen Vielleicht sind die 700 Nummern beeindruckend aber ich denke, es immer noch viele und viele Möglichkeiten gibt für jedes Team, um mehr Wert aus der Gen-AI zu als heute. Ich denke, wir sind immer noch am Anfang Felix: I think we all are, but from what I'm hearing also in the market, you've made already pretty good progress. I think that's a really great fundamental to build up on. What are the next steps that you are planning to further evolve and develop this initiative? Mathieu: So, we are looking into Kind of finishing off this year, 2024, with 50% [00:42:00] of Get-Your-Guide-Staff using Gen-AI daily. That's our current goal. We are at around 30% now. Felix: What are the weekly numbers? Can you share that? Mathieu: Not from the top of my head, but it's quite high. So it's probably already close to 50% on a weekly basis. But we put the bar high, we always do. So the daily usage is like... It really has to add value if you're using something daily, right? And I think it's totally achievable with assistance, notably. So right now, the share of messages on LangDoc are primarily default ChatGPT or basically Cloud. And the assistance share is still small because there's not many assistants and we haven't really pushed enough of that yet. Once this share of messages... Felix: [00:43:00] Vielen. Mathieu: von den Assistenzen und von Vanilla LLMs hergekommen Ich denke, die Anwendung wird natürlich auch daraus wachsen Also ist definitiv der nächste wichtige Schritt, die Leute ermöglichen, Assistenzen zu um einige der repetitiven Arbeit, die sie machen, zu That will only work if we have integrations also more integrations, right? So there is other tools like Jira, Slack itself, right? And a few more that we need to ingest into LangDoc in order for some of this assistance to really be possible to build. Otherwise, no fresh data, no access to data. It's not going to work. So that's[00:44:00]  Felix: Vielen Mathieu: we can push the system further. Where the assistant potentially runs you and in the background. Felix: Dank Mathieu: You know think about the assistant is connected to my email box and will only do certain actions that I told it to do. And it's very reliable and it can answer an email for me. And maybe when it's something I'm not going completely according to plan, it's back to human in the loop. So, that's an important area that I believe in. We'll have to see how also the other tools we're using [00:45:00] are also integrating Gen-AI, right? So every single tool that you can buy off the shelf now has an AI add-on, right? So whether it's Slack or Google Gemini or Jira AI and so on. So you know there are certain things you can probably only do when you are in the platform. So, there's always this, I think this idea with LangDoc, that it's great that you are connected to multiple sources because often the knowledge is dispersed or you need to kind of connect the dots. Typically, these vendors, they're only good at their own tool, right? So Jira AI will be great at connecting Based on what content is on Jira, but not on Google Docs right? Maybe down the line, [00:46:00] all of these tools will also talk to each other and that will be interesting, right? No, it's not really the case. So LangDoc is a great solution for connecting those dots. But I would like to also see... However of these AI-add-ons of these tools also adding a lot of value and we are not seeing too much of that now, but they are definitely building. Felix: What would be the one advice that you would like to share for people who are just starting out on their AI productivity journey and are not as far as you are today? Mathieu: Ich denke, es ist sehr persönlich, dass ich 100% meiner Zeit an diesem Thema dedizieren Nicht ein Side-Projekt zu hat mir sehr hilfreich gemacht. Also, ja, auch es nicht perfekt ist, wo soll das [00:47:00] leben und wie soll empfangen werden, um Aktionen zu Also nicht aus einer... From a team that has no interest in pursuing that. It has to be a team that has enough leverage, in a sense, to take some of these actions. So finding the, even if it's not perfect, the baseline organizational structure that allows to pursue this experimentation mindset and try things out. And yeah, have enough... In-Person-Events I think around this topic I've seen that being a key ingredient. It would have been very different if we had not done that, I think. So, these would be my two number ones. Felix: Vielen Dank, Mathieu. Das war super interessant. Ich habe viel gelernt. [00:48:00] Und für mich nehme als Erinnerung dass es wirklich alles um Empowering Um die Menschen und äh separatieren, wie Prozesse und Workflows in kleinere Arbeiten und wirklich kostenlose Unterstützung zu die einfach erzeugt werden und auch die Teams ermöglichen, dies selbst zu um die Erneuerung der ganzen Organisation möglich zu machen Vielen Dank. Mathieu: My pleasure. Thanks for having me.