KI im Unternehmen: Rechtliche Fallstricke und wie man sie vermeidet

Intro

In dieser Episode des AI FIRST Podcast spricht Felix Schlenther mit Arno Malcher, Rechtsanwalt und Fachanwalt für IT-Recht aus München, über die rechtlichen Herausforderungen beim Einsatz von KI in Unternehmen. Arno berät schwerpunktmäßig im Bereich künstliche Intelligenz und Datenschutz – sowohl Entwickler von KI-Systemen als auch mittelständische Anwender. Im Gespräch beleuchten die beiden die vier zentralen rechtlichen Bereiche: die EU-KI-Verordnung, Datenschutz, Urheberrecht und Haftungsfragen. Anhand konkreter Use Cases wie interner Chatbots und KI im Kundenservice zeigt Arno auf, welche Pflichten Unternehmen erfüllen müssen und wie sie häufige Fehler vermeiden können.

Inhaltsübersicht

Die vier zentralen rechtlichen Herausforderungsbereiche beim KI-Einsatz: KI-Verordnung, Datenschutz, Urheberrecht und Haftung
Rechtliche Anforderungen bei internen KI-Chatbots für Mitarbeiter
Die Bedeutung einer KI-Policy und verpflichtende Mitarbeiterschulungen nach AI Act
Umgang mit "Schatten-KI" und personenbezogenen Daten in KI-Systemen
Haftungsrisiken beim Einsatz von KI-Chatbots im Kundenservice
Urheberrechtliche Fragen bei KI-generierten Texten und Bildern
Die EU-KI-Verordnung: Risikoklassen und ihre praktischen Auswirkungen
Vertragsgestaltung mit KI-Anbietern und Auftragsdatenverarbeitung
Best Practices und die drei größten Fehler, die es zu vermeiden gilt

Über den Gast

Arno Malcher ist Rechtsanwalt und Fachanwalt für IT-Recht mit Sitz in München. Seine Beratungsschwerpunkte liegen im Bereich künstliche Intelligenz und Datenschutz. Er unterstützt Mandanten sowohl auf der Entwicklerseite von KI-Technologien als auch auf der Anwenderseite, insbesondere mittelständische Unternehmen, die KI-Systeme sicher und rechtskonform implementieren möchten. Mit seiner Expertise hilft er Unternehmen dabei, die komplexen rechtlichen Anforderungen der digitalen Transformation zu bewältigen.

Detaillierte Zusammenfassung

Die vier zentralen rechtlichen Säulen beim KI-Einsatz

Unternehmen stehen vor einem Berg ungeklärter rechtlicher Fragen bei der KI-Implementierung. Arno identifiziert vier zentrale Bereiche, die es zu beachten gilt: Erstens die EU-KI-Verordnung mit ihren spezifischen Pflichten für unterschiedliche Systemtypen. Zweitens datenschutzrechtliche Vorgaben nach DSGVO und Bundesdatenschutzgesetz – wobei es keine spezielle KI-Datenschutz-Regulierung gibt, sondern die allgemeinen Regeln gelten. Drittens urheberrechtliche Fragen, insbesondere beim Einsatz generativer KI für Marketing und Content-Erstellung. Und viertens Haftungsfragen, besonders relevant beim Einsatz von KI-Chatbots im Kundenkontakt.

Diese vier Bereiche durchziehen alle KI-Anwendungen im Unternehmen und müssen risikominimierend adressiert werden. Die Herausforderung besteht darin, dass viele dieser rechtlichen Fragen noch nicht abschließend geklärt sind und es kaum Referenzfälle gibt. "Wir bewegen uns hier noch so ein bisschen in so einer Terra incognita", erklärt Arno die aktuelle Rechtslage.

"Wir bewegen uns hier noch so ein bisschen in so einer Terra incognita."

Interne Chatbots: KI-Policy als Fundament

Bei der Einführung interner KI-Chatbots für Mitarbeiter ist eine umfassende KI-Policy unverzichtbar. Diese sollte jedoch nicht als bürokratisches Papierstück verstanden werden, sondern als praktisches Werkzeug. "So eine KI-Policy muss in einfacher Sprache sensibilisieren dafür, wo die Herausforderungen beim Einsatz von KI liegen", betont Arno. Die Policy sollte kurz, verständlich und praxisnah sein – lange Dokumente werden von Mitarbeitern schlicht nicht gelesen.

Zentrale Inhalte einer wirksamen KI-Policy umfassen: Sensibilisierung für Halluzinationen und die Notwendigkeit, KI-Outputs kritisch zu prüfen; klare Regeln zum Umgang mit Geschäftsgeheimnissen und personenbezogenen Daten; Aufklärung über urheberrechtliche Risiken, insbesondere im Marketing. Die Policy sollte auch klarstellen, dass KI-Outputs immer nur eine erste Informationsquelle sein können und der Mensch letztendlich für Entscheidungen verantwortlich bleibt.

Die Implementierung einer solchen Policy ist nicht nur Best Practice, sondern wird durch die EU-KI-Verordnung zur Pflicht: "Die Schulung von Mitarbeitern ist eine Verpflichtung, die jedes KI-System betreffen wird unter der KI-Verordnung." Diese Schulungspflicht gilt ab dem 2. Februar 2025 – unabhängig davon, ob es sich um Hochrisiko-Systeme handelt oder nicht.

Schatten-KI und Datenschutz

Ein zentrales Problem in der Praxis ist das Phänomen der "Schatten-KI": Mitarbeiter nutzen private Tools wie ChatGPT für berufliche Aufgaben, wenn das Unternehmen keine konforme Lösung bereitstellt. Dies führt zu erheblichen Risiken, insbesondere wenn Geschäftsgeheimnisse oder personenbezogene Daten verarbeitet werden. "Wenn ich das nicht regle im Unternehmen, stellt das eine Datenschutzverletzung dar", warnt Arno.

Die Konsequenzen können drastisch sein: Wenn Kunden von solchen Datenschutzverstößen erfahren, können sie die Datenschutzbehörde informieren, was im Ergebnis zu Bußgeldern führen kann. Der Lösungsansatz besteht darin, den Mitarbeitern businesskonforme Alternativen anzubieten und klare Regeln aufzustellen.

Bei der Verarbeitung personenbezogener Daten mit KI-Systemen ist eine Auftragsdatenverarbeitungsvereinbarung (AVV) mit dem Anbieter zwingend erforderlich. Dies ist keine KI-spezifische Anforderung, sondern folgt den allgemeinen datenschutzrechtlichen Vorgaben der DSGVO. Arnos generelle Empfehlung: "Als Leitlinie würde ich immer empfehlen, so ein System ohne personenbezogene Daten zu nutzen." Geschäftsgeheimnisse, insbesondere von Kunden, sollten niemals in solchen Systemen verarbeitet werden.

KI im Kundenservice: Erhöhte Haftungsrisiken

Beim Einsatz von KI-Chatbots im Kundenkontakt verschärfen sich die rechtlichen Anforderungen deutlich. Das Unternehmen haftet grundsätzlich für alle Informationen, die der Chatbot nach außen kommuniziert. "Wenn ich jetzt einen Chatbot-Agenten im Kundenservice einsetze, kann das empfindlichere Folgen haben im Hinblick darauf, wenn dieser Chatbot Falschinformationen liefert."

Ein prägnantes Beispiel liefert der Fall Air Canada: Ein Kunde informierte sich über Trauertarife für Flüge, der Chatbot gab falsche Informationen. Das Gericht stellte das Unternehmen so, als hätte die Falschinformation auf der Webseite gestanden – mit entsprechender Haftungsfolge. Die Rechtsprechung macht deutlich: "Für diese Falschinformationen musst du haften, weil diese Falschinformationen bewerten wir so, als hätte es einfach eine falsche Information auf deiner Webseite gegeben."

In Deutschland greifen zwei Haftungsregime: die vertragliche Haftung auf Basis bestehender Kundenverträge und die deliktische Haftung bei Verletzung von Verkehrssicherungspflichten. Letztere kann relevant werden, wenn das Unternehmen seiner Überwachungspflicht nicht nachkommt – etwa wenn verfügbare System-Updates nicht eingespielt werden.

Arnos Empfehlung zur Risikominimierung: "Ich sollte innerhalb des KI-Systems gewisse Sollbruchstellen vorsehen." Bei sensiblen Themen wie Todesfällen, Krankheiten oder kritischen Versicherungsfragen sollte das System automatisch an einen menschlichen Mitarbeiter weiterleiten. Dies dient nicht nur der Haftungsvermeidung, sondern auch dem Unternehmensimage und einer angemessenen Kundenbetreuung.

"Ich sollte innerhalb des KI-Systems gewisse Sollbruchstellen vorsehen."

Urheberrecht bei KI-generierten Inhalten

Im Marketing entstehen komplexe urheberrechtliche Fragestellungen. Der zentrale Grundsatz: "Nur menschliche Schöpfungsleistungen können urheberrechtlich geschützt sein." Das bedeutet, dass KI-generierte Inhalte – ob Texte oder Bilder – grundsätzlich keinen urheberrechtlichen Schutz genießen.

Dies hat paradoxe Konsequenzen: Einerseits kann ein Dritter KI-generierte Inhalte ohne rechtliche Folgen kopieren und nutzen. Ein Marketing-Text oder Software-Code, der von KI erstellt wurde, ist nicht geschützt. Andererseits muss das Unternehmen selbst darauf achten, keine Urheberrechte Dritter zu verletzen – was bei KI-Outputs schwierig zu erkennen sein kann.

Besonders heikel ist die Nutzung von Marken in KI-generierten Bildern. Wenn ein generiertes Bild erkennbar eine geschützte Marke – etwa ein BMW-Logo – zeigt und im geschäftlichen Kontext verwendet wird, kann eine Markenrechtsverletzung vorliegen. Anders als beim Urheberrecht, das absolut gilt, kommt es beim Markenrecht auf die Verwechslungsgefahr an. Arnos klare Empfehlung: "Am besten nicht machen und wenn ich es mache, dann immer vorher rechtlich abklären lassen."

Bei Texten stellt sich eine weitere Herausforderung: Was, wenn die KI unbewusst urheberrechtlich geschützte Passagen reproduziert? Die Verschuldensschwelle im Urheberrecht ist extrem niedrig – es gibt praktisch keine schuldlosen Urheberrechtsverletzungen. Arno empfiehlt als Schutzmaßnahme, markante Textpassagen vor Veröffentlichung in Suchmaschinen zu überprüfen. "Wenn ich da nahezu übereinstimmende Texte finde, dann würde ich diesen Output nicht ungefiltert übernehmen, sondern nochmal überarbeiten."

Die EU-KI-Verordnung: Risikobasierter Ansatz

Die EU-KI-Verordnung (AI Act) tritt in mehreren Stufen in Kraft und verfolgt einen risikobasierten Ansatz. Sie unterscheidet drei Hauptkategorien von KI-Systemen:

Verbotene Systeme sind solche, die beispielsweise Social Scoring betreiben oder die Würde von Menschen fundamental verletzen. Solche Systeme dürfen in der EU nicht eingesetzt werden.

Hochrisiko-Systeme sind nicht grundsätzlich verboten, unterliegen aber strengen Anforderungen. Dazu gehören KI-Systeme in bestimmten Branchen sowie Systeme für HR-Entscheidungen (Einstellung, Beförderung, Kündigung) und im Bildungsbereich. Die Anforderungen umfassen: das System unter menschliche Aufsicht zu stellen, es nur entsprechend der Betriebsanleitung zu nutzen, und Meldepflichten bei Vorfällen einzuhalten. "Das ist nicht ganz trivial, aber es ist auch nicht unlösbar", beruhigt Arno.

Systeme mit begrenztem Risiko – unter die die meisten unternehmensinternen Anwendungen fallen – haben primär Transparenzpflichten. Nutzer müssen erkennen können, dass sie mit einem KI-System interagieren, und es muss eine gewisse Dokumentation vorhanden sein.

Die zeitliche Umsetzung erfolgt gestaffelt: Ab 2. Februar 2025 gilt die Schulungsverpflichtung für alle KI-Systeme. Ab August 2025 greifen Regelungen für General Purpose AI wie ChatGPT. Ab 2. August 2026 gelten sämtliche Bestimmungen der KI-Verordnung vollumfänglich.

Vertragsgestaltung und praktische Umsetzung

Bei der Einführung von KI-Systemen ist die sorgfältige Vertragsgestaltung mit Anbietern entscheidend. Regulatorische, haftungsrelevante und datenschutzrechtliche Verpflichtungen müssen vertraglich abgesichert werden, um Haftungslücken zu vermeiden. Dies gilt besonders für die erwähnte Auftragsdatenverarbeitung, die bei Verarbeitung personenbezogener Daten zwingend erforderlich ist.

Die praktische Umsetzung sollte nicht als rein rechtliches Compliance-Thema verstanden werden, sondern als Enabler für sicheren KI-Einsatz. Eine proaktive Auseinandersetzung mit den Anforderungen schafft Handlungssicherheit für alle Beteiligten. "Von einer Vogelstrauß-Taktik bei KI-Regulierungen ist dringend abzuraten", mahnt Arno eindringlich.

Wichtig ist auch die interne Kommunikation: Die KI-Policy und zugehörige Dokumente müssen leicht auffindbar sein und aktiv ins Unternehmen getragen werden. Regelmäßige Schulungen helfen dabei, ein Bewusstsein für die rechtlichen Anforderungen zu schaffen und eine Kultur des verantwortungsvollen KI-Einsatzes zu etablieren.

Kernaussagen

Proaktiv statt Vogelstrauß-Taktik — "Von einer Vogelstrauß-Taktik bei KI-Regulierungen ist dringend abzuraten. Man sollte sich frühzeitig mit den rechtlichen Anforderungen auseinandersetzen und dokumentieren, welche Überlegungen man angestellt hat." Dokumentation, Compliance
KI-Policy in einfacher Sprache — "So eine KI-Policy muss in einfacher Sprache sensibilisieren dafür, wo die Herausforderungen beim Einsatz von KI liegen. Lange Dokumente werden schlicht und ergreifend von den Mitarbeitern nicht gelesen." Sensibilisierung, Praxisnähe
Schulungspflicht für alle KI-Systeme — "Die Schulung von Mitarbeitern ist eine Verpflichtung, die jedes KI-System betreffen wird unter der KI-Verordnung – unabhängig davon, ob es sich um Hochrisiko-Systeme handelt oder nicht." AI Act, Mitarbeiterschulung
Haftung für Chatbot-Falschinformationen — "Wenn ich einen Chatbot-Agenten im Kundenservice einsetze, hafte ich für Falschinformationen. Diese Falschinformationen bewerten Gerichte so, als hätte die falsche Information auf der Webseite gestanden." Kundenservice, Haftungsrisiko
Kein Urheberrechtsschutz für KI-Output — "Nur menschliche Schöpfungsleistungen können urheberrechtlich geschützt sein. Der Output einer KI kann eigentlich nie urheberrechtlich geschützt sein – was sowohl Chancen als auch Risiken birgt." Urheberrecht, generative KI

Fazit und Takeaways

Für Geschäftsführung und Entscheider

Proaktive Auseinandersetzung statt Vogelstrauß-Taktik: Dokumentieren Sie Ihre Überlegungen und Risikoabwägungen. Wenn Behörden nachfragen, können Sie nachweisen, dass Sie sich mit den Anforderungen beschäftigt haben.
KI-Policy als strategisches Werkzeug: Entwickeln Sie eine kurze, verständliche KI-Policy in einfacher Sprache. Sie ist ab Februar 2025 ohnehin Pflicht und schützt das Unternehmen vor Risiken.
Budget für Schulungen einplanen: Mitarbeiterschulungen sind nicht nur gesetzlich vorgeschrieben, sondern erhöhen die Produktivität und verhindern kostspielige Fehler.
Vertragsgestaltung nicht vernachlässigen: Achten Sie bei KI-Anbietern auf saubere AVV-Vereinbarungen und klare Regelungen zu Haftungs- und Risikofragen.

Für IT- und Datenschutzverantwortliche

Auftragsdatenverarbeitung sicherstellen: Bei allen KI-Systemen, die personenbezogene Daten verarbeiten, ist eine AVV mit dem Anbieter zwingend erforderlich.
Schatten-KI proaktiv begegnen: Stellen Sie businesskonforme Alternativen bereit, bevor Mitarbeiter auf externe Tools ausweichen.
Geschäftsgeheimnisse schützen: Implementieren Sie technische und organisatorische Maßnahmen, die verhindern, dass sensible Unternehmensdaten in KI-Systeme gelangen.
Updates und Überwachung: Etablieren Sie Prozesse für regelmäßige System-Updates und Monitoring – dies ist Teil Ihrer Verkehrssicherungspflicht.

Für Marketing und Kundenservice

Sollbruchstellen bei externen Chatbots: Leiten Sie bei sensiblen Themen automatisch an menschliche Mitarbeiter weiter – das schützt vor Haftung und imageschädigenden Vorfällen.
Vorsicht bei Marken in KI-Bildern: Nutzen Sie keine generierten Bilder mit erkennbaren fremden Marken oder Logos im geschäftlichen Kontext.
Urheberrechtsprüfung bei Texten: Überprüfen Sie markante Textpassagen vor Veröffentlichung in Suchmaschinen auf mögliche Übereinstimmungen mit geschützten Werken.
Fehlender Schutz eigener KI-Inhalte: Seien Sie sich bewusst, dass KI-generierte Inhalte nicht urheberrechtlich geschützt sind und von Dritten kopiert werden können.

Die rechtlichen Herausforderungen beim KI-Einsatz sind komplex, aber beherrschbar. Entscheidend ist die frühzeitige und strukturierte Auseinandersetzung mit den Anforderungen. Die nächsten Jahre werden spannend, da sich die Rechtsprechung zu vielen noch offenen Fragen entwickeln wird. Unternehmen, die jetzt die Grundlagen legen – durch Policy, Schulungen und saubere Vertragsgestaltung – sind bestens aufgestellt, um KI sicher und wertschöpfend einzusetzen.