Rechtliche Aspekte beim Einsatz von KI-Anwendungen im Unternehmen

Die Integration von Künstlicher Intelligenz (KI) in Unternehmensprozesse nimmt branchenübergreifend weiter Fahrt auf und ebenso schnell steigt die Anzahl und die Qualität der auf dem Markt verfügbaren Anwendungen für die unterschiedlichsten Einsatzbereiche. Die Nutzung von KI-Systemen bietet Unternehmen enorme Chancen, insbesondere in den Bereichen Automatisierung, Effizienzsteigerung und Innovation. Dabei ist die Einführung von KI-Technologien nicht nur eine technische und organisatorische Herausforderung, sondern auch aus rechtlicher Perspektive alles andere als trivial. Um entsprechenden Risiken vorzubeugen und empfindliche Sanktionen zu vermeiden, sollten die entsprechenden rechtlichen Fragestellungen daher bereits bei der Konzeption des Einsatzes und der Auswahl der entsprechenden KI-Anwendungen, darüber hinaus bei deren Implementierung und erst recht im Rahmen der Nutzung der KI-Anwendungen ausreichend Berücksichtigung finden. Der nachfolgende Beitrag soll Unternehmen, die KI-Systeme als Anwender einsetzen, als erste Orientierungshilfe für den Einstieg in die KI-Compliance dienen und zugleich einen Überblick über die wesentlichen rechtlichen Aspekte beim Einsatz von KI-Anwendungen in Unternehmen geben.

1. KI und Datenschutz

Einer der wichtigsten rechtlichen Aspekte beim Einsatz von KI-Anwendungen ist der Schutz der Daten, die als sogenannte Eingabedaten in Betracht kommen. Unter Eingabedaten versteht man dabei die Daten, die in ein KI-System eingespeist oder von diesem direkt erfasst werden und auf deren Grundlage das System eine Ausgabe hervorbringt (so auch die Definition in Artikel 3 Nr. 33 der KI-Verordnung [VO (EU) 2024/1689]).

Von besonderer Relevanz sind in diesem Kontext zum einen personenbezogene Daten, d. h. Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen (so auch die Definition in Art. 4 Nr. 1 Datenschutzgrundverordnung (DSGVO, VO (EU) 2016/679), und zum anderen solche Daten, die Geschäftsgeheimnisses darstellen. Dabei sind hier neben den eigenen Geschäftsgeheimnissen des Anwenders vor allem auch Geschäftsgeheimnisse Dritter zu beachten.

(1) Personenbezogene Daten

Bereits die Frage, ob die zu verwendenden Daten personenbezogen sind, ist, gerade bei größeren Datensätzen, oft nicht leicht zu erkennen und ergibt sich in vielen Fällen erst aufgrund der Struktur der entsprechenden Datensätze. Daher ist bereits im Rahmen der Konzeption des Einsatzes von KI-Anwendungen die Auswahl und der Zuschnitt der Eingabedaten sorgfältig zu bestimmen und in Bezug auf die Einbeziehung personenbezogener Daten zu analysieren.

Sofern personenbezogene Daten genutzt bzw. verarbeitet werden, müssen Unternehmen sicherstellen, dass die einschlägigen datenschutzrechtlichen Bestimmungen eingehalten werden. Neben möglichen gesetzlichen Spezialvorschriften, die aufgrund des jeweiligen Verarbeitungszwecks anwendbar sein können, sind dies in erster Linie die Bestimmungen der DSGVO. Dabei sind insbesondere folgende Anforderungen zu beachten:

Rechtsgrundlagen der Datenverarbeitung: Personenbezogene Daten dürfen nur dann verarbeitet werden, wenn es dafür eine ausreichende Rechtsgrundlage gibt. Dies bedeutet, dass es für die entsprechende Verarbeitung bzw. Nutzung der Daten entweder einer gesetzlich geregelten Erlaubnis (hier kommen insbesondere die Tatbestände des Art. 6 Abs. 1 DSGVO in Betracht) oder einer ausdrücklichen Einwilligung des jeweils Betroffenen bedarf.
Datenminimierung und Zweckbindung: Weiter ist zu beachten, dass nur diejenigen Daten für die Verarbeitung genutzt werden dürfen, die für die Erreichung des Zwecks, der von der jeweiligen Rechtsgrundlage gedeckt ist, unbedingt erforderlich sind (Grundsatz der Datenminimierung). Zudem dürfen die Daten nur für den jeweils festzulegenden Zweck, der von der Rechtsgrundlage gedeckt ist, verarbeitet werden und sonst nicht.
Datensicherheit: Unternehmen müssen sicherstellen, dass bei der Verarbeitung der personenbezogenen Daten solche organisatorischen und vor allem technischen Maßnahmen implementiert wurden, die ein – in Bezug auf die mit der Verarbeitung verbundenen Risiken – angemessenes Schutzniveau gewährleisten. Besonderes Augenmerk ist dabei auf die Übermittlung personenbezogener Daten an Dritte (Provider und Anbieter entsprechende IT-Systeme) zu legen, insbesondere wenn die Übermittlung dabei in Länder außerhalb des europäischen Wirtschaftsraums (EWR) erfolgt. Denn der europäische Gesetzgeber geht grundsätzlich davon aus, dass in diesen Ländern (sogenannte Drittländer) kein ausreichendes Schutzniveau für die Daten besteht, weshalb gesonderte Maßnahmen ergriffen werden müssen, um die Sicherheit insoweit zu gewährleisten.
Dokumentation, Transparenz und Informationspflichten: Werden personenbezogene Daten verarbeitet, ist dies gemäß den spezifischen Anforderungen der DSGVO zu dokumentieren. Zudem müssen die betroffenen Personen, deren personenbezogene Daten verarbeitet werden, in transparenter Art und Weise vorab über die Verarbeitung informiert werden (etwa im Rahmen von Datenschutzerklärungen und sonstigen Hinweisen).

(2) Sonstige Daten / Geschäftsgeheimnisse

Jenseits der personenbezogenen Daten ist darauf zu achten, dass bei der Verwendung von Daten als Eingabedaten eine etwaige Vertraulichkeit der Daten gewahrt wird. Dies gilt zum einen in Bezug auf eigene Geschäftsgeheimnisse des Anwenders des KI-Systems, insbesondere jedoch in Bezug auf vertrauliche Daten Dritter, die als Geschäftsgeheimnisse sowohl auf gesetzlicher Grundlage aber auch auf Grundlage etwaiger Vertraulichkeitsvereinbarungen (NDA) geschützt sind und nur eingeschränkt oder gar nicht im Zusammenhang mit entsprechenden KI-Anwendung genutzt werden können.

Auch insoweit ist die Auswahl und der Zuschnitt der Eingabedaten im Rahmen der Konzeption des Einsatzes der jeweiligen KI-Anwendungen sorgfältig zu analysieren.

2. Anforderungen der KI-Verordnung

Die europäische Verordnung über künstliche Intelligenz (VO (EU) 2024/1689), kurz KI-Verordnung, setzt erstmalig einen einheitlichen Rechtsrahmen für die Entwicklung, das Inverkehrbringen und die Verwendung von KI-Systemen in der Europäischen Union.

Die KI-Verordnung verfolgt einen sogenannten risikobasierten Ansatz, indem sie KI Systeme, ausgehend von dem mit ihnen verbundenen Risiko beim Einsatz, in vier unterschiedliche Kategorien einordnet. Je nach Einordnung des Systems, sind unterschiedliche Pflichten insbesondere für Anbieter und Anwender der Systeme (in der KI-Verordnung „Betreiber“ genannt) vorgesehen.

Folgende Kategorien sind danach in Bezug auf die Risikoklassifizierung zu unterscheiden:

(1) Systeme, die verbotene Praktiken darstellen

KI-Anwendungen, die verbotene Praktiken darstellen, sind in Art. 5 der KI-Verordnung geregelt. Erfasst sind in erster Linie Anwendungen, die auf öffentliche Anwender und weniger auf private Unternehmen abzielen, wie etwa KI-Systeme für das sogenannte „Social Scoring“ oder zur Vorhersage von Straftaten auf der Grundlage eines Profilings. Diese dürfen weder in Verkehr gebracht noch eingesetzt werden.

(2) Hochrisiko-KI-Systeme (streng geregelt)

Die sogenannten Hochrisiko-KI-Systeme sind streng geregelt und in Art 6 sowie im Anhang III der KI-Verordnung definiert. Dazu gehören beispielsweise KI-Systeme, die bestimmungsgemäß als Sicherheitsbauteile im Rahmen der Verwaltung und des Betriebs kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Wasser-, Gas-, Wärme- oder Stromversorgung verwendet werden sollen. Aber auch biometrische Fernidentifizierungssysteme oder KI Systeme, die der Entscheidungsunterstützung in Bezug auf Beschäftigungsverhältnisse dienen, sind neben anderen als Hochrisiko-KI-Systeme eingestuft.

Die Pflichten, die Betreiber solche Systeme betreffen, sind in Art. 26 KI-Verordnung geregelt und umfassen insbesondere:

Technische und organisatorische Maßnahmen: Treffen geeigneter technischer und organisatorischer Maßnahmen (TOM), damit das System gemäß den Vorgaben des Anbieters verwendet wird.
Menschliche Aufsicht: Sicherstellung, dass die Aufsicht des Systems durch geschulte und kompetente natürliche Personen erfolgt, die in der Lage sind, Entscheidungen des Systems zu überwachen und zu korrigieren.
Überwachung des Betriebs: Laufende Überwachung der Systemleistung entsprechend den Vorgaben des Anbieters und ggfs. Pflicht zur Information an den Anbieter bei Auffälligkeiten.
Protokollierung / Logging: Automatisch erzeugte Protokolle sind für einen angemessenen Zeitraum (mindestens 6 Monate) aufzubewahren.
Meldepflicht: Bei Kenntnis von schwerwiegenden Vorfällen oder Funktionsstörungen des Systems muss der Betreiber unverzüglich den Anbieter und die zuständigen Behörden informieren.
Kontrolle der Eingabedaten: Soweit der Betreiber die Kontrolle über die Eingabedaten hat, muss er deren Relevanz und Repräsentativität sicherstellen, um fehlerhafte Ergebnisse zu minimieren.

(3) Systeme mit begrenztem Risiko

Für KI-Systeme mit begrenztem Risiko, insbesondere KI-Systeme, die mit Menschen direkt interagieren oder Audio-, Bild-, Video- oder Textinhalte synthetisch erzeugen, gelten spezifische Transparenzpflichten (z. B. Hinweis auf KI-System im Rahmen von Chatbots, Kennzeichnung synthetischer oder Deepfake-Inhalte, etc.). Diese Pflichten sind in Art. 50 KI-Verordnung geregelt.

(4) Minimales Risiko (keine bzw. freiwillige Anforderungen)

KI-Systeme mit geringem Risiko stellen die Mehrzahl der heute eingesetzten KI-System dar (dazu gehören etwa Übersetzungs-Tools, Recherche-, Sortierungs- und Filtersysteme, Text- und Kommunikationswerkzeuge, etc.) und unterliegen keinen gesonderten Vorgaben durch die KI-Verordnung. Betreibern werden jedoch zur Gewährleistung von Qualität und Transparenz freiwillige Verhaltenskodizes und Best-Practices empfohlen (vgl. auch Art. 95 KI-Verordnung).

3. KI und Geistiges Eigentum

Ebenfalls von wesentlicher Bedeutung beim Einsatz von KI-Systemen sind Aspekte des geistigen Eigentums, insbesondere des Urheberechts. Entsprechende Fragestellungen tauchen dabei an verschiedenen Stelle bzw. in unterschiedlichem Kontext auf.

(1) KI-generierte Inhalte und geistiges Eigentum

Fragen des geistigen Eigentums stellen sich zum einen in Bezug auf die Nutzung der Inhalte, die von KI-Systemen für den Anwender generiert wurden. So können diese Inhalte Schutzrechte Dritter, insbesondere Urheberrechte, verletzen, wenn sie entsprechend geschützte Materialien, wie etwa Texte oder Bilder, enthalten.

Daher sollten beim Einsatz von generativen KI-Systemen bereits bei der Konzeption der entsprechenden Unternehmensprozesse angemessene Mechanismen zur inhaltlichen Kontrolle des generierten Outputs berücksichtigt werden.

Umgekehrt ist zu beachten, dass der Anwender an den von ihm unter Verwendung von KI-Systemen generierten Inhalten in der Regel keinen eigenen urheberrechtlichen Schutz begründet. Insbesondere sind Inhalte, die durch KI-Systeme geschaffen werden – ausgenommen sind hier Fragestellungen in Bezug auf vorbestehende Rechte Dritter durch rechtsverletzende Eingabe- und Trainingsdaten – grundsätzlich nicht urheberrechtlich geschützt, da sie in der Regel keine persönlich geistige Schöpfung darstellen. Eine solche Schöpfung setzt per Definition voraus, dass eine natürliche Person am entsprechenden Schöpfungsprozess mit entsprechender eigener schöpferischer Leistung beteiligt ist. Der fehlende urheberrechtliche Schutz der generierten Inhalte hat insbesondere insoweit Auswirkungen, als man Dritten die Übernahme dieser Inhalte zumindest auf urheberrechtlicher Basis nicht untersagen kann.

(2) Geschützte Materialien als Eingabedaten

Bei der Auswahl von Eingabedaten im Rahmen der Nutzung von KI-Systemen, sollte zudem berücksichtigt werden, dass auch die Nutzung von Materialien als Eingabedaten Rechte Dritter, insbesondere Urheberrechte, berühren kann. Je nach Art der Verwendung und des verwendeten Materials, sollte vorab der Ursprung des verwendeten Materials und die Rechtslage in Bezug auf Rechte Dritter geprüft werden.

Auch insoweit empfiehlt es sich, die Art und Struktur der als Eingabedaten zugelassenen Inhalte unternehmensintern verbindlich zu regeln (etwa durch entsprechende Richtlinien) und die Einhaltung der Vorgaben im Rahmen definierter Prozesse zu überwachen.

4. Arbeitsrechtliche Fragestellungen

Je nach Art der KI-Anwendung und dem entsprechenden Einsatzbereich, können verschiedene arbeitsrechtliche Implikationen bei der Nutzung von KI Systemen in Unternehmen gegeben sein.

Neben Fragen des Arbeitnehmerdatenschutzes – so etwa Fragen in Bezug auf die Rechtmäßigkeit der Verarbeitung von Arbeitnehmerdaten in KI-gestützten Verarbeitungsprozessen oder in Bezug auf die Zulässigkeit KI-gestützter automatisierter Entscheidungen im Beschäftigungskontext oder dem Erfordernis einer Datenschutzfolgenabschätzung für bestimmte intensive KI-gestützte Verarbeitungsprozesse –, sind im Zusammenhang mit der Implementierung von KI-Systemen aus arbeitsrechtlicher Perspektive insbesondere auch Aspekte der betrieblichen Mitbestimmung zu berücksichtigen.

(1) Unterrichtungs- und Beratungsrechte

So sind vor Einführung von KI-System im Unternehmen zunächst die diesbezüglichen Informations- und Beratungsrechte des Betriebsrats zu beachten. Hier ist insbesondere das spezielle Informationsrecht des § 90 Abs. 1 Nr. 3 BetrVG zu nennen, wonach der Arbeitgeber den Betriebsrat über die Planung von Arbeitsverfahren und Arbeitsabläufen einschließlich des Einsatzes von Künstlicher Intelligenz rechtzeitig unter Vorlage der erforderlichen Unterlagen zu unterrichten hat. § 90 Abs. 2 BetrVG sieht ergänzend ein Beratungsrecht vor. Danach hat der Arbeitgeber mit dem Betriebsrat die vorgesehenen Maßnahmen und ihre Auswirkungen auf die Arbeitnehmer, insbesondere auf die Art ihrer Arbeit sowie die sich daraus ergebenden Anforderungen an die Arbeitnehmer so rechtzeitig zu beraten, dass Vorschläge und Bedenken des Betriebsrats bei der Planung berücksichtigt werden können.

(2) Mitbestimmungsrechte

Relevant sind im Weiteren vor allem auch die Mitbestimmungsrechte des Betriebsrats gemäß § 87 Abs. 1 Nr. 6 und 7 BetrVG.

§ 87 Abs. 1 Nr. 6 BetrVG sieht ein Mitbestimmungsrecht in dem Fall vor, in dem ein KI-System zur Überwachung des Verhaltens oder der Leistung der Arbeitnehmer eingesetzt wird. Dabei ist es insoweit ausreichend, wenn das entsprechende KI-System objektiv geeignet ist, das Verhalten oder die Leistung der Arbeitnehmer zu überwachen. Eine Überwachungsabsicht des Arbeitgebers ist insoweit nicht erforderlich.

Weiter besteht nach § 87 Abs. 1 Nr. 7 BetrVG ein Mitbestimmungsrecht auch dann, wenn durch KI-Systeme Gefahren für die physische oder psychische Gesundheit der Mitarbeiter entstehen. Beim Einsatz von KI-Systemen in Form von generativer KI lediglich als Hilfsmittel für Mitarbeiter, dürfte dies jedoch regelmäßig nicht der Fall sein.

In selteneren Fällen könnte auch eine Mitbestimmung nach § 87 Abs. 1 Nr. 1 BetrVG in Betracht kommen, wenn KI-Systeme maßgeblichen Einfluss auf die Ordnung des Betriebs oder das Verhaltens der Arbeitnehmer im Betrieb haben.

Weitere Mitbestimmungsrechte des Betriebsrats können sich schließlich aus § 94 und 95 BetrVG ergeben, wenn KI-Systeme im Rahmen von Recruiting-Maßnahmen des Unternehmens eingesetzt werden.

5. Haftung und Verantwortung beim Einsatz von KI-Systemen

Ein weiterer wichtiger Aspekt im Zusammenhang mit dem Einsatz von KI-Systemen ist der Aspekt der Haftung für Schäden, die bei Dritten als (kausales) Resultat des Einsatzes von KI-Systemen entstehen.

Aus der hier maßgeblichen Perspektive der Anwender bzw. Betreiber von KI-Systemen, sind dabei insbesondere solche Konstellation relevant, bei denen der Anwender der KI-Systeme diese in die Erbringung seiner Leistung im Verhältnis zu Kunden einsetzt. Die denkbaren Einsatzszenarien sind dabei vielfältig: Vom Einsatz als Hilfsmittel in der Produkt- und Serviceentwicklung, über den Einsatz in der Logistik, im Rahmen von Finanzdienstleistungen und Zahlungsabwicklungen, im Marketing, im Rahmen von IT-Dienstleistungen, in der Kundenkommunikation oder medizinischen Dienstleistung (um nur einige zu nennen), ist hier vieles denkbar.

Wenn dabei Schäden des Kunden auf Fehler im Rahmen des KI-Systems selbst zurückzuführen sind, wird sich der Anwender des KI-Systems in erster Linie mit Haftungsansprüchen des Kunden auseinandersetzen müssen. Hier kommen zum einen vertragliche Ansprüche aus dem entsprechenden Vertragsverhältnis des Anwenders mit seinen Kunden, daneben aber auch gesetzliche Schadensersatzansprüche, insbesondere deliktische Ansprüche, in Betracht. Auf der anderen Seite stellen sich für den Anwender in diesen Fällen Fragen eines möglichen Regresses gegenüber dem Händler und/oder Anbieter des fehlerhaften KI-Systems sowie Fragen einer möglichen Deckung solcher Schäden durch entsprechende Versicherungen.

Aus Anwendersicht empfiehlt es sich daher bereits im Rahmen der Beschaffung eines KI-Systems besonderen Wert auf angemessene vertragliche Regelungen zur Haftung und zum Regress zu legen. Gleiches gilt spiegelbildlich in Bezug auf Verträge mit Kunden, wenn die entsprechenden KI-Systeme im Rahmen der Leistungserbringung gegenüber dem Kunden eingebunden sind. Insbesondere sollten die Haftungsregelungen im Einklang mit den Regressmöglichkeiten gegenüber dem Anbieter der KI-Systeme stehen bzw. sollten entsprechende Schäden beim Einkauf von Versicherungsleistungen mitbedacht werden

Darüber hinaus ist es wichtig, durch entsprechende unternehmensinterne Vorgaben und Richtlinien für den Einsatz von KI-Systeme, die Risiken des Unternehmens im Rahmen der Anwendung der KI-Systeme zu minimieren.

6. Compliance Management

Zur Sicherstellung der Einhaltung der unternehmensspezifischen rechtlichen Anforderungen im Zusammenhang mit dem Einsatz von KI-Systemen, sollten entsprechende Prozesse von Anfang an im Rahmen des unternehmensinternen Compliance-Managements berücksichtigt und eingebunden werden.

Dies umfasst Maßnahmen für alle drei Phasen entsprechender KI-Projekte: (1) Konzeption der KI-gestützten Unternehmensprozesse und Auswahl der KI-Systeme, (2) Implementierung der KI-Systeme und (3) Nutzung der KI-Systeme.

Die Etablierung entsprechender Compliance-Maßnahmen sollte dabei – neben der Definition und Dokumentation der Prozesse – auch die Einführung korrespondierender interner Vorgaben umfassen, insbesondere verbindliche Mitarbeiter-Richtlinien und Mechanismen zur Kontrollen der Einhaltung der Vorgaben. Weitere Maßnahmen sind themen- und anwendungsspezifische Schulungen der Mitarbeiter, (soweit diese nicht gesetzlich verpflichtend sind, etwa bei Hochrisiko-KI-Systemen) die in regelmäßigen Abständen aufgefrischt und erweitert werden sollten.

Fazit

Der Einsatz von Künstlicher Intelligenz im Unternehmen bietet große Potenziale, die jedoch – in Abhängigkeit von Einsatzgebiet und Art des jeweiligen KI-Systems – mit teilweise komplexen rechtlichen Anforderungen einhergehen. Werden die entsprechenden Compliance-Maßnahmen rechtzeitig ergriffen, lassen sich diese Herausforderungen und Risiken aber gut beherrschen.

Zurück