KI-Gesetz: Vorgaben für Nutzung von KI im Online-Business

Im Online-Handel wird immer häufiger auch KI eingesetzt, z.B. bei der Produktgestaltung, im Marketing und im Support. Das KI-Gesetz der EU sieht für KI-Systeme einige Pflichten vor. Wir geben einen Überblick.

Das KI-Gesetz der EU

1. Was regelt das KI-Gesetz?

Am 1. August 2024 ist die Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz EU-weit in Kraft getreten, die im deutschen Sprachgebrauch auch als KI-Verordnung, KI-Gesetz oder AI-Act bezeichnet wird.

Das KI-Gesetz der EU ist weltweit das erste Gesetz seiner Art und bildet einen verbindlichen Rechtsrahmen für die Konzeption, die Entwicklung, den Betrieb und den Einsatz von künstlicher Intelligenz (KI) durch Unternehmen und sonstige Organisationen, vor allem im Rahmen von KI-Systemen und KI-Modellen. Das Gesetz verbietet bestimmte Arten von KI und enthält umfassende Pflichten, die beim Einsatz erlaubter KI künftig beachtet werden müssen.

2. Welche Arten von KI gibt es?

Der Begriff der künstlichen Intelligenz (KI) - im Englischen: Artificial Intelligence (AI) - ist vergleichsweise unbestimmt und kann Vieles umfassen.

Das KI-Gesetz spricht daher weniger von KI im Allgemeinen, sondern adressiert konkreter sog. KI-Systeme und KI-Modelle, die durch eher sperrige Definitionen bestimmt werden, welche für Nicht-Juristen kaum verständlich sind.

Wenn von KI-Systemen die Rede ist, sind damit in der Regel

• bestimmte Arten von Software bzw. digitalen Diensten gemeint, die
• nach Eingabe von Anweisungen und / oder Informationen
• bestimmte Funktionen
• (teil-)autonom ausführen,
• also Informationen bereitstellen, Dokumente erstellen oder sonstige digitale Leistungen liefern.

3. Welche KI-Systeme gibt es?

In der Praxis kommen viele verschiedene Arten von KI-Systemen i.S.d. KI-Gesetzes in ganz unterschiedlichen Lebensbereichen vor.

KI-Systeme könnten etwa in den Bereichen

• öffentliche Sicherheit (z.B. Gesichtserkennung auf Flughäfen und Bahnhöfen),
• Auswahl und Leistungsbewertung von Personal,
• Aufbereitung von umfangreichen Informationen in Unternehmen und Behörden (z.B. Analyse und Zusammenfassung von Dokumenten),
• Werbung, Marketing und Vertrieb (z.B. Schalten von Werbebannern im Internet, automatisierter Versand von Werbemails) und etwa auch in der
• Kundenkommunikation

eingesetzt werden.

Vorgaben des KI-Gesetzes für den Einsatz von KI

1. Ist der Einsatz von KI-Systemen verboten?

Nein, der Einsatz von vielen KI-Systemen ist nicht verboten, sondern erlaubt, wenn bestimmte Bedingungen beachtet werden.

Verboten sind bloß bestimmte Hochrisiko-KI-Systeme, die besonders hohe Risiken für die Sicherheit, Gesundheit und Grundrechte von Menschen bedeuten

Im Übrigen ist die Konzeption, die Entwicklung und der Einsatz von KI-Systemen zulässig. Je nach Risiko eines KI-Systems sind dabei allerdings mehr oder weniger umfangreiche Pflichten und Vorgaben einzuhalten.

2. Wonach bestimmen sich die Vorgaben beim Einsatz von KI-Systemen?

Die Vorgaben und Pflichten für KI-Systeme bestimmen sich nach dem KI-Gesetz danach, ob und wie hoch das mit der Entwicklung und dem Einsatz eines KI-Systems verbundene Risiko für die Sicherheit, Gesundheit und die Grundrechte von Menschen ist.

Dabei unterscheidet das KI-Gesetz letztlich vier Risikokategorien, denen KI-Systeme unterfallen können:

• Verbotene KI-Systeme: Das KI-Gesetz verbietet die Entwicklung und den Einsatz von bestimmten KI-Systemen, mit denen ein nicht vertretbares Risiko für Menschen verbunden wäre. Hierzu zählen z.B. Systeme zum sog. Social Scoring.
• Hochrisiko KI-Systeme: KI-Systeme, die mit einem hohen Risiko für die Sicherheit, die Gesundheit und die Grundrechte von Menschen verbunden sind, unterliegen nach dem KI-Gesetz umfassenden Pflichten schon bei der Entwicklung, aber auch beim Einsatz, wie z.B. Risikoanalysen, Informations- und Überwachungspflichten. Zu solchen KI-Systemen zählen z.B. KI-Software, die für die Leistungsbewertungen von Mitarbeitenden oder die Auswahl von Bewerbern eingesetzt werden.
• Transparenz-Risiko: Viele schlichte KI-Systeme, die mit bloß wenigen und geringen Risiken für Menschen verbunden sind, unterliegen nach dem KI-Gesetz dementsprechend nur wenigen und geringen Pflichten. Im Wesentlichen gelten für solche KI-Systeme lediglich Transparenz-, also Kennzeichnungs- und Informationspflichten. Zu solchen KI-Systemen sind in der Regel z.B. Chatbots im Kundensupport oder der Einsatz von KI-generierten Inhalten zu zählen.
• Kein oder nur geringeres Risiko: KI-Systeme mit keinem oder nur einem geringen Risiko für Menschen dürfen ohne Einhaltung von Pflichten nach dem KI-Gesetz entwickelt und eingesetzt werden. Hierzu dürften z.B. Spam-Filter mit KI zu zählen sein.

Eine große Herausforderung für Unternehmen, die KI-Systeme entwickeln oder einsetzen wollen, ist die Einstufung, zu welcher Risikokategorie ihr KI-System zu zählen ist, um die relevanten Vorgaben und Pflichten nach dem KI-Gesetz zu identifizieren und einzuhalten.

3. Wer muss die Pflichten nach dem KI-Gesetz beachten?

Wer nach dem KI-Gesetz welche Pflichten beachten muss, hängt davon ab, welche Rolle ein Unternehmen oder eine Person im Hinblick auf das jeweilige KI-System einnimmt, ob es dieses also etwa konzipiert, entwickelt, verwendet, einführt oder verkauft.

Vor allem zwei Arten von Akteuren werden nach dem KI-Gesetz unterschieden, die Adressaten von gesetzlichen Pflichten sind:

• Anbieter: Anbieter eines KI-Systems ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich. Anbieter sind somit quasi die Hersteller von KI-Systemen.
• Betreiber: Betreiber eines KI-Systems ist, wer ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet. Unternehmen, wie z.B. ein Webshop-Betreiber, der KI-Software im eigenen Online-Shop einsetzen, sind somit Betreiber eines KI-Systems i.S.d. KI-Gesetzes und unterliegen den gesetzlichen Pflichten eines Betreibers.

Mehr und umfangreiche Pflichten nach dem KI-Gesetz treffen den Anbieter eines KI-Systems, da dieser bei der Konzeption und Entwicklung des KI-Systems größere Einwirkungsmöglichkeiten auf das mit dem KI-System verbundene Risiko für die Sicherheit, Gesundheit und Grundrechte von Menschen hat. Betreiber eines KI-Systems müssen im Vergleich hierzu weniger Pflichten erfüllen.

Weitere Akteure nach dem KI-Gesetz sind:

• Bevollmächtigter: Bevollmächtigter i.S.d. KI-Gesetzes ist eine in der EU ansässige oder niedergelassene natürliche oder juristische Person, die vom Anbieter eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck schriftlich dazu bevollmächtigt wurde und sich damit einverstanden erklärt hat, in seinem Namen die in dieser Verordnung festgelegten Pflichten zu erfüllen bzw. Verfahren durchzuführen.
• Einführer: Einführer i.S.d. KI-Gesetzes ist eine in der EU ansässige oder niedergelassene natürliche oder juristische Person, die ein KI-System, das den Namen oder die Handelsmarke einer in einem Drittland niedergelassenen natürlichen oder juristischen Person trägt, in Verkehr bringt.
• Händler: Händler i.S.d. KI-Gesetzes ist eine natürliche oder juristische Person in der Lieferkette, die ein KI-System auf dem EU-Markt bereitstellt, mit Ausnahme des Anbieters oder des Einführers, also etwa ein Reseller in der EU.

Wichtig: Der einfache Nutzer von KI-Systemen am Ende der Kette muss keine Pflichten nach dem KI-Gesetz beachten, z.B. Verbraucher, die via KI-Chatbot mit dem Kundensupport eines Unternehmens kommunizieren.

4. Wann tritt das KI-Gesetz in Kraft?

Das KI-Gesetz ist bereits am 1. August 2024 in Kraft getreten. Die meisten Vorgaben und Pflichten gelten tatsächlich aber erst zu späteren Zeitpunkten:

• Seit 2. Februar 2025 geltend u.a. die Vorgaben zur sog. KI-Kompetenz, die Mitarbeiter für den Umgang mit KI-Systemen benötigen, sowie das Verbot von KI-Systemen, die unvertretbare Risiken für Menschen mit sich bringen.
• Ab 2. August 2025 gelten zudem auch die Vorgaben und Pflichten im Zusammenhang mit KI-Systemen mit allgemeinem Verwendungszweck, bestimmte Regelungen für Behörden sowie etwa auch die Vorschriften für Sanktionen.
• Ab 2. August 2026 gelten u.a. auch die Informationspflichten beim Einsatz von KI-Systemen.
• In der letzten Stufe ab 2. August 2027 gelten auch Regelungen für Hochrisiko-KI-Systeme.

Nutzung von KI-Software im Online-Business

1. Wo kann KI-Software im Online-Business eingesetzt werden?

Dem Einsatz von KI im Online-Business sind praktisch keine Grenzen gesetzt.

Mit ein wenig Phantasie kann man sich gut ausmalen, wo und wie KI-Software das Geschäft von Online-Händlern und Betreibern anderer Websites und sonstiger Online-Präsenzen erleichtern oder sogar optimieren kann.

2. Was müssen Online-Unternehmer beim Einsatz von KI-Software beachten?

Beim Einsatz von KI-Software im Online-Business wird es sich häufig nicht um Hochrisiko-KI-Systeme handeln, bei denen umfangreiche Vorgaben und Pflichten zu beachten wären.

Vielmehr dürften dies in der Regel KI-Systeme mit nur geringem Risiko und sogar keinem Risiko für Menschen sein, bei denen die Betreiber von Webshops und sonstigen Online-Präsenzen daher nur wenige Vorgaben zu beachten haben.

Allerdings müssen Verwender von KI-Software dies zunächst einmal evaluieren.

3. Muss bei Verwendung von KI-generierten Inhalten informiert werden?

Ja, Art. 50 Abs. 4 des KI-Gesetzes enthält entsprechende Kennzeichnungspflichten, die ab 2. August 2026 gelten.

Betreiber eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die ein Deepfake sind, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. (…)

Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die in diesem Absatz festgelegten Transparenzpflichten darauf, das Vorhandensein solcher erzeugten oder manipulierten Inhalte in geeigneter Weise offenzulegen, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt.

Betreiber eines KI-Systems, das Text erzeugt oder manipuliert, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, müssen offenlegen, dass der Text künstlich erzeugt oder manipuliert wurde.

Diese Pflicht gilt nicht, (…) wenn die durch KI erzeugten Inhalte einem Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt.

4. Muss beim Einsatz von KI-Software auch das Datenschutzrecht beachtet werden?

Ja, beim Einsatz von KI-Software muss neben den Vorgaben des KI-Gesetzes bereits heute auch das Datenschutzrecht beachtet werden.

Zwar verarbeitet nicht jede KI-Software auch personenbezogene Daten. Wenn allerdings personenbezogene Daten durch eine KI-Software verarbeitet werden, müssen auch die Bestimmungen der EU-Datenschutz-Grundverordnung (DSGVO) eingehalten werden.

Dies bedeutet insbesondere, dass die Datenverarbeitung bei Nutzung der KI-Software:

• einer hinreichenden Rechtsgrundlage bedarf,
• für die Erreichung eines bestimmten Zwecks erforderlich sein muss und
• die betroffenen Personen, deren Daten durch die KI-Software verarbeitet werden, über diese Datenverarbeitung im Einklang mit der DSGVO informiert werden müssen.

Folgen von Verstößen gegen das KI-Gesetz

1. Können Verstöße zu Geldbußen führen?

Ja, bei Verstößen gegen das KI-Gesetz drohen teils erhebliche Geldbußen:

• bis zu 7,5 Mio. € bzw. 1 % des weltweiten Jahresumsatzes eines Unternehmens, wenn Pflichtinformationen fehlerhaft bereitgestellt werden
• bis zu 15 Mio. € bzw. 3% des weltweiten Jahresumsatzes eines Unternehmens, wenn gegen sonstige Pflichten aus dem KI-Gesetz verstoßen wird
• bis zu 35 Mio. € bzw. 7% des weltweiten Jahresumsatzes eines Unternehmens, wenn gegen die Vorgaben des KI-Gesetzes bei verbotenen KI-Systemen verstoßen wird.

2. Können Verstöße auch abgemahnt werden?

Es ist durchaus denkbar, dass einige Pflichten und sonstigen Vorgaben des KI-Gesetzes als sog. Marktverhaltensregelungen angesehen werden könnten, so dass Verstöße hiergegen von Mitbewerbern, Verbänden und sonstigen hierzu Berechtigten abgemahnt werden könnten.

3. Welche weiteren Konsequenzen drohen bei Verstößen?

Bei Verstößen gegen die Vorgaben und Pflichten des KI-Gesetzes drohen Unternehmen auch behördliche Maßnahmen durch die KI-Aufsichtsbehörden.

Dies kann z.B. behördliche Untersuchungen oder das Verbot der Entwicklung und des Einsatzes bestimmter KI-Systeme umfassen.

Tipp: Fragen zum Beitrag? Diskutieren Sie hierzu gerne mit uns in der Unternehmergruppe der IT-Recht Kanzlei auf Facebook .