BLOG -


EU-Kommission will Künstliche Intelligenz mit "unannehmbarem Risiko" verbieten, vertrauenswürdige KI fördern

Am 21. April 2021 hat die EU-Kommission den Vorschlag zu einer Verordnung gemacht. Mit dieser Verordnung sollen Vorschriften über Künstliche Intelligenz (KI) EU-weit harmonisiert werden.

In diesem Zusammenhang hat die EU-Kommission auch den „Koordinierten Plan für KI" aus 2018 überarbeitet und den Entwurf einer „Maschinenverordnung" zu Gesundheits- und Sicherheitsanforderungen von Maschinenprodukten vorgestellt.

Nachfolgend wollen wir Ihnen einen kurzen Überblick über den Vorschlag zu einer „KI-Verordnung" geben.

Übersicht

Die Verordnung

  • gilt für das Inverkehrbringen, die Inbetriebnahme und die Nutzung von „KI-Systemen",
  • statuiert Verbote bestimmter KI-Praktiken
  • stellt Anforderungen insbesondere für KI-Systeme mit hohem Risiko auf,
  • sieht Transparenzvorschriften vor für „KI-Systeme, die zur Interaktion mit natürlichen Personen bestimmt sind" ebenso wie für Systeme zur Erkennung von Emotionen und biometrischen Kategorisierung und Systeme zur Erzeugung oder Bearbeitung von Bild-, Audio- oder Videoinhalten.

Neben Anbietern und Nutzern aus EU-Mitgliedsstaaten sind auch Anbieter aus Drittstaaten adressiert, wenn sie KI-Systeme in der EU anbieten; gleiches gilt, wenn der von KI-Systemen aus Drittstaaten erzeugte „output" in der EU verwendet wird. Keine Anwendung findet die Verordnung auf militärische KI-Systeme.

Damit soll nach der Vorstellung der EU-Kommission "Europa das globale Zentrum für vertrauenswürdige künstliche Intelligenz werden". Der Verordnungsvorschlag befindet sich nun im Gesetzgebungsverfahren, bei dem das EU-Parlament und der Ministerrat noch einige Änderungsvorschläge unterbreiten dürften.

KI-Systeme

Ein KI-System soll nach der Definition der Verordnung Software sein, „die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Ansätzen entwickelt wurde und für einen gegebenen Satz von durch den Menschen definierten Zielen Ausgaben wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die die Umgebungen beeinflussen, mit denen sie interagieren". (Übersetzung durch den Verfasser) Bei den in Anhang I genannten

Techniken handelt es sich beispielsweise um machine-learning oder logik- und wissensbasierte Ansätze wie u.a. induktive (logische) Programmierung.

Damit ist die Definition von „KI-Systemen" nach der Verordnung recht weit und erfasst eine Vielzahl von Anwendungen, sowohl zur unmittelbaren wie auch zur mittelbaren Nutzung.

Risikobasierter Ansatz

Die vorgeschlagenen Vorschriften orientieren sich maßgeblich an dem Risiko, das von dem jeweiligen System ausgeht:

Systeme mit „unannehmbarem Risiko"

Bestimmte KI-Systeme, die ein sogenanntes „unannehmbares Risiko" darstellen (beispielsweise Systeme, die menschliches Verhalten durch unterschwellige Techniken manipulieren und hierdurch dem Menschen schaden oder Systeme, die Behörden eine Bewertung der Vertrauenswürdigkeit von Menschen, basierend auf deren Sozialverhalten ermöglichen und dies zu einer Benachteiligung von Menschen führt) sollen verboten werden.

Systeme mit „hohem Risiko"

Systeme, die ein „hohes Risiko" aufweisen (wie in kritischen Infrastrukturen, aber auch im Bereich der Produktsicherheit beispielsweise bei roboterassistierter Chirurgie oder bei der Strafverfolgung und Rechtspflege) sollen strenge Vorgaben erfüllen, bevor sie auf den Markt kommen. Der Schwerpunkt der Verordnung liegt derzeit auf diesen Systemen.

Solche Systeme sollen u.a. angemessene Risikobewertungs- und Risikominderungssysteme aufweisen, Vorgänge zur Rückverfolgbarkeit protokollieren („Logs"), eine angemessene menschliche Aufsicht vorweisen und hinreichend robust, sicher und genau sein. Systeme mit hohem Risiko, die Techniken verwenden, bei denen Modelle mit Daten trainiert werden, werden auf der Grundlage von Trainings-, Validierungs- und Testdatensätzen entwickelt, die bestimmte Qualitätskriterien erfüllen müssen. Vor dem Inverkehrbringen oder der Inbetriebnahme von Systemen mit hohem Risiko ist eine technische Dokumentation entsprechend in der Verordnung vorgesehener Anforderungen zu erstellen und auf dem neuesten Stand zu halten. Zudem wird das Durchlaufen eines bestimmten Konformitätsbewertungsverfahrens verlangt, mit dem die Anforderungen an Systeme mit hohem Risiko überprüft werden; eine EU-Konformitätserklärung und das Anbringen eines CE-Kennzeichens werden ebenfalls notwendig.

Ergänzend sieht die Verordnung Pflichten für Importeure und Vertriebe vor, insbesondere hinsichtlich der Prüfung von Konformitätsanforderungen. Nutzer müssen Systeme mit hohem Risiko nach der Gebrauchsanweisung benutzen und den Betrieb überwachen; Nutzer, die Veränderungen an solchen Systemen vornehmen, werden diversen Anforderungen unterworfen, die für Anbieter von KI mit hohem Risiko gelten.

Neben Systemen, die bestimmte Voraussetzungen erfüllen und damit nach der Verordnung ein „hohes Risiko" aufweisen, ist auch eine (regelmäßig anzupassende) Liste von Systemen, die in jedem Fall ein „hohes Risiko" aufweisen, vorgesehen.

Insbesondere interessant: Nach den Erwägungsgründen sollten für die Entwicklung von KI-Systemen mit hohem Risiko bestimmte Akteure (Anbieter, benannte Stellen, Innovations- und Forschungseinrichtungen) in der Lage sein, auf „hochwertige Datensätze" im Zusammenhang mit dieser Verordnung zuzugreifen und diese zu nutzen. Die von der EU-Kommission einzurichtenden gemeinsamen europäischen Datenräume (vgl. die „europäische Datenstrategie" der EU-Kommission) und eine Erleichterung des Datenaustauschs zwischen Unternehmen im öffentlichen Interesse sollen „entscheidend dazu beitragen, einen vertrauenswürdigen, verantwortlichen und diskriminierungsfreien Zugang zu hochwertigen Daten für das Training, die Validierung und das Testen von KI-Systemen zu ermöglichen".

Weitere Systeme

Die EU-Kommission (nicht der eigentliche Verordnungstext) differenziert weiter nach KI-Systemen mit „geringem" Risiko und „minimalem" Risiko.

Für bestimmte KI-Systeme (die die EU-Kommission, aber nicht der eigentliche Verordnungstext als Systeme mit „geringem Risiko" bezeichnet) sollen vor allem Transparenzvorgaben gelten. Dies betrifft beispielsweise Chatbots, aber auch „deep fakes". Hierbei handelt es sich um die eingangs genannten Systeme, „die zur Interaktion mit natürlichen Personen bestimmt sind", die Bearbeitung audiovisueller Inhalte ermöglichen usw. – bei diesen Systemen geht die EU-Kommission augenscheinlich aufgrund der allgemeinen Dienstkategorie davon aus, dass solche Systeme generell nur ein „geringes" Risiko darstellen.

Für alle anderen Systeme (EU-Kommission: Systeme mit einem „minimalen Risiko") sollen keine weiteren Anforderungen gelten; diese Systeme sollen frei nutzbar sein. Dies soll u.a. KI-gestützte Videospiele oder Spamfilter betreffen – und nach Auffassung der EU-Kommission „die große Mehrheit der KI-Systeme" erfassen.

Die Echtzeit-Nutzung von „biometrischen Fernidentifizierungssystemen", wie sie beispielsweise Strafverfolgungsbehörden nutzen können, soll grundsätzlich verboten werden. Ausnahmen sollen nur in besonderen Fällen gelten, beispielsweise bei der Suche eines vermissten Kindes, der Abwehr von Gefahren für Leib und Leben oder terroristischen Bedrohungen.

Strafen

Verstöße gegen das Verbot bestimmter KI-Systeme sollen mit bis zu EUR 30 Mio. oder, bei Unternehmen, bis zu 6% des weltweiten Jahresumsatzes bestraft werden können – je nachdem, welcher Wert höher ist. Diese Strafen sollen auch anfallen, wer die Anforderungen an Systeme mit hohem Risiko, die Techniken verwenden, bei denen Modelle mit Daten trainiert werden, nicht eingehalten werden.

Hinsichtlich aller anderen KI-Systeme sollen Verstöße gegen die Anforderungen der Verordnung mit bis zu EUR 20 Mio. oder, bei Unternehmen, bis zu 4 % des weltweiten Jahresumsatzes geahndet werden. Die Erteilung falscher, unvollständiger oder irreführender Auskünfte an benannte Stellen und zuständigen nationalen Behörden in Beantwortung eines Ersuchens sollen mit Geldbußen von bis zu EUR 10 Mio. oder, bei Unternehmen, bis zu 2 % des weltweiten Jahresumsatzes geahndet werden.

Angesichts dieser drastischen Rechtsfolgen, die offenbar grundsätzlich auch für Nutzer von AI gelten, dürfte um eine Vielzahl von Fragen, im Gesetzgebungsverfahren und der späteren Rechtsanwendung noch massiv gestritten werden.

Behörden, Europäischer Ausschuss für Künstliche Intelligenz

Überwacht werden sollen die neuen Regelungen von den nationalen Marktüberwachungsbehörden. Jeder Mitgliedstaat soll eine Behörde benennen, die für die Begutachtung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig ist. Zusätzlich soll ein „Europäischer Ausschuss für künstliche Intelligenz" die Umsetzung begleiten, die durch freiwillige Verhaltenskodizes und die in jüngerer Zeit immer öfter von der EU vorgeschlagenen regulatorischen „Sandkästen" ergänzt werden soll. Regulatorische „Sandkästen“ sind ein konkreter Rahmen für bestimmte, strukturierte Experimente, der es ermöglicht, beispielsweise innovative Technologien oder Dienstleistungen in einer realen Umgebung für einen begrenzten Zeitraum oder in einem begrenzten Teil einer Branche oder eines Gebiets unter behördlicher Aufsicht und Gewährleistung angemessener Schutzmaßnahmen zu erproben.

Im Übrigen soll der Europäische Datenschutzbeauftragte berechtigt werden, Geldbußen gegen Organe, Agenturen und Einrichtungen der EU zu verhängen, die in den Anwendungsbereich der Verordnung fallen.

Ausblick

Gerade am vorliegenden Verordnungsentwurf wird der regulatorische Spagat zwischen den Interessen der Wirtschaft und den Interessen der Bevölkerung – zwischen „sicherer" KI einerseits und Innovationswachstum andererseits – besonders deutlich.

Der Entwurf erhöht insgesamt die Regulierungsdichte, birgt aber möglicherweise auch einiges Potenzial zur Einführung und Nutzung von KI-Systemen verschiedenster "Risikoniveaus". Damit einher geht das Potenzial, KI-Systeme zu schaffen, die idealerweise (bestmöglich) „sicher" sind. Die Akzeptanz und Nutzung von KI-Systemen könnte dies idealerweise tatsächlich fördern.

Vor den Erfolg hat die Kommission jedoch den Fleiß gesetzt. So müssen Anbieter von KI nach dem bisherigen Vorschlag künftig prüfen, ob ihre Systeme zulässig sind – und wenn ja, unter welchen Voraussetzungen. Weiterhin müssen insbesondere Anbieter von KI-Systemen mit „hohem Risiko" einige Anforderungen erfüllen, um ihre Produkte in der EU auf den Markt zu bringen. Zwar geht die EU-Kommission davon aus, dass die Mehrzahl der Systeme (derzeit) KI-Systeme mit minimalem Risiko darstellen. In der Praxis dürfte indes immer noch eine ganze Reihe von Systemen betroffen sein. Die erheblichen Strafen könnten dabei durchaus innovationshemmende Wirkungen entfalten.

Welche spezifischen Voraussetzungen letztlich zu erfüllen sind, dürfte im Gesetzgebungsprozess noch die eine oder andere Veränderung erfahren. Allerdings verfolgte bereits in der Vergangenheit auch das EU-Parlament grundsätzlich einen risikobasierten Ansatz (vgl. die Entschließung des Europäischen Parlaments vom 20. Oktober 2020 mit Empfehlungen an die EU-Kommission für eine Regelung der zivilrechtlichen Haftung beim Einsatz Künstlicher Intelligenz, (2020/2014(INL)). Daher dürfte dieser Ansatz auch im weiteren Prozess beibehalten werden. Der Vorschlag des Parlaments, eine Liste von KI-Systemen mit hohem Risiko zu erstellen, die regelmäßig überarbeitet wird, hat die EU-Kommission (für bestimmte Systeme) schon einmal aufgegriffen – ob dieser Ansatz wirklich praktikabel ist, muss sich noch zeigen. Politisch durchsetzen dürften sich hingegen die verlangte Konformitätsprüfung und die Notwendigkeit einer CE-Kennzeichnung – auch wenn fraglich ist, wie letzteres gerade bei Software oder komplexen KI-Systemen (bspw. autonomen Fahrzeugen) in der Praxis sinnstiftend anzuwenden ist.

Ob die Mitgliedstaaten sich zur Einführung „regulatorischer Sandkästen" hinreißen lassen, bleibt ebenfalls abzuwarten. Tatsächlich könnten diese Sandkästen aber eine Möglichkeit bieten, Innovationen, ggf. auch unter entsprechend struktureller und finanzieller staatlicher Förderung, zu testen, bevor sie „marktreif" werden. Möglicherweise gibt es hiernach demnächst Sandkästen für Flugtaxis?

Weitergehende Informationen zu rechtlichen Bedingungen für Künstliche Intelligenz finden Sie übrigens auch in unserer Publikation „Recht der Künstlichen Intelligenz und intelligenten Robotik", die Sie HIER erhalten können.

Für Fragen zu Künstlicher Intelligenz stehen Ihnen unsere Experten gern zur Verfügung.

Dr. Florian Jäkel-Gottmann




TAGS

Künstliche Intelligenz EU-Kommission