Der AI Act – Die Einigung und was sie bedeutet

Um mit den Worten von Kommissionspräsidentin Ursula von der Leyen zu sprechen: Es ist ein historischer Moment. Die europäischen Regulierungsbemühungen zu Künstlicher Intelligenz mündete am 8. Dezember 2023 nach einem drei Tage andauernden Verhandlungsmarathon in eine vorläufige politische Einigung auf das erste umfassende europäische Gesetz zu KI – den AI Act. Dabei handelt es sich nicht, wie gerne auch von den EU-Beteiligten selbst behauptet wird, um die weltweit erste Regelung zu KI, denn mit der executive order der Vereinigten Staaten und dem Gesetz zu automated decision-making in China existieren bereits entsprechende Bestimmungen in anderen Teilen der Welt.

Der AI-Act verfolgt das Ziel, dass nur solche KI-Systeme auf den europäischen Markt gebracht und in der EU genutzt werden, die sowohl sicher sind als auch die Grundrechte und Werte der EU respektieren. Allerdings: auch wenn man unbedingt eine Einigung erzielen wollte, so wurde das Verhandlungsergebnis verkündet, ohne bislang einen konsolidierten Text präsentieren zu können. Die politische Einigung soll nun erst in den kommenden Monaten in einen endgültigen Text gegossen werden. Hierzu sind bis Ende Februar mehrere technische Verhandlungstermine angesetzt. Da die aktuell verfügbaren Informationen teilweise erheblich voneinander abweichen, gilt es, bis zur Veröffentlichung des finalen Textes im ersten Quartal des Jahres 2024 abzuwarten. Der nachfolgende Überblick soll die wichtigsten bekannten Regelungen vorstellen.

Definition KI-System

Im neuen AI-Act wird zunächst eine zu den letzten Vorschlägen des Europäischen Parlaments veränderte Definition eines KI-Systems enthalten sein, welche sich an die Definition der OECD anlehnt. Die Definition der OECD lautet wie folgt:

“An AI system is a machine-based system that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments. Different AI systems vary in their levels of autonomy and adaptiveness after deployment.”

Hieran wird insbesondere kritisiert, dass die Definition ausgesprochen weit gefasst ist und hiernach beispielsweise sogar einfache Autokorrektur- oder Excel-Funktionen hierunter fallen. Insoweit bleibt der finale Gesetzestext einschließlich seiner Erwägungsgründe, die ja bekanntlich oft zur Feinjustierung bestimmter Begrifflichkeiten genutzt werden, abzuwarten.

Risikobasierter Ansatz

Diese Verordnung, die auf einen Vorschlag seitens der EU-Kommission vom April 2021 zurückgeht und Teil der Digitalstrategie der EU ist, verfolgt einen risikobasierten Ansatz. Danach werden KI-Systeme – je nach dem von ihnen ausgehenden Risiko - in verschiedene Gruppen eingeteilt: von solchen mit einem geringen Risiko über Hochrisiko-KI-Systeme bis hin zu verbotenen KI-Systemen.

Danach gelten für alle KI-Systeme sechs Grundsätze, respektive sollen sie (1) menschliches Handeln und menschliche Aufsicht ermöglichen, (2) technisch robust und sicher sein, (3) die Vorschriften der Privatsphäre und des Datenschutzes einhalten, (4) transparent sein, (5) Vielfalt, Diskriminierungsfreiheit und Fairness und (6) soziales und nachhaltiges Wohlergehen gewährleisten.

Verbotene KI-Systeme

Verboten sein werden in der EU zukünftige KI-Systeme, die ein inakzeptables Risiko beinhalten. Hierzu gehören beispielsweise Systeme manipulativer Techniken, Schwächen oder Schutzbedürftigkeit ausnutzende Systeme, das Social Scoring sowie Datenbanken, die auf einem massenhaften Auslesen von Gesichtsbildern basieren.

Bis zuletzt wurde schwer gerungen, ob KI zur Gesichtserkennung erlaubt sein soll oder nicht. Während sich einzelne Länder für einen Einsatz von KI zur Gesichtserkennung stark gemacht hatten, beispielsweise Frankreich mit dem Argument, hiermit die Sicherheit rund um Großereignisse wie die Olympischen Spiele 2024 absichern zu können, herrschte überwiegend Skepsis. Trotz eines harten Kampfes über mehrere Verhandlungstage war kein vollständiges Verbot der biometrischen Echtzeit-Identifizierung gegen den massiven Widerstand der Mitgliedsländer erreichbar.Nach langen Diskussionen wurden die Verbote angepasst, bei denen es um eine Erkennung von Emotionen sowie um biometrische Fernidentifizierung geht.

So gilt das Verbot von KI-Systemen zur Erkennung von Emotionen jetzt nur noch am Arbeitsplatz und in der Ausbildung. Demgegenüber soll es auch zukünftig möglich bleiben, derartige Systeme aus medizinischen oder sicherheitstechnischen Gründen einzusetzen, um beispielsweise die Müdigkeit von Piloten zu überwachen.

Ebenfalls geändert wurden die Vorschriften zur biometrischen Fernidentifizierung. So blieben sowohl die Identifizierung in Echtzeit als auch die nachträgliche verboten. Ausnahmen sind zur Strafverfolgung in klar definierten Fallgestaltungen vorgesehen. Zusätzlich sieht das Gesetz einen Katalog an Schutzmaßnahmen, mit dem etwaige Missbräuche verhindert werden sollen.

Hochrisiko-Systeme

Ein großer Teil von KI-Systemen wird als Hochrisiko-KI-System einzuordnen sein. Hierunter fallen beispielsweise KI-gestützte Medizinprodukte oder autonome Fahrzeuge. Generell gelten unter anderem die Bereiche Bildung, kritische Infrastruktur, Migration, Asyl oder Grenzkontrollen als kritische Bereiche mit hohem Risiko.

Hockrisiko-KI-Systeme müssen eine Reihe von Anforderungen und Verpflichtungen erfüllen, um innerhalb der EU zugelassen zu werden. So müssen Konformitätsbewertungen durchgeführt werden sowie ein Qualitäts- und Risikomanagementsystem integriert werden. Ferner müssen Hockrisiko-KI-Systeme in der entsprechenden EU-Datenbank registriert werden. Unangetastet blieb, dass eine Folgenabschätzung für die Grundrechte durchgeführt werden muss, allerdings gilt dies nur für öffentliche Einrichtung und solche privaten Stellen, die wesentliche öffentliche Dienstleistungen erbringen, wie beispielsweise Krankenhäuser oder Banken. Nochmalige Änderungen wurden dabei zur Verteilung der Verantwortlichkeiten und der Rollen der verschiedenen Akteure vorgenommen.

Neu ist die Einführung eines Filtersystems. Danach kann ein KI-System seine Einstufung als Hockrisiko-System verlieren, wenn es eine von insgesamt vier Voraussetzungen erfüllt, etwa wenn es (1) eine menschliche Tätigkeit überprüfen oder verbessern soll oder (2) lediglich dazu dient, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, (3) nur zur Durchführung vorbereitender Aufgaben für eine Bewertung verwendet, die für kritische Anwendungsfälle relevant ist oder (4) nur eine enge verfahrenstechnische Aufgabe erfüllen soll.

KI-Systeme mit begrenztem Risiko

Für KI-Systeme mit begrenztem Risiko gelten zukünftig Transparenzverpflichtungen. Hierzu zählt vor allem die Information, dass ein bestimmter Inhalt von KI generiert wurde. Hierdurch soll sichergestellt werden, dass der Nutzer eine fundierte Entscheidung über die weitere Nutzung treffen kann.

Generative KI

In Bezug auf generative AI gibt es ebenfalls einige Änderungen. Dies verwundert nicht, handelte es sich hierbei doch um die umstrittensten Bestimmungen. Während sich das Europäische Parlament – nicht zuletzt unter dem Eindruck von ChatGPT – dafür ausgesprochen hatte, generative KI-Systeme zu regulieren, hatte die Kommission zuletzt die Auffassung vertreten, dass derartige KI-Systeme keiner Regelung bedürfen, es vielmehr ausreiche, wenn sich deren Hersteller lediglich Selbstverpflichtungen unterwerfen.

Anstelle der bisher als "Foundation Models" bezeichneten KI-Systeme wird nun von "General purpose AI" gesprochen. Die Definition von "general purspose AI" wurde dahingehend verändert, dass nur noch große generative KI-Systeme hierunter fallen:

“‘General purpose AI model’ means an AI model, including when trained with a large amount of data using self-supervision at scale, that is capable to competently perform a wide range of distinct tasks regardless of the way the model is released on the market.”

Entwickler von general purpose AI-Modellen müssen gewisse Mindestanforderungen erfüllen, wie beispielsweise eine technische Dokumentation erstellen, Informationen für nachgelagerte Anbieter bereitstellen und Aufschluss über Trainings- und Testverfahren geben. Ferner müssen sie urheberrechtliche Bestimmungen einhalten und die damit generierten Produkte müssen mit einem Wasserzeichen versehen werden.

Große KI-Systeme mit systemischen Risiken, sogenannte "systemic risk AI" bzw. Top Tier Modelle, die beim Training eine bestimmte Rechenleistung (10²⁵ FLOPs) übersteigen, müssen zusätzliche Verpflichtungen einhalten. Hierzu gehört es beispielsweise ein Risikomanagement einzurichten und ein angemessenes Niveau der Cybersicherheit aufrechtzuerhalten. Die Einzelheiten hierzu stehen noch nicht fest. Aktuell wird aber davon ausgegangen, dass OpenAIs GPT4 ebenso wie Googles Gemini als solche Systeme mit systemischem Risiko angesehen werden. Die Modelle der europäischen Entwickler Aleph Alpha und Mistral dürften aufgrund ihrer Rechenleistung demgegenüber nicht als KI-Modell mit systemischem Risiko einzustufen sein. Ein Schelm, der Böses dabei denkt.

Das Anknüpfen an die Rechenleistung wird stark kritisiert, da diese wenig über die Risiken eines KI-Systems aussage. Um zukünftig Anpassungen an den Stand der Technik vornehmen zu können, kann der aktuelle Schwellenwert zukünftig von der Kommission angepasst und zusätzlich weitere Kriterien festgelegt werden.

Open Source Modelle

Bereits im bisherigen Vorschlag waren KI-Modelle, die auf Open Source Lizenzen basieren, vom AI-Act ausgenommen. Nach der jüngsten Einigung sollen nur solche open source generative purpose AI-Systeme in den Anwendungsbereich des AI-Acts fallen, die als systemische Risiko-KI-Systeme eingestuft werden, auch sind sie nicht von den Anforderungen an Hockrisiko-KI-Systeme befreit. Dies ist zu begrüßen, sagt doch allein die Tatsache, ob ein KI-Modell auf Open Source Lizenzen basiert oder nicht, wenig über das von ihm ausgehende Risiko aus.

Urheberrechtliche Vorgaben

KI-Entwickler müssen künftig eine Copyright Policy sowie eine detaillierte Zusammenfassung der Inhalte öffentlich bereitstellen, die sie zum Trainieren ihrer generative purpose AI-Modelle benutzt haben. Die Transparenzvorgabe soll es den Urhebern ermöglichen nachzuvollziehen, ob ihre Werke genutzt wurden. Bislang wurde nicht ausgeführt, was genau "detailliert" bedeutet. Schenkt man den bislang mitgeteilten Informationen Glauben, so wird ausdrücklich die Text und Data Mining Schranke für generative KI anerkannt. Das war bislang umstritten. Zum Hintergrund: Eingriffe in die urheberrechtlichen Verwertungsrechte sind nur dann zulässig, wenn diese durch Schrankenbestimmungen freigestellt werden. Für das mit dem Training von KI einhergehenden Vervielfältigungen sind die Schranken für Text und Data Mining, respektive die automatisierte Analyse von Werken zur Informationsgewinnung über Muster, Trends und Korrelationen, relevant. Ausweislich der Text und Data Mining Schranke sind insbesondere Vorbehalte der Rechteinhaber zu beachten.

Sanktionen

Die im AI-Act angedrohten Strafen wurden nochmals verändert, bleiben aber je nach Schwere des Verstoßes gestaffelt. Danach kann beispielsweise ein Verstoß gegen das Verbot bestimmter Systeme und die Nichteinhaltung der Datenanforderungen mit bis zu 7 % des weltweiten Jahresumsatzes des Unternehmens oder EUR 35 Mio. sanktioniert werden.

Durchsetzung und Behörden

Innerhalb der Europäischen Kommission wird (bereits jetzt) ein AI Office eingerichtet, welche die Regulierung der generative purpose AI-Systeme durchsetzen soll. Alle anderen KI-Systeme werden von den zuständigen nationalen Behörden überwacht. Um eine einheitliche Anwendung der Rechtsvorschriften zu gewährleisten, sollen diese regelmäßig in einem Europäischen Ausschuss für künstliche Intelligenz zusammenkommen.

Beschwerderecht

Ebenfalls neu eingeführt wurde die Möglichkeit für natürliche und juristische Personen, bei der zuständigen nationalen Behörde Beschwerde über die Nichteinhaltung der Vorgaben des AI-Acts einzureichen.

Inkrafttreten des AI-Acts

Grundsätzlich wird der überwiegende Pflichtenkatalog des AI-Acts 24 Monate nach seinem Inkrafttreten anwendbar sein. Allerdings sieht der aktuelle Entwurf des AI-Acts vor, dass bestimmte Pflichten schon früher gelten sollen. So wird das Verbot bestimmter Systeme bereits sechs Monate nach Inkrafttreten des Gesetzes wirksam und damit aller Voraussicht bereits im Laufe des Jahres 2024. Die Anforderungen an generative purpose AI-Systeme gelten bereits 12 Monate nach Inkrafttreten des AI-Acts.

Daher ist es unbedingt anzuraten, sich frühzeitig mit den Regelungen des AI-Acts auseinanderzusetzen, nicht zuletzt vor dem Hintergrund, dass die Umstellung etwaiger Systeme durchaus Zeit in Anspruch nehmen kann.

Next steps

Wie eingangs bereits erläutert, ist der AI-Act noch – lange - nicht fertiggestellt. Zwar gibt es die jüngst verkündete politische Einigung auf die Eckpunkte, die technischen Details des Gesetzestextes müssen nun aber in den nächsten Wochen erst noch im Detail ausgehandelt werden. Dieses Auseinanderdividieren und Verhandeln der bits & pieces kann noch ein Weilchen dauern, denn wie heißt es doch so schön: der Teufel steckt im Detail. Abschließend müssen sodann die Gremien der EU dem finalen Verordnungstext zustimmen. Das es sich um eine Verordnung handelt, gilt sie jedoch unmittelbar in allen Mitgliedsstaaten, eine Umsetzung in nationales Recht ist nicht erforderlich.

Fazit

Die EU beabsichtigt, mit dem AI-Act ein - wie sie selbst es nennt - "äußerst heikles Gleichgewicht" zwischen der Förderung von Innovation und der Verbreitung von KI in Europa einerseits und der Wahrung der Grundrechte der EU-Bürger andererseits herzustellen. Das zuletzt über 250 Seiten lange Werk kommt eher als ein bürokratisches Monstrum daher und wird vielen Unternehmen hohe Dokumentationspflichten aufbürden. Aufgrund der Unschärfe vieler Regelungen wird es eine Reihe von Graubereichen geben, die zu Unsicherheiten und schlimmstenfalls zu Überlegungen führen können, ob vor diesem Hintergrund zunächst eher auf den Einsatz von KI verzichtet werden sollte, bis sich eine einheitliche Anwendungspraxis der zuständigen Behörden herauskristallisiert. Nichtsdestotrotz ist im Grundsatz der Versuch der EU zu begrüßen, sich diesem großen zeitgemäßem Themenkomplex anzunehmen und den dynamischen Entwicklungen dadurch Rechnung zu tragen, dass eine kontinuierliche Anpassung der Bestimmungen, wie explizit vorgesehen, vorgenommen wird.

Dr. Peggy Müller