Update AI Act – die zehn wichtigsten Fragen für Anwender von KI-Systemen

Nachdem im Dezember 2023 medial wirksam die politische Einigung bezüglich des AI Acts verkündet worden war, wurde am 13. März 2024 die nunmehr vorläufig finale Fassung verabschiedet. Der AI Act wurde vom Europaparlament mit einer überwältigenden Mehrheit von 523 zu 46 Stimmen angenommen. Nun stehen nur noch die Überprüfung durch Rechts- und Sprachsachverständige aus sowie die förmliche Annahme der Verordnung durch den Rat. Hiermit wird vor dem Ende der aktuellen Wahlperiode (respektive bis Juli 2024) gerechnet.

Unbestreitbar müssen Hersteller von KI-Systemen die Regelungen des AI Acts befolgen und beobachten die europäische Regulierung daher sicherlich mit großer Aufmerksamkeit. Allerdings sei selbiges auch Unternehmen, die KI "nur" im Einsatz haben, geraten. Nachfolgend haben wir die zehn praxisrelevanten Fragen zusammengestellt, die sich Unternehmen stellen sollten, die KI im Einsatz haben bzw. zum Einsatz bringen möchten.

1.Welche Unternehmen müssen die Regelungen des AI Act beachten?

Der Großteil der Regelungen des AI Acts befasst sich mit den verbotenen sowie mit Hochrisiko-KI-Systemen und den hieraus resultierenden Verpflichtungen für Anbieter, daneben auch für Einführer und Händler entsprechender KI-Systeme. Dies bedeutet allerdings nicht, dass man sich als Nutzer eines KI-Systems nunmehr im Sessel zurücklehnen könnte. Im Gegenteil: auch Nutzer (im AI Act als "Betreiber" bezeichnet) von KI-Systemen werden vom AI Act erfasst und müssen umfangreiche Verpflichtungen erfüllen.

Es unterfallen nicht nur Unternehmen mit Sitz in der EU dem AI Act, vielmehr werden auch außerhalb der EU ansässige Anbieter und Nutzer erfasst, sofern der von den KI-Systemen erzeugte Output in der EU Verwendung findet;

2. Ausgenommene Anwendungsbereiche

Zunächst nimmt der AI Act den Einsatz von KI durch natürliche Personen für rein persönliche, nicht berufliche Zwecke vom Anwendungsbereich aus. Ebenfalls vom Anwendungsbereich ausgenommen sind KI-Systeme, die ausschließlich im Bereich der wissenschaftlichen Forschung und Entwicklung entwickelt und eingesetzt werden.

Bedeutung erlangen könnte zukünftig die Regelung, dass der AI Act nicht für bestimmte KI mit freien und quelloffenen Lizenzen (Open Source) gilt. Eine weitere bedeutende Ausnahme sieht der AI Act für den Einsatz von KI-Systemen im Bereich des Militärs, der Verteidigung und der nationalen Sicherheit vor. Darüber hinaus haben die Mitgliedstaaten in bestimmten Bereichen die Möglichkeit, weitere Ausnahmen zu regeln. So können sie beispielsweise im Rahmen der Verwendung von KI-Systemen durch Arbeitgeber weitere Rechts- und Verwaltungsvorschriften zum weitergehenden Schutz von Arbeitnehmern vorsehen.

3. Verbotene KI-Systeme

KI-Systeme, von denen ein inakzeptables Risiko ausgeht, werden gemäß Art. 5 AI Act gänzlich untersagt. Dazu gehören KI-Systeme der nachfolgenden acht Bereiche:

• Techniken unterschwelliger Beeinflussung außerhalb des menschlichen Bewusstseins, um das Verhalten einer Person erheblich zu beeinflussen bzw. ihr Schaden zuzufügen
• das gezielte Ausnutzen des Schutzbedürfnisses bestimmter Personengruppen aufgrund ihres Alters oder einer Behinderung
• Social Scoring
• Verwendung sogenannter Profiling-Systeme, mit denen das Risiko natürlicher Personen, eine Straftat zu begehen, bewertet oder vorhergesagt werden kann
• Ungezielte Erfassung (Scraping) von Gesichtsbildern aus dem Internet oder aus Video-überwachungsanlagen zur Erstellung von Gesichtserkennungsdatenbanken
• Einsatz von Emotionserkennungssystemen am Arbeitsplatz und in Bildungseinrichtungen
• Die Verwendung von Systemen zur biometrischen Kategorisierung
• Die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme im öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (wobei diese in enge Grenzen für zulässig erklärt wird)

4. Welche Systeme sind Hochrisiko-KI-Systeme?

Kernstück des AI Acts sind die Regelungen zu den sogenannten Hochrisiko-KI-Systemen. Grundsätzlich gelten KI-Systeme dann als Hochrisiko-KI-Systeme, wenn von ihnen erhebliche Gefahren für die Grundrechte ausgehen.

Ein Hochrisiko-KI-System liegt vor, wenn ein KI-System als Sicherheitsbauteil für ein Produkt verwendet wird, das unter die in Anhang I aufgelisteten Harmonisierungsrechtsvorschriften der EU fällt oder selbst ein solches Produkt ist. Dazu zählen beispielsweise Maschinen, Spielzeug und Medizinprodukte.

Als Hochrisiko-KI-System wird ferner ein KI-System klassifiziert, welches in einen der folgenden Bereiche des Anhang III fällt:

• Biometrische Fernidentfizierungssysteme sowie KI-Systeme zur biometrischen Kategorisierung sowie zur Emotionserkennung
• Kritische Infrastruktur: Erfasst sind KI-Systeme, die bestimmungsgemäß als Sicherheitsbauteile in der Verwaltung und dem Betrieb kritischer digitaler Infrastruktur, dem Straßenverkehr oder der Wasser-, Gas-, Wärme- und Stromversorgung verwendet werden.
• Allgemeine und berufliche Bildung: Erfasst sind KI-Systeme, wenn diese für Entscheidungen über den Zugang natürlicher Personen zu Einrichtungen der allgemeinen oder beruflichen Bildung verwendet werden.
• Beschäftigung, Personalmanagement und Zugang zur Selbständigkeit: Erfasst sind KI-Systeme, die für die Analyse und Filterung sowie der Bewertung von Bewerber eingesetzt werden.
• Bestimmte grundlegende private und öffentliche Dienste und Leistungen: Hierunter fallen etwa KI-Systeme, die zur Prüfung der Kreditwürdigkeit und Bonität natürlicher Personen verwendet werden.
• Strafverfolgung
• Migration, Asyl und Grenzkontrolle
• Rechtspflege und demokratische Prozesse

Allerdings sieht der AI Act eine wichtige Ausnahme vor: KI-Systeme aus den zuvor genannten Kategorien des Annex III können unter bestimmten Voraussetzungen von der Klassifizierung als Hochrisiko-KI-System ausgenommen werden. Voraussetzung ist, dass kein erhebliches Risiko einer Schädigung der Gesundheit, Sicherheit oder Grundrechte von natürlichen Personen vorliegt. Beispielhaft genannt seien hier solche KI-Systeme, die dazu dienen, eine vom Menschen zuvor durchgeführte Tätigkeit zu verbessern. Gleiches gilt, wenn das KI-System lediglich dazu bestimmt ist, eine eng begrenzte verfahrenstechnische Aufgabe zu erfüllen. Die Beurteilung, ob eine solche Ausnahme vorliegt, ist im Rahmen einer Risikoevaluierung vom Unternehmen selbst vorzunehmen und entsprechend zu dokumentieren.

5. Welche Regelungen gelten für Betreiber von Hochrisiko-KI-Systemen?

Unternehmen, die als Betreiber Hochrisiko-KI-Systeme einsetzen, müssen einen umfassenden Pflichtenkatalog erfüllen. Hierzu gehören beispielsweise die folgenden:

• Sie treffen geeignete technische und organisatorische Maßnahmen, um sicherzustellen, dass das Hochrisiko-KI-Systeme in Übereinstimmung mit den Gebrauchsanweisungen verwendet werden.
• Sie übertragen natürlichen Personen die menschliche Aufsicht.
• Sie stellen sicher, dass Eingabedaten im Hinblick auf den Zweck des KI-Systems relevant und ausreichend repräsentativ sind.
• Sie überwachen den Betrieb der Hochrisiko-KI-Systems anhand der Gebrauchsanweisung und informieren gegebenenfalls die Anbieter bzw. bei schwerwiegenden Vorfällen auch den Einführer, Händler und die entsprechenden Behörden.
• Sie bewahren automatisch erzeugte Protokolle mindestens sechs Monate auf.
• Sofern sie gleichzeitig Arbeitgeber sind, informieren sie die betroffenen Arbeitnehmer und die Arbeitnehmervertreter über den Einsatz eines Hochrisiko-KI-Systems am Arbeitsplatz.
• Sie unterliegen einer Verpflichtung zur Zusammenarbeit mit den Behörden.

Die ursprünglich für alle Betreiber geforderte Grundrechte-Folgenabschätzung für Hochrisiko-KI-Systeme ist im aktuellen Verordnungstext nur noch für staatliche Einrichtungen sowie für private Unternehmen, die staatliche Aufgaben wahrnehmen, vorgesehen, ferner für solche Hochrisiko-KI-Systeme, in denen öffentliche Dienstleistungserbringungen, Kreditwürdigkeitsprüfungen oder risikobasierte Preisgestaltungen von Lebens- und Krankenversicherungen betroffen sind.

Betreiber können unter bestimmten Voraussetzungen auch selbst zum Anbieter eines Hochrisiko-KI-Systems werden und dann den strengeren Anbieterpflichten - beispielsweise die Einrichtung eines Risikomanagementsystems, die Durchführung eines Konformitätsbe-wertungsverfahrens sowie die Eintragung in eine EU-Datenbank - unterliegen. Ein solcher Wechsel der Verantwortlichkeit kommt dann zum Tragen, wenn ein Hochrisiko-KI-System unter eigenem Namen oder eigener Marke in den Verkehr gebracht oder in Betrieb genommen oder aber eine wesentliche Änderung an einem Hockrisiko-KI-System vorgenommen wird.

6. Welche Pflichten treffen Betreiber von KI-Systemen, die keine Hochrisiko-KI-Systeme darstellen?

Während für Betreiber von Hockrisiko-KI-Systemen der zuvor skizierte umfassende Pflichtenkatalog gilt, sind Betreiber von KI-Systemen, von denen nur ein geringes Risiko ausgeht, grundsätzlich nur gewissen Transparenzpflichten ausgesetzt. So muss offengelegt werden, wenn Inhalte wie Bilder, Videos oder Audioinhalte von einer KI erstellt oder verändert werden. Dieselbe Pflicht greift, wenn eine KI einen Text erstellt oder verändert, der zum Zweck der öffentlichen Information verbreitet wird.

7. Was gilt für KMU?

Erklärtes Ziel des AI Acts ist es, einen innovationsfreundlichen Rechtsrahmen zu schaffen. Dementsprechend hat der Gesetzgeber regulatorische Erleichterungen für Kleinst-, kleine und mittlere Unternehmen (KMU) – einschließlich Start-Ups - mit Sitz in der EU festgeschrieben. So können KMU beispielsweise in den Genuss ideeller und finanzieller Unterstützung kommen. Schließlich sollen KMU unter bestimmten Bedingungen einen priorisierten und kostenlosen Zugang zu sogenannten regulatorischen Sandboxes erhalten. Schließlich können die Geldbußen gedeckelt werden.

8. Ab wann gilt der AI Act?

Genaue Daten können aktuell noch nicht genannt werden, da für das Inkrafttreten des AI Acts noch die Veröffentlichung des finalen Gesetzestextes im Amtsblatt der EU erforderlich ist. Das Verbot von KI-Systemen greift bereits sechs Monate nach Inkrafttreten der Verordnung. Der Großteil der Vorschriften des AI Acts gilt 24 Monate nach Inkrafttreten. Demgegenüber gelten die für Hochrisiko-KI-Systeme festgeschriebenen Pflichten erst nach 36 Monaten.

9. Wie sind Verstöße gegen den AI Act sanktioniert?

Die Nichteinhaltung der Vorgaben des AI Acts kann zu exorbitant hohen Geldstrafen führen. Diese variieren je nach Verstoß und Unternehmensgröße. Während bei Verstößen gegen verbotene KI-Systeme bis zu EUR 35 Millionen oder 7 % des weltweiten Jahresumsatzes drohen, können sonstige Verstöße gegen Verpflichtungen des AI Acts mit bis zu EUR 15 Millionen bzw. 3% des weltweiten Umsatzes sanktioniert werden. Für die Erteilung falscher Informationen kommen Bußgelder in Höhe von EUR 7,5 Millionen oder 1 % des Umsatzes in Betracht.

Mit der Durchsetzung werden diverse nationale und EU-weite Behörden beschäftigt, so dass ein komplexes Gefüge aus Zuständigkeiten und Abstimmungsverfahren entsteht. Welche Behörde in Deutschland für die Einhaltung der Vorgaben des AI Acts Sorge tragen wird, steht aktuell noch nicht fest. Im Gespräch sind die Bundesnetzagentur und das Bundesamt für Sicherheit in der Informationstechnologie.

10. ToDos für Unternehmen

Zunächst sollte im Unternehmen eine Ermittlung und Einordnung erfolgen, in welche Risikoklasse die verwendeten KI-Systeme einzuordnen sind. Aus dieser Kategorisierung leiten sich dann die Erfordernisse für deren ordnungsgemäße Nutzung ab. Insbesondere für zukünftige Projekte gilt es, die entsprechend mit KI im Unternehmen betrauten Abteilungen frühzeitig einzubinden, so dass eine hinreichende Prüfung und Compliance mit den Vorschriften sichergestellt werden kann. Dies ist insbesondere mit Blick auf die hohen Bußgelder dringend zu empfehlen.

Dr. Peggy Müller

Einen weiteren Blogbeitrag zum Thema finden Sie unter diesem Link.