BLOG -


Zur Prüfung von künstlicher Intelligenz (KI) nach IDW PS 861

IDW PS 861, veröffentlicht am 10. März 2023

Die rasante technologische Entwicklung führt dazu, dass Unternehmen immer häufiger KI einsetzen. Dessen Potential wird aktuell kontrovers diskutiert, wie am Beispiel von ChatGPT deutlich wird. Das IDW definiert im PS 861 die Anforderungen an Prüfungen von KI-Systemen. Der Standard definiert erstmals ein Rahmenwerk und gibt Anwendern Kriterien und Maßnahmen zur Prüfung eines KI-Systems an die Hand.

Kriterien zur Prüfung von KI

Die konkrete Auswahl der Kriterien für die Ausgestaltung der Maßnahmen des KI-Systems liegen in der Verantwortung der gesetzlichen Vertreter des Unternehmens. Sie umfassen zumindest die folgenden Anforderungen:

1. Ethische und rechtliche Anforderungen für künstliche Intelligenz

Die Entwicklung, Einführung und Nutzung von KI soll mit den ethischen Werten des Unternehmens sowie mit gesetzlichen und regulatorischen Vorschriften im Einklang stehen. Diese umfassen zumindest menschliche Autonomie, Fairness und Nichtdiskriminierung.

2. Nachvollziehbarkeit

Das Unternehmen muss in der Lage sein, Entscheidungen des KI-Systems nachvollziehbar dazulegen. Die genutzten Daten müssen erklärbar und transparent sein. Transparenz bedeutet, dass die bereitgestellten Informationen, d.h. die Datensätze und Prozessschritte, die zu einer unternehmerischen Entscheidung geführt haben, nachvollziehbar dokumentiert sind. Erklärbarkeit bezieht sich auf die Möglichkeit, die Daten und die Modelle eines KI-Systems als auch die darauf basierenden Entscheidungen für den Anwender verständlich zu machen.

3. IT-Sicherheit

Zu den Anforderungen an die IT-Sicherheit gehören insbesondere: Vertraulichkeit, Integrität, Verfügbarkeit, Autorisierung, Authentizität, Verbindlichkeit.

4. Leistungsfähigkeit

Leistungsfähigkeit bezieht sich auf die Fähigkeit des KI-Systems, aufgrund interner Betriebspraktiken oder Technologien den vom Unternehmen definierten Anforderungen zu entsprechen.

Geeignete Maßnahmen bezogen auf die Elemente des KI-Systems

Folgende Maßnahmen erfüllen nach Maßgabe des IDW die vorgenannten Kriterien und sind bei einer Prüfung zugrunde zu legen:

1. KI-Governance/KI-Compliance/KI-Monitoring

KI-Governance betrifft die Grundeinstellung, das Problembewusstsein und das Verhalten in Bezug auf den Einsatz von KI.

KI-Compliance umfasst Maßnahmen, die der Einhaltung gesetzlicher sowie regulatorischer Vorgaben beim Einsatz von KI dienen.

KI-Monitoring meint die objektivierte Beurteilung der Angemessenheit und Wirksamkeit des KI-Systems durch das Unternehmen. Festgestellte Mängel im KI-System sind zu beseitigen und das KI-System soll so verbessert werden.

2. Daten

Das Unternehmen definiert Richtlinien und Anweisungen, die sicherstellen, dass Beschaffung und Nutzung der Daten im Einklang mit ethischen sowie rechtlichen Anforderungen stehen. Die Quelle der Daten wird identifiziert und dokumentiert. Die Sicherheit der Daten ist gewährleistet.

3. KI-Algorithmus/KI-Modell

Das eingerichtete Verfahren für die Entwicklung des KI-Algorithmus und KI-Modells ist für den Anwendungsfall geeignet und so ausgestaltet, dass die getroffenen Entscheidungen des KI-Algorithmus und KI-Modells nachvollziehbar sind und den Zielen und der definierten Leistungsfähigkeit im Zusammenhang mit dem Anwendungsfall entsprechen.

4. KI-Anwendung

Die Entwicklung bzw. Auswahl und Beschaffung von KI-Anwendungen entsprechen den unternehmensinternen Vorgaben.

Durch ein geeignetes Change-Management werden nur autorisierte und freigegebene Änderungen der KI-Anwendung produktiv genutzt.

Geschäftsprozesse werden durch den Einsatz von KI nicht ungewollt unterbrochen oder ungewollt verlangsamt.

5. IT-Infrastruktur

Es ist ein KI-Sicherheitskonzept vorhanden, welches in das IT-Sicherheitskonzept des Unternehmens eingebunden ist. Das KI-Sicherheitskonzept berücksichtigt die dynamische Weiterentwicklung des KI-Systems, ist dokumentiert, kommuniziert und beinhaltet insb. logische Zugriffskontrollen, Schutz vor Schadprogrammen, physische Sicherheitsmaßnahmen und Datensicherungsverfahren.

Die gesetzlichen Vertreter verantworten die Auswahl der Kriterien des KI-Systems. Darüber hinaus tragen sie die Verantwortung für Konzeption, Ausgestaltung, Implementierung, Angemessenheit und Wirksamkeit des KI-Systems.

Beschreibung des KI-Systems und dessen Prüfung

Ihre Dokumentationspflichten erfüllen die gesetzlichen Vertreter über die Erstellung einer detaillierten Beschreibung des KI-Systems, die frei von wesentlichen falschen Darstellungen aufgrund doloser Handlungen oder Irrtümern, sowie für die internen Kontrollen, die hierfür als notwendig erachtet werden.

Eine solche Beschreibung des KI-Systems einschließlich der darin enthaltenen Darstellungen der gesetzlichen Vertreter des Unternehmens zur Einhaltung der Kriterien definiert der IDW PS 861 als Gegenstand der Prüfung.

Die Mindestanforderung an die Beschreibung umfassen die folgenden Aspekte:

a. Darstellung der bei der Ausgestaltung des KI-Systems und bei der Erstellung der Beschreibung verwendeten Kriterien

b. Abgrenzung und Beschreibung der Elemente des KI-Systems

c. Klare, verständliche, vollständige und aktuelle Darstellung der Maßnahmen des KI-Systems zur Einhaltung der Kriterien

d. Aussage der gesetzlichen Vertreter des Unternehmens, dass die eingerichteten Maßnahmen zur Einhaltung der Kriterien angemessen und – im Fall einer Wirksamkeitsprüfung – im Berichtszeitraum wirksam gewesen sind

e. Veränderungen des zu prüfenden KI-Systems bezogen auf den Berichtszeitraum, sofern eine Wirksamkeitsprüfung erfolgt.

Die Prüfung der Beschreibung des KI-Systems ist entweder als Angemessenheitsprüfung oder als Wirksamkeitsprüfung durchzuführen.

Ausblick und Einordnung

Bereits im Februar 2022 hatte das IDW einen Entwurfsstandard EPS 861 veröffentlicht, der nunmehr in einen sofort gültigen, unmittelbar anwendbaren PS überführt wurde. Insofern ist der IDW PS 861 erstmals anzuwenden auf Prüfungen außerhalb der Abschlussprüfung, die nach dem 10. März 2023 beauftragt werden.

Aufgrund der Vielschichtigkeit und des hohen technischen Anspruchs der KI dürfte die Umsetzung des IDW PS 861 weiterhin eine Herausforderung darstellen. Insbesondere könnte die Anforderung der Nachvollziehbarkeit Anwendern Probleme bereiten.

Unternehmerische Entscheidung werden zwar immer häufiger unter Zuhilfenahme von KI getroffen. Letztlich fließen aber immer auch persönliche Erfahrungen und Eindrücke der handelnden Personen mit in die jeweilige Entscheidung ein. Diese sind selten objektiv und daher oftmals nicht eindeutig nachzuvollziehen. Ein KI-System dagegen handelt ausschließlich objektiv, indem es seine "Erfahrungswerte" ausschließlich datenbasiert trifft. Es bestehen für das KI-Systems regelmäßig keine Entscheidungsspielräume.

Im Ergebnis sind Schadensersatzansprüche, die einer Person aufgrund eines von einem KI-System hervorgebrachten Ereignisses entstehen, vor dem Hintergrund der aktuell herrschenden Rechtslage aufgrund der Besonderheiten des Systems oftmals sehr schwierig – im Einzelfall sogar unmöglich – durchzusetzen.

KI-Systeme sind oftmals sehr komplex und es dürfte daher häufig unmöglich sein, die haftenden Personen zu ermitteln oder der Beweispflicht hinsichtlich einer vorsätzlichen oder fahrlässigen Handlung nachzukommen.

Aus vorgenannten Gründen ist es daher für Entscheidungsträger ratsam, die bestehenden Risiken von KI – insbesondere im Bereich der (juristischen) Nachvollziehbarkeit – im Wege einer freiwilligen Prüfung nach IDW PS 861 zu minimieren.

Dennis Grimmer

TAGS

Künstliche Intelligenz IDW PS 861 Prüfung von KI

Kontakt

Dennis Grimmer T   +49 211 518989-163 E   Dennis.Grimmer@advant-beiten.com