Der EU AI Act – Herausforderungen und Anforderungen für Compliance und Risikomanagement

Der im Sommer 2024 verabschiedete EU Artificial Intelligence (AI) Act (Verordnung (EU) 2024/1689) beinhaltet umfassende Regeln und Verpflichtungen, die einzuhalten sind, wenn Systeme der künstlichen Intelligenz (KI) zur Anwendung kommen. Durch eine erste Analyse der Verordnung wird deutlich, dass ein spielerischer Umgang mit dieser neuen Technologie in einem unternehmerischen Umfeld nicht zielführend ist. Die aufgezeigten Anforderungen bezüglich einer korrekten Einstufung der zum Einsatz kommenden KI-Lösungen, der Ausbildung des damit betrauten Personals, sowie den Dokumentations- und Transparenzverpflichtungen gegenüber dem Gesetzgeber, wie auch dem Endkunden, verpflichten Unternehmen von Beginn an KI-Systeme mit der hinreichenden Sorgfalt einzusetzen. Der Vielzahl an Möglichkeiten mit KI-Systemen in der eigenen Organisation Effizienzgewinne zu realisieren, steht somit eine hohe Anforderung an die Compliance gegenüber. Für eine wettbewerbsorientierte und zeitnahe Implementierung derartiger KI-Lösungen, ist eine integrative Einbindung der eigenen Compliance unerlässlich.

EU AI Act – Verordnung (EU) 2024/1689 vom 13. Juni 2024

Zweck dieser EU-Verordnung, die aktuell auch als EU AI Act bezeichnet wird, ist es, das Funktionieren des Binnenmarkts zu verbessern, indem ein einheitlicher Rechtsrahmen insbesondere für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen künstlicher Intelligenz (KI-Systeme) in der Union geschaffen wird. Dies erfolgt im Einklang mit den Werten der Union, um die Einführung von menschenzentrierter und vertrauenswürdiger künstlicher Intelligenz (KI) zu fördern und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und andere Grundrechte der europäischen Grundrechtecharta zu gewährleisten. Dies umfasst insbesondere den Schutz der Demokratie, Rechtsstaatlichkeit und Umweltschutz, und soll so einerseits den Schutz vor schädlichen Auswirkungen von KI-Systemen in der Union sicherstellen und andererseits Innovationen unterstützen.
Erste Analysen der Verordnung zeigen folgende Herausforderungen durch den EU AI Act:

1. Ist der Betrieb eines KI-Systems im Sinne des EU AI Act zu prüfen?
2. Wer ist Betreiber und wer ist Anbieter des KI-Systems?
3. Gibt es einen Unterschied zwischen KI-System und KI-Modell?
4. Welche Anforderungen entstehen durch den Einsatz eines KI-Systems?
5. Handelt es sich um ein Hochrisiko-KI-Systems?
6. Wie erfolgt die Einbindung der KI-System-Anwendung in das Risikomanagement?
7. Ist gut ausgebildetes Fachpersonal für den Betrieb eines KI-Systems vorhanden?

Nachfolgend werden die oben aufgeführten Fragestellungen überblicksweise dargestellt.

Ist der Betrieb eins KI-Systems im Sinne des EU AI Act zu prüfen?

Die EU-Verordnung definiert ihren Anwendungsbereich wie folgt:
„Diese Verordnung gilt für

a) Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind;

b) Betreiber von KI-Systemen, die ihren Sitz in der Union haben oder in der Union befinden;

c) Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird;

d) Einführer und Händler von KI-Systemen;

e) Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen;

f) Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind;

g) betroffene Personen, die sich in der Union befinden.“

Explizit ist hier auch der Betreiber eines KI-Systems aufgeführt und wird somit durch diese Verordnung in Verantwortung genommen.

Wer ist Betreiber und wer ist Anbieter des KI-Systems?

Die Frage, wer Betreiber oder Anbieter eines KI-Systems ist, ist in der Umsetzung komplexer als diese zunächst erscheinen mag und von den Umständen des Einzelfalls abhängig. Denn es ist davon auszugehen, dass in der betrieblichen Praxis, ein von einem Anbieter eingekauftes KI-System für die spezifischen Anforderungen des Unternehmens bzw. des zu erledigenden Arbeitsprozesses angepasst werden muss, um die gewünschten Ergebnisse zu erzielen. Kommen hier beispielsweise neue Trainingsdaten für das KI-Modell zum Einsatz, verändert sich die Rolle des Betreibers. Der Betreiber muss dann die Anforderungen, die vorher der Anbieter berücksichtigen musste, teilweise ebenfalls selbst erfüllen, damit der Einsatz des modifizierten KI-Systems weiterhin im Einklang mit der Verordnung erfolgt.

Gibt es einen Unterschied zwischen KI-System und KI-Modell?

Es gibt theoretisch einen Unterschied zwischen KI-System und KI-Modell. Um hier nicht allzu tief in das Detail gehen zu müssen, kann man grob dargestellt sagen, dass jedes KI-System ein KI-Modell nutzt. Dieser Verordnung unterfallen schwerpunktmäßig die im Rahmen einer betrieblichen Anwendung genutzten KI-Systeme, die auf Basis von Trainingsdaten, Ausgaben erzeugen können, die Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen sein können oder diese Ergebnisformen unterstützen. Im Gegensatz dazu, wäre beispielsweise ein integriertes KI-Modell wie eine KI-gestützte Grammatik-Prüfung in einem verwendeten Textverarbeitungsprogramm, nicht im Sinne dieser Verordnung zu betrachten.

Der Begriff KI-System wird in dieser Verordnung wie folgt definiert:
„KI-System“ ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.

Welche Anforderungen entstehen durch den Einsatz eines KI-Systems?

Einzelne Artikel im EU AI Act geben einen Hinweis über die Aufgaben und Verpflichtungen, die sich durch den Betrieb eines KI-Systems ergeben.
Folgende Punkte werden in dieser Verordnung unter dem Abschnitt „Anforderungen an Hochrisiko-KI-Systeme näher betrachtet:

• Risikomanagementsystem (Abschnitt 2 – Artikel 9)
• Daten und Daten-Governance (Abschnitt 2 – Artikel 10)
• Technische Dokumentation (Abschnitt 2 – Artikel 11)
• Aufzeichnungspflichten (Abschnitt 2 – Artikel 12)
• Transparenz und Bereitstellung von Informationen für die Betreiber (Abschnitt 2 – Artikel 13)
• Menschliche Aufsicht (Abschnitt 2 – Artikel 14)
• Genauigkeit, Robustheit und Cybersicherheit (Abschnitt 2 – Artikel 15)

Darüber hinaus werden im Abschnitt „Pflichten der Anbieter und Betreiber von Hochrisiko-KI-Systemen und anderer Beteiligter“ insbesondere folgende Sachverhalte für den Betreiber aufgeführt:

• Pflichten der Anbieter von Hochrisiko-KI-Systemen (Abschnitt 3 – Artikel 16)
• Qualitätsmanagementsystem (Abschnitt 3 – Artikel 17)
• Verantwortlichkeiten entlang der KI-Wertschöpfungskette (Abschnitt 3 – Artikel 25)
• Grundrechte-Folgeabschätzung für Hochrisiko-KI-Systeme (Abschnitt 3 – Artikel 27)

Es ist davon auszugehen, dass es zukünftig in der betrieblichen Praxis nicht einfach sein wird, zwischen einem Anbieter und einem Betreiber eines KI-Systems trennscharf zu unterscheiden. Daher müssen bei einer Anwendung eines KI-Systems Anbieter und Betreiber kooperativ diese Systeme betreuen und eventuell zielgerichtet weiterentwickeln, um einerseits den betrieblichen Erfordernissen aber auch andererseits den Vorgaben dieser Verordnung gerecht zu werden.

Handelt es sich um ein Hochrisiko-KI-System?

Weiterhin bedarf es der genauen Überprüfung, ob es sich bei dem eingesetzten KI-System um ein Hochrisiko-KI-System im Sinne dieser Verordnung handelt. Dabei ist hervorzuheben, dass ein initiale Risikoeinstufung eines KI-Systems sich über die Einsatzdauer des Systems auch verändern kann. Ein kontinuierliches Monitoring, während der Einsatzdauer eines Systems sollte entsprechende Risikoklassifizierungen gewährleisten. Als Beispiele für Hochrisiko-KI-Systeme in der Finanzindustrie werde diese beiden Anwendungsfälle in der Verordnung explizit aufgeführt:

• KI-Systeme, die bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen verwendet werden sollen, mit Ausnahme von KI-Systemen, die zur Aufdeckung von Finanzbetrug verwendet werden
• KI-Systeme, die bestimmungsgemäß für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen verwendet werden sollen

Wie erfolgt die Einbindung der KI-System-Anwendung in das Risikomanagement?

Der Artikel 15 im Abschnitt 1 der Verordnung formuliert folgende Forderung:
„Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und in dieser Hinsicht während ihres gesamten Lebenszyklus beständig funktionieren.“

Darüber hinaus werden für den Betrieb von KI-Systemen folgende Anforderungen in der Verordnung definiert:
„Die Betreiber von Hochrisiko-KI-Systemen treffen geeignete technische und organisatorische Maßnahmen, um sicherzustellen, dass sie solche Systeme entsprechend der den Systemen beigefügten Betriebsanleitungen und gemäß den Absätzen 3 und 6 verwenden.“
Durch diese Anforderungen wird deutlich, dass der Betrieb von KI-Systemen in das vorhandene Risikomanagement des Unternehmens eingebunden werden muss. Dabei muss jedoch unbedingt berücksichtigt werden, dass im Unterschied zu klassischen IT-Systemen die KI-Systeme spezifische und damit genauer bzw. andersartig zu bewertende Charakteristika aufweisen.

Ist gut ausgebildetes Fachpersonal für den Betrieb eines KI-Systems vorhanden?

Die Verordnung benennt folgende Anforderungen an die KI-Kompetenz des eingesetzten Fachpersonals:

„Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind.“

Diese Anforderung widerspricht dem aktuell noch in einigen Unternehmen vorhandene „spielerischen Ansatz“ zur Integration von KI-Technologien in ihren alltäglichen Arbeitsprozessen.

Fazit

Die durch den EU AI Act formulierten Anforderungen und Verpflichtungen bei der Verwendung von AI-Systemen sind umfangreich und richten sich an Anbieter und Betreiber gleichermaßen. Die aufgezeigte Notwendigkeit an einer korrekten Einstufung der zum Einsatz kommenden KI-Lösungen, der Ausbildung des damit betrauten Personals, sowie den Dokumentations- und Transparenzverpflichtungen gegenüber dem Gesetzgeber, wie auch dem Endkunden verpflichten Unternehmen von Beginn an KI-Systeme mit der erforderlichen Sorgfalt einzusetzen. Der Vielzahl an Möglichkeiten mit KI-Systemen in der eigenen Organisation, Effizienzgewinne zu realisieren, steht somit eine hohe Anforderung an die Complianceorganisation gegenüber. Für eine wettbewerbsorientierte und zeitnahe Implementierung derartiger KI-Lösungen, ist eine integrative Einbindung der eigenen Compliance und des Risikomanagements unerlässlich.