AI Act: Was regelt die neue europäische KI-Verordnung? 

Stand:
Mit dem AI Act, der Verordnung über Künstliche Intelligenz, gibt die Europäische Union (EU) erstmals einen rechtlichen Rahmen für die Entwicklung, den Einsatz und die Nutzung von Künstlicher Intelligenz (kurz KI) vor. Wir fassen die wichtigsten Regelungen für Sie zusammen.  
Eine Frau blickt auf eine digitale Anzeige.

Das Wichtigste in Kürze: 

  • Mit dem AI Act, der neuen europäischen KI-Verordnung, gibt es erstmalig einen Rechtsrahmen speziell für Künstliche Intelligenz. 
  • Die Verordnung soll einen ausgewogenen Ausgleich zwischen Nutzen und Risiken von KI schaffen. 
  • Je höher das Risiko für die Gesundheit, Sicherheit oder Grundrechte ist, desto strenger sind die Vorgaben. 
On

Spätestens seit ChatGPT sind die Möglichkeiten von Künstlicher Intelligenz (KI) in aller Munde. Dass KI einen weitreichenden Einfluss auf den Alltag aller Verbraucher:innen hat, steht außer Frage. Neben vielen Vorteilen gehen mit dem Einsatz der neuen Technologie aber auch Risiken einher, welche die EU früher regulieren will.

Ziel des AI-Acts ist es, Fortschritt und Entwicklung der Technologie zu ermöglichen, gleichwohl aber bestehende Risiken zu berücksichtigen und die Interessen der Nutzenden zu wahren. 

Wen betrifft die KI-Verordnung? 

Der AI Act richtet sich an alle Anbieter, z. B. Unternehmen, Forschungsinstitute oder Behörden, die KI-Systeme entwickeln, in den Verkehr bringen oder in Betrieb nehmen. Es spielt dabei keine Rolle, ob sich der Sitz der Einrichtungen in der EU befindet. Die KI-Verordnung greift, sobald das Produkt oder die Anwendung in der EU eingesetzt und zugänglich gemacht werden. 

Hiervon gibt es jedoch Ausnahmen: Die Regelungen gelten beispielsweise nicht für KI-Systeme, die ausschließlich für militärische Zwecke entwickelt oder verwendet werden.   


Daneben betrifft die  Verordnung auch gewerbliche Nutzer:innen von KI-Systemen. Privatpersonen, welche sich in der EU befinden, profitieren von den Regelungen zum Schutz der Gesundheit, Sicherheit und Grundrechte. Sie treffen keine gesonderten Pflichten.

Was wird im AI Act geregelt? 

Die EU-Kommission hat die KI-Systeme in unterschiedliche Risikogruppen eingestuft, z. B. in KI-Modelle mit einem unannehmbaren, hohen oder geringen Risiko für die Grundrechte und Werte der Union. Für die jeweiligen Kategorien gelten unterschiedliche Anforderungen und Regelungen.  

Die Vorgaben der Verordnung zielen jeweils darauf ab, dass KI-Systeme sicher, transparent, zuverlässig und verantwortungsbewusst eingesetzt werden. Geregelt werden im AI Act beispielsweise Anforderungen an die Transparenz, die Qualität der Daten, Pflichten zur Dokumentation sowie die beständige Aufsicht des KI-Systems durch Menschen, um Risiken für Gesundheit, Sicherheit oder Grundrechte zu minimieren.   

KI Risikogruppe 3: Unannehmbares Risiko 

KI-Modelle, die ein unannehmbares Risiko darstellen, werden durch den AI-Act in der EU verboten. Ein solches Risiko besteht, wenn KI-Systeme eine Bedrohung für Menschen darstellen. 

Risiko von Social Scoring

Zu KI-Systemen, die eine Bedrohung für Menschen darstellen können, gehören zum Beispiel Systeme, die soziales Verhalten oder Persönlichkeitsmerkmale auswerten und zu einer Benachteiligung oder Schlechterstellung führen (sog. „Social Scoring“).

Voraussetzung: Diese Systeme benachteiligen Personen oder Gruppen in sozialen Zusammenhängen, die in keinem Zusammenhang mit den Umständen stehen, unter denen die Daten ursprünglich erfasst wurden oder in einer Weise, die z. B. im Hinblick auf das soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist.

Beispiel: Auswertung von Social Media Daten zur Bewertung, ob eine Person ein:e vertrauenswürdige:r Kreditnehmer:in ist.

Gefahr durch unterschwellige Beeinflussung durch KI-Systeme

Zu KI-Systemen der Risikogruppe 3 gehören zudem Systeme, die dazu bestimmt sind, eine Person unterschwellig, unbewusst zu beeinflussen und diese damit schädigen können. 

Beispiele: Gezielte Manipulation von Inhalten in sozialen Medien oder anderen Plattformen, um politische oder kommerzielle Ziele zu verfolgen.

Ausnutzung menschlicher Schwächen und Schutzbedürftigkeit

Zu KI-Systemen, die eine Bedrohung für Menschen darstellen können, gehören Systeme, die dazu bestimmt sind, die Schwäche oder Schutzbedürftigkeit einer Person (z. B. Alter, Behinderung, wirtschaftliche Situation) auszunutzen und diese schädigen können. 

Beispiele: Sprachgesteuertes Spielzeug, das gefährliches Verhalten bei Kindern fördert.

Biometrische Echtzeit-Identifizierung in öffentlichen Räumen

Zu KI-Systemen der Risikogruppe 3 gehören außerdem Systeme, die eine biometrische Echtzeit-Identifizierung zur Strafverfolgung in öffentlichen Räumen ermöglichen. 

Beispiele: Gesichtserkennung durch ungezieltes Filtern von Bildern aus dem Internet und Überwachungskameras.

Ausnahme: Eine biometrische Echtzeit-Identifizierung ist möglich zur Abwehr von Terror oder schweren Straftaten und zur Suche nach vermissten Kindern. 

KI Risikogruppe 2: Hohes Risiko 

KI-Systeme mit einem hohen Risiko können eine erhebliche Gefahr für Gesundheit, Sicherheit, oder Grundrechte darstellen. Dazu zählen beispielsweise Systeme die in folgenden Bereichen eingesetzt werden: 

Kritische Infrastruktur 

Beispiele: Systeme, die als Sicherheitskomponenten im Straßenverkehr oder in der Energiewirtschaft (Wasser-, Gas-, Wärme- und Stromversorgung) verwendet werden 

Allgemeine und berufliche Bildung oder Beschäftigung  

Beispiele: Systeme zur Bewertung von Lernergebnissen, Steuerung von Lernprozessen 

Gesundheits- oder Bankwesen 

Beispiele: Scoring-Systeme für Kreditvergabe, Systeme zur Risikobewertung beim Versicherungsabschluss einer Kranken- oder Lebensversicherung 

Private und öffentlichen Dienstleistungen und Sozialleistungen 

Beispiele: Systeme, die beurteilen, ob Unterstützungsleistungen bestehen 

Strafverfolgung, Justizverwaltung, Grenzverwaltung  

Beispiele: Systeme für individuelle Bewertungen von Risiken hinsichtlich Straftaten, Einwanderung, Lügendetektoren, Profiling 

Anbieter von Hochrisiko-KI-Systemen müssen eine sogenannte „Konformitätserklärung“ abgeben, also belegen und zusichern, dass sie sich an die geltenden EU-Gesetze und an die Vorgaben der KI-Verordnung halten. Für die Kontrolle und Zertifizierung wird hierzu pro Mitgliedsstaat mindestens 1 gesonderte Stelle eingerichtet.  

Außerdem müssen Anbieter solcher KI-Systeme Qualitäts- und Risikomanagementsysteme einführen, um die Einhaltung der Anforderungen sicherzustellen und die Risiken für gewerbliche Nutzer:innen und betroffene Personen zu minimieren. Das gilt auch, nachdem ein Produkt bereits in Verkehr gebracht wurde.  

Sie müssen beispielsweise: 

  • Risiken der KI-Systeme stetig analysieren und bewerten,
  • Hochrisiko-Systeme testen und geeignete Konzepte und Maßnahmen entwickeln, um Risiken möglichst zu beseitigen oder zu verringern sowie 
  • Gewerbliche Nutzende über Risiken informieren und ihre Angestellten entsprechend schulen 

KI Risikogruppe 1: Geringes Risiko 

Unter KI-Systeme mit einem geringen Risiko fallen all jene Systeme, die kein unannehmbares oder hohes Risiko darstellen. Dazu zählen z. B. 

  • Spam-Filter 
  • Chatbots 
  • KI in Video-Spielen 
  • Suchalgorithmen 

Sie unterliegen nach KI-Verordnung weniger strengen Anforderungen. Sie können unter Einhaltung von Transparenz- und Informationspflichten entwickelt und verwendet werden. 

Diese Pflichten bestehen z. B., sobald KI-Systeme mit Personen interagieren und mit echten Menschen verwechselt werden können (etwa in Telefon-Hotlines) oder KI-Systeme die Emotionen von Menschen erkennen und analysieren. Auch wenn Bild-, Audio- oder Videoinhalte erzeugt oder manipuliert werden, die wirklichen Personen, Orten etc. ähneln und fälschlicherweise als echt erscheinen („Deep Fakes“), muss offengelegt werden, dass Inhalte durch KI erstellt wurden.

Wer überwacht die Einhaltung der KI-Regelungen? 

Bei Verstößen gegen die Verordnung können Sanktionen gegenüber den Entwicklern oder Betreibern der KI-Systeme verhängt werden. Zur Aufsicht müssen die Mitgliedsstaaten entsprechende Aufsichtsbehörden zur Überwachung einrichten. Zudem wird auf EU-Ebene ein Amt für Künstliche Intelligenz eingerichtet, um gemeinsam mit den Stellen der Mitgliedsstaaten die Überwachung in der EU vorzunehmen.   

Wie geht es mit dem AI Act weiter? 

Der AI Act tritt am 1. August 2024 in Kraft und ist 2 Jahre nach Inkrafttreten vollständig anwendbar. 

Folgende Ausnahmen bestehen hiervon:  

  • Das Verbot für KI-Systeme mit einem unannehmbaren Risiko gilt bereits 6 Monate nach Inkrafttreten. Sie dürfen dann nicht mehr verwendet werden.
  • Nach 12 Monaten greifen die Regelungen für KI-Systeme mit allgemeinem Verwendungszweck wie ChatGPT.
  • Alle anderen Regeln greifen nach 2 Jahren.
  • Einige Hochrisiko-KI Systeme, die bereites anderen EU-Regeln unterworfen sind, bekommen 36 Monate Zeit.

Der deutsche Gesetzgeber muss innerhalb von 12 Monaten nach Inkrafttreten des AI-Acts eine Aufsichtsstruktur etablieren und die für die KI-Aufsicht zuständigen Behörde(n) benennen.

Die EU-Kommission prüft jährlich, ob künftig Anpassungen zum Beispiel an der Kategorisierung der KI-Systeme vorzunehmen sind, um auch auf technische Entwicklungen und neue Anwendungsgebiete reagieren zu können.  

BMUV-Logo

Ratgeber-Tipps

Ratgeber Photovoltaik
Wer ein Stück weit unabhängig von den Preiskapriolen der Energieversorger werden will, kümmert sich um die Anschaffung…
Handbuch Pflege
Als pflegebedürftig gelten Menschen, die wegen einer Krankheit oder Behinderung für mindestens sechs Monate Hilfe im…
Lachender Mann mit Geldscheinen in der Hand

Vergleich mit primaholding-Unternehmen: Letzte Chance für Verbraucher:innen

Der Verbraucherzentrale Bundesverband (vzbv) hat mit primastrom, voxenergie und nowenergy einen Vergleich geschlossen. Es ging dabei um überhöhte Preise und unangemessene Vertragslaufzeiten. Noch bis zum 31. Dezember 2024 können Sie sich an die Unternehmen wenden und sich auf den Vergleich berufen.
Ein Gesundheitsgerät neben dem Wort Aufruf in einem Ausrufezeichen.

Healy: Vorsicht vor falschen Gesundheitsversprechen

Bei den Verbraucherzentralen haben sich in den letzten Monaten die Beschwerden über das Produkt "Healy" gehäuft, weil selbstständige „Healy“-Vertriebspartner:innen behaupten, das Produkt würde etwa bei Multipler Sklerose, Depressionen, ADHS oder Hauterkrankungen helfen. Diese Heilsversprechen sind nicht haltbar.
Foto einer Frau, die auf einem Sofa sitzt und bestürzt in ein geöffnetes Paket schaut.

Shoppen auf Online-Marktplätzen: Verbraucher:innen erwarten sichere Produkte

Die Mehrheit der Verbraucher:innen erwartet, dass die Produkte auf Online-Marktplätzen sicher und gesetzkonform sind – und sehen die Plattformbetreiber in der Verantwortung. Das zeigt eine Befragung des Verbraucherzentrale Bundesverbands (vzbv). Aktuell sind Plattformen nicht in der Pflicht, Produktsicherheit zu gewährleisten.