Mit dem EU AI Act setzt die Europäische Union weltweit neue Maßstäbe für die Regulierung Künstlicher Intelligenz. Es geht dabei nicht nur um technische Normen oder rechtliche Rahmenbedingungen, sondern um eine zentrale Frage: Wie gestalten wir KI so, dass sie dem Menschen dient – und nicht umgekehrt?
Hier kommt die Perspektive des Usability-Engineering und UX-Designs ins Spiel. Denn viele der Anforderungen, die der EU AI Act stellt, lassen sich nicht allein durch Algorithmen oder Code erfüllen – sondern durch verantwortungsvolles Design, durch das Verstehen von Nutzungskontexten und durch Systeme, die transparent, zugänglich und erklärbar sind.
Was ist der EU AI Act?
Der EU AI Act ist eine EU-weite Verordnung, die KI-Systeme anhand ihres Risikopotenzials klassifiziert und reguliert. Ziel ist es, Grundrechte, Sicherheit und menschliche Selbstbestimmung zu schützen. Dafür werden KI-Systeme in vier Risikokategorien eingeteilt:
- Unvertretbares Risiko: z.B. Social Scoring oder manipulative Verhaltenssteuerung
- Hohes Risiko: z.B. KI in Medizin, Justiz, Bildung oder HR-Systemen
- Begrenztes Risiko: z.B. Chatbots, synthetische Inhalte (Deepfakes)
- Minimales Risiko: z.B. KI in Spielen oder bei Spamfiltern
Besonders relevant für Usability-Engineering und UX-Design sind Systeme mit hohem oder begrenztem Risiko, da sie Anforderungen enthalten, die tief in die Gestaltung der Mensch-KI-Interaktion eingreifen.
Warum betrifft der AI Act Usability-Engineering und UX-Design?
Auch wenn der AI Act als technikrechtliche Regulierung erscheint, greift er direkt in zentrale Fragestellungen des Usability-Engineering und UX-Designs ein. Es geht um die Gestaltung von Verantwortung, Nachvollziehbarkeit, Sicherheit und Vertrauen – und damit um den Kern guter interaktiver Systeme.
Menschzentrierung ist regulatorisch gefordert
- Systeme müssen sich an den Erfordernissen (User Needs) orientieren, entsprechend den Fähigkeiten, Fertigkeiten und Bedürfnissen der Nutzergruppen.
- Auch vulnerable Gruppen – etwa Kinder, ältere Menschen oder Menschen mit Behinderungen – dürfen nicht benachteiligt werden.
- Die Nutzung soll selbstbestimmt, sicher und nachvollziehbar möglich sein.
Was bislang als Best Practice galt – z.B. Kontexterhebung, Barrierefreiheit oder iterative Gestaltung – wird nun zur verbindlichen Vorgabe.
Transparenz wird zur konkreten Gestaltungsaufgabe
- Hinweise auf KI-Nutzung müssen deutlich und verständlich sein.
- Entscheidungsprozesse müssen – soweit möglich – erklärbar sein.
- Informationen sind adressatengerecht zu gestalten.
Solche Anforderungen erfordern menschzentrierte Gestaltungsaktivitäten, wie sie in ISO 9241-210 beschrieben sind: User Requirements Engineering (Erhebung und Ableitung von Erfordernissen), Usability-Tests mit echten Nutzern, Informations- und Interaktionsdesign sowie interdisziplinäre Kreativworkshops und weitere Aktivitäten aus dem Design Thinking.
UX-Aktivitäten werden prüfbar – und müssen dokumentiert sein
- Welche Nutzergruppen wurden berücksichtigt – und wie wurden sie identifiziert?
- Wie wurden deren Erfordernisse erhoben (z.B. durch Interviews, Beobachtungen)?
- Wie wurden diese Erkenntnisse dokumentiert – etwa durch Kontextszenarien oder Personas?
- Welche Anforderungen wurden daraus abgeleitet?
- Welche Usability-Evaluationen wurden durchgeführt – und mit welchem Ergebnis?
Hier ist ein methodisch fundierter, nachvollziehbarer Produktentwicklungsprozess im Hinblick auf die User Experience gefragt. Die Normen ISO 9241-11 und -210 bieten dazu das passende Qualitätsmodell und den methodischen Gestaltungsrahmen.
Ein Praxisbeispiel: Transparenzpflicht in einem medizinischen KI-System
Ein KI-System analysiert Röntgenbilder und schlägt mögliche Diagnosen vor. Nach dem AI Act muss erkennbar sein, dass es sich um ein KI-Ergebnis handelt. Außerdem muss die Entscheidung erklärbar gemacht werden – etwa durch Markierung relevanter Bildbereiche.
UX-Design sorgt hier dafür, dass diese Information vertrauenswürdig und ohne Überforderung vermittelt wird – eingebettet in einen professionellen Ablauf, der medizinische Verantwortung unterstützt statt ersetzt.
Empfehlung für Projekte: UX früh einbinden, systematisch dokumentieren
Wer heute KI-Projekte verantwortet, sollte UX nicht als nachgelagerten Designschritt betrachten. UX-Aktivitäten gehören frühzeitig in die Projektplanung und in die Dokumentationsstruktur.
Empfohlen ist ein strukturierter Prozess mit:
- Kontexterhebung
- systematischer und nachvollziehbarer Entwicklung von Erfordernissen und resultierenden Nutzungsanforderungen
- nachvollziehbarem Gestaltungsprozess
- iterativer Evaluation mit Nutzern
Das verbessert nicht nur die Produktqualität – es erleichtert auch den regulatorischen Nachweis der Menschzentrierung.
Der EU AI Act ist verbindlich – und macht UX zur Pflicht
Wichtig ist: Der EU AI Act ist keine Empfehlung, sondern eine verbindliche EU-Verordnung. Er gilt unmittelbar in allen Mitgliedstaaten – ohne zusätzlichen Umsetzungsbedarf auf nationaler Ebene. Wer ein Hochrisiko-KI-System entwickelt oder betreibt, ist verpflichtet, die geforderten Maßnahmen einzuhalten – einschließlich der menschzentrierten Gestaltung und ihrer Nachweisdokumentation.
Für UX-Verantwortliche heißt das konkret:
- Menschzentrierte Methoden werden verbindlich
- Transparenz und Erklärbarkeit werden zur Designaufgabe
- Evaluation und Dokumentation sind keine Kür, sondern Voraussetzung
- UX-Prozesse müssen nachweisbar, auditierbar und kontextgerecht gestaltet sein
Der AI Act ist Herausforderung und Chance zugleich – und ein starkes Argument für systematische UX-Expertise in jedem KI-Projekt.