von Die rasante Entwicklung Künstlicher Intelligenz bringt zahlreiche Herausforderungen mit sich, insbesondere wenn es um deren Gesetzestreue geht. Forscher:innen der ETH Zürich haben den EU AI Act nun erstmals in messbare technische Anforderungen für KI übersetzt. Diese Arbeit markiert einen wichtigen Schritt hin zu mehr Transparenz und Vertrauen in KI-Systeme und setzt Maßstäbe für die technische Umsetzung gesetzlicher Vorgaben.
Hintergrund: Der EU AI Act
Im März 2024 verabschiedete die Europäische Union den EU AI Act – das weltweit erste Gesetzespaket, das umfassend versucht, die Risiken von KI zu minimieren und das Vertrauen der Öffentlichkeit in diese Technologien zu stärken. Dieser Rechtsrahmen legt hohe ethische und technische Standards fest, um eine verantwortungsvolle Nutzung von KI sicherzustellen. Die praktische Umsetzung dieser Standards bleibt jedoch eine Herausforderung, da konkrete technische Vorgaben bisher fehlten.
Die Forschung der ETH: Eine technische Übersetzung
Ein Team der ETH Zürich entwickelte gemeinsam mit dem INSAIT-Institut in Bulgarien und dem ETH-Spin-off LatticeFlow AI, das sogenannte „COMPL-AI“-Open-source compliance-centered
evaluation framework for Generative Al. Dieses Set aus Benchmarks übersetzt die ethischen Prinzipien des EU AI Acts – darunter Transparenz, Fairness und Datenschutz – in konkrete technische Anforderungen. Das Ziel: Entwickler:innen sollen prüfen können, ob ihre KI-Modelle die gesetzlichen Anforderungen erfüllen.
Sind aktuelle Sprachmodelle mit dem EU AI Act kompatibel?
Die Forscher:innen testeten zwölf prominente Sprachmodelle, darunter ChatGPT, Llama und Claude. Die Resultate zeigten: Keines der Modelle erfüllt alle Anforderungen des EU AI Acts vollständig. Insbesondere bei Robustheit, Diversität und Fairness gibt es erhebliche Defizite. Dies verdeutlicht, dass bisher vor allem die Leistungsfähigkeit der Modelle priorisiert wurde – ethische und soziale Aspekte wie Diskriminierungsfreiheit hingegen blieben oft auf der Strecke.
Die Resultate zeigten: Keines der Modelle erfüllt alle Anforderungen des EU AI Acts vollständig. Insbesondere bei Robustheit, Diversität und Fairness gibt es erhebliche Defizite. – ETH Zurich
Technische und konzeptionelle Herausforderungen
Ein Kernproblem bleibt die mangelnde Klärung zentraler Begriffe wie „Erklärbarkeit“. Aktuell fehlen geeignete Werkzeuge, um die Ergebnisse komplexer KI-Modelle vollständig nachvollziehbar zu machen. Dies erschwert sowohl die technische Umsetzung als auch die Bewertung der gesetzlichen Anforderungen.
Die Bedeutung dieser Arbeit
Die von der ETH entwickelte Methodik stellt einen Meilenstein dar, da sie erstmals eine Brücke zwischen regulatorischen Anforderungen und technischer Umsetzung schlägt. Dies ist nicht nur für die EU AI Act entscheidend, sondern auch für künftige Gesetzgebungen weltweit. Die Forscher:innen betonen, dass ihre Methodik auch für andere rechtliche Rahmenbedingungen angepasst werden kann.
Zukunftsausblick: Was bedeutet das für die KI-Entwicklung?
Die Arbeit der ETH Zürich ist ein Impuls für die gesamte KI-Branche. Sie zeigt, dass ethische und technische Aspekte gleichermaßen berücksichtigt werden müssen, um eine nachhaltige und verantwortungsvolle KI-Entwicklung sicherzustellen. Gleichzeitig verdeutlicht sie die Notwendigkeit weiterer Forschung, insbesondere zur Entwicklung von Werkzeugen, die ethische und soziale Kriterien effizient messen können.
Die Forscher:innen haben den COMPL-AI-Benchmark als Open-Source-Tool veröffentlicht, um den Diskurs in der Community zu fördern und die Zusammenarbeit zwischen Entwickler:innen, Forschenden und Regulierungsbehörden zu stärken.
Wegweisende Ansätze
Die Gesetzestreue von KI ist nicht nur eine regulatorische, sondern auch eine technische und ethische Herausforderung. Die Forschung der ETH Zürich liefert wegweisende Ansätze, um diese Komplexität zu bewältigen. Der Weg zu gesetzestreuer und vertrauenswürdiger KI ist zwar noch lang, aber mit Arbeiten wie dieser sind wir auf einem guten Weg, die Zukunft von KI verantwortungsvoll zu gestalten.
>> Detaillierte Analyse der Forschungsergebnisse und weiterführende Links:
https://ethz.ch/en/news-and-events/eth-news/news/2024/10/how-law-abiding-is-ai-eth-researchers-put-it-to-the-test.html
