Vertrauenswürdige KI

Menschen und Unternehmen müssen auf die Sicherheit von KI-Systemen vertrauen können. Regeln für die Entwicklung und den Einsatz von KI schützen sie vor möglichen Gefahren. Zugleich schaffen einheitliche Regeln faire Wettbewerbsbedingungen für die Wirtschaft in Europa. Damit Regelungen nicht die Innovationskraft beschneiden, gilt es die richtige Balance zwischen einer vertrauensstiftenden Gestaltung der Technologie und der Innovationsförderung für den Wirtschaftsstandort zu finden. Nur so lässt sich das Potenzial der Künstlichen Intelligenz für Wirtschaft und Gesellschaft ausschöpfen.

Wann ist KI vertrauenswürdig?

Vertrauenswürdige KI ist kein feststehender Begriff, sondern wird von verschiedenen Seiten leicht unterschiedlich definiert. Das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS nennt in seinem Leitfaden zur Gestaltung vertrauenswürdiger Künstlicher Intelligenz etwa die Dimensionen Fairness, Autonomie und Kontrolle, Transparenz, Verlässlichkeit, Sicherheit und Datenschutz. Zusammengefasst lassen sich die Anforderungen an KI wie folgt bündeln:

  • 1. Ethisch einwandfrei:
  • Entscheidend dafür, ob die Nutzerinnen und Nutzer KI als vertrauenswürdig erachten, ist zunächst die Einhaltung ethischer Prinzipien und demokratischer Werte. Bei Einsatz und Entwicklung von KI sollten die Gleichheit, Selbstbestimmung und Diskriminierungsfreiheit gewahrt bleiben: Ebenso wie vor dem Gesetz sollte auch durch ein KI-System niemand ungleich oder unfair behandelt werden. Zugleich gilt es, das Recht auf Privatsphäre einzuhalten. Eine vertrauenswürdige KI muss also die Persönlichkeitsrechte wahren und zugleich das Leben und die Gesundheit von Menschen schützen.
  • 2. Technisch zuverlässig:
  • Weiter sollte das KI-System technisch so hochwertig sein, dass es sicher und zuverlässig angewendet werden kann. Das bedeutet, dass das KI-System gemäß seines Einsatzzwecks und ohne ungewollte Nebenwirkungen funktioniert. Häufig wird gefordert, dass auch demokratische Prinzipien in die technischen Anforderungen an ein KI-System einfließen. Sowohl in der Erhebung als auch Nutzung von Daten durch das KI-System ist auf Nachvollziehbarkeit und Transparenz zu achten. Den Nutzerinnen und Nutzern sollte stets klar sein, welche Daten aus welchem Grund verarbeitet werden.
  • 3.Wirtschaftlich fair:
  • Unternehmen, die KI entwickeln und anwenden, erwarten von einer vertrauenswürdigen Anwendung vor allem, dass bei ihrer Nutzung Eigentumsrechte sowie Chancengleichheit und Fairness auf dem Markt gewahrt bleiben. Damit durch die KI-Anwendung keine Monopolstellungen oder ungleiche Wettbewerbsverhältnisse entstehen, sollten KI-Systeme möglichst viele offene Schnittstellen für verschiedene Anwendungsszenarien bieten.

Normen schaffen Klarheit

In die Praxis überführen lassen sich diese Erwartungen und abstrakten Grundsätze anhand von konkreten Normen und Standards. Diese definieren Sicherheitsanforderungen, die KI-Systeme erfüllen müssen, bevor sie auf den Markt kommen. Die Vorteile: Die Gesellschaft kann auf sichere KI-Systeme vertrauen, die ohne Bedenken genutzt werden können. Die Wirtschaft profitiert durch Rechtssicherheit und die Einführung technischer Mindestanforderungen. Im internationalen Wettbewerb können vertrauenswürdige KI-Systeme einen Wettbewerbsvorteil bringen und die technologische Souveränität in Europa gewährleisten. Individuelle Rechte und der Erhalt der Innovationskraft sind in einer vertrauenswürdigen KI in Einklang gebracht.

Risiko eines Systems bewerten: die Kritikalität entscheidet

Wie lässt sich beurteilen, ob ein KI-System vertrauenswürdig oder riskant ist? Viele Expertinnen und Experten, auch innerhalb der Plattform Lernende Systeme, schlagen eine sogenannten Kritikalitätsbewertung vor. Anhand dieser lassen sich Risikofaktoren prüfen und Regeln für eine vertrauenswürdige KI ableiten. Die Kritikalität eines KI-Systemen wird entlang zweier Dimensionen bewertet.

Gefahrenlage:

Wie hoch ist die Wahrscheinlichkeit, dass durch Empfehlungen oder Entscheidungen der KI-Anwendung Menschenleben, Rechte von Personen, Unternehmen, Objekte oder die Umwelt gefährdet werden? Wie groß ist das Ausmaß dieser möglichen Gefährdung?

Handlungsspielraum:

Welche Möglichkeiten bleiben den Nutzerinnen und Nutzern, um auf das KI-System einzuwirken, KI-basierte Entscheidungen zu korrigieren oder in letzter Konsequenz die Funktionsweise des Systems zu unterbrechen?

Wichtig dabei ist, ein KI-System nicht allgemein, sondern in seinem konkreten Einsatzkontext zu betrachten. Das gleiche System kann in einem Zusammenhang unproblematisch und in einem anderen höchst kritisch sein. KI für die Detektion von Hate Speech kann zum Beispiel zunächst als vergleichsweise unbedenklich gelten. Wenn die gleiche Anwendung aber von einem totalitären Staat genutzt wird, um kritische Stellungnahmen ausfindig zu machen, dann fällt die Bewertung gegenteilig aus.

Am Risiko der Anwendung und den Handlungsmöglichkeiten des Menschen sollten sich die Regeln für KI orientieren. Dabei gilt folgende Faustregel: Je höher Risiko und Ausmaß der Verletzung und je geringer der menschliche Eingriffsspielraum, desto stärker sollte ein KI-System reguliert werden – und vice versa.

Ein Großteil der aktuell verwendeten KI-Systeme hat ein niedriges Kritikalitätslevel. Sie bedürfen keiner strikten Regulierung. Für risikobehafteter KI-Systeme sollten klare Regeln gelten, die ihren Einsatz vertrauenswürdig machen.

Publikationen zum Thema

AI Act der Europäischen Union: Regeln für vertrauenswürdige KI

Publikation aus der Reihe: KI Kompakt

Plattform Lernende Systeme
Erschienen: Mai 2024

KI-Systeme schützen, Missbrauch verhindern

AGs IT-Sicherheit, Privacy, Recht und Ethik und Lebensfeindliche Umgebungen
AutorInnen: Beyerer, J., Müller-Quade, J. et al.
Erschienen: März 2022

Kritikalität von KI-Systemen in ihren jeweiligen Anwendungskontexten

AGs IT-Sicherheit, Privacy, Recht und Ethik und Technologische Wegbereiter und Data Science
AutorInnen: Jessica Heesen, Jörn Müller-Quade, Stefan Wrobel et al.
Erschienen: November 2021

Zertifizierung von KI-Systemen

AGs IT-Sicherheit, Privacy, Recht und Ethik und Technologische Wegbereiter und Data Science
AutorInnen: Jessica Heesen, Jörn Müller-Quade, Stefan Wrobel et al.
Erschienen: November 2020

Ethik-Briefing

Leitfaden für eine verantwortungsvolle Entwicklung und Anwendung von KI-Systemen

AG IT-Sicherheit, Privacy, Recht und Ethik
AutorInnen: Jessica Heesen et al.
Erschienen: Oktober 2020