Herr Rad, KI kann medizinische Diagnosen verbessern, Therapien personalisieren, chronisch kranken Menschen ein selbstbestimmtes Leben ermöglichen. Welche Risiken sind mit ihrem Einsatz verbunden?
Dr. Abtin Rad: Mit jeder neuen Technologie gehen auch neue technologie-spezifische Risiken einher. Bei medizinischer KI ist insbesondere der sogenannte „Bias“ zu beachten: Falsche statistische Verteilungen in den Daten, auf denen das KI-Modell basiert, können nicht nur zu Diskriminierung bestimmter Patientengruppen führen. In der Folge kann es auch zu Fehldiagnosen kommen, die die Patientensicherheit gefährden, wie Beispiele in der Vergangenheit zeigten.
Blindes Vertrauen der Ärztinnen und Ärzte in die Empfehlungen der KI-Systeme – der sogenannte „Over-Trust“ – und fehlende Transparenz in den Entscheidungsprozessen der KI stellen weitere Risiken dar. Mit zunehmender Automation in der Medizin kann auch eine gewisse Abnahme der Kompetenzen der Fachkräfte beobachtet werden.
Durch kaum erkennbare Änderungen an den medizinischen Daten können KI-Systeme zudem gezielt manipuliert werden, um so falsche Diagnosen bzw. Therapien zu induzieren. Nicht zu vernachlässigen sind Datenschutzprobleme. Erst kürzlich konnten Forschende zeigen, dass sensible Patienteninformationen wie etwa medizinische Bilder aus den dem KI-Modell zugrunde liegenden Trainingsdaten extrahiert werden können. Diese Risiken verdeutlichen die Notwendigkeit einer sorgfältigen Kontrolle von KI-Systemen in der Medizin.
Wie lässt sich kontrollieren, ob KI-Systeme in der Medizin sicher sind? Welche Anforderungen sollten KI-Anwendungen erfüllen?
Dr. Abtin Rad: Die europäischen Verordnungen für Medizinprodukte und In-Vitro Diagnostika (MDR/IVDR) unterteilen Medizinprodukte je nach Risiko in sieben Klassen. Bei Produkten, denen einen höheres Risiko zugesprochen wird, müssen Hersteller eine staatlich autorisierte Prüfstelle (sog. Benannte Stelle) einbeziehen, um zu kontrollieren, ob das Produkt den EU-Anforderungen entspricht. Diese Konformitätsbewertung beinhaltet – abhängig vom gewählten Verfahren – zum einen eine Prüfung des Qualitätsmanagementsystems, um eine gleichbleibende, konforme Entwicklung und Herstellung des KI-Medizinprodukts sicherzustellen.
Zudem wird die technische Dokumentation des Produkts geprüft und damit technisch bewertet, ob das Produkt zu jedem Zeitpunkt im Lebenszyklus sicher ist – von Planung, Design, Entwicklung und Herstellung, über klinische Evaluation bis zur Inverkehrbringung sowie Überwachung des Medizinproduktes nach der Inverkehrbringung.
Die unabhängige Prüfung des Medizinprodukts durch Dritte gewährleistet eine objektive Bewertung, basierend auf Fachwissen und Erfahrung der Benannten Stelle in Bezug auf Medizinprodukte, frei von Marktinteressen. Zu den Prüfkriterien gehören unter anderem: regulatorische Konformität, Sicherstellung der klinischen Performanz, Prüfung des KI-Lebenszyklus, KI-Datenmanagement, Modelauswahl, die Bewertung ethischer Aspekte sowie die nachgelagerte Marktüberwachung.
Was bedeutet die geplante KI-Verordnung der Europäischen Union für KI-gestützte Medizinprodukte aus Deutschland?
Dr. Abtin Rad: Einerseits bringt die KI-Verordnung Rechtssicherheit, indem sie klare Rahmenbedingungen für das Inverkehrbringen KI-gestützter Medizinprodukte schafft. Zudem gestaltet die europäische Verordnung einen harmonisierten europäischen Markt.
Nach dem derzeitigen Stand der KI-Verordnung, welche aktuell noch im sogenannten Trilog verhandelt wird, bedeutet die Verordnung für Medizinproduktehersteller andererseits, dass der Aufwand für den Nachweis der Konformität zunimmt. Des Weiteren finden sich einige Widersprüche und teilweise redundante Anforderungen im Vergleich zu den gültigen Verordnungen für Medizinprodukte und In-Vitro Diagnostika.
Die KI-Verordnung erfordert darüber hinaus eine Neubenennung der Prüfstellen für Medizinprodukte, welche bereits seit Jahren KI-gestützte Medizinprodukte gemäß dem Stand der Technik zertifizieren. Damit geht ein erheblicher (redundanter) bürokratischer Aufwand einher. Meiner Ansicht nach ist die aktuell und künftig größte Herausforderung jedoch der Mangel an KI-Experten – für Hersteller in Deutschland wie auch für Behörden und Benannte Stellen.
Mehr Informationen zur Regulierung von KI finden sich im Themenspezial der Plattform Lernende Systeme.
Das Interview ist für eine redaktionelle Verwendung freigegeben (bei Nennung der Quelle © Plattform Lernende Systeme).