Mit einer medizinischen Zweckbestimmung unterliegen Systeme der künstlichen Intelligenz (KI-Systeme) in der Medizin genauso wie klassische Software der Regulierung durch die Europäischen Verordnungen 2017/745 über Medizinprodukte (MDR) und 2017/746 über In-vitro-Diagnostika (IVDR). Weiterhin ist in Bezug auf den Lebenszyklus von medizinische KI-Systemen die Anwendung von regulatorischen Prozessen gemäß den etablierten Normen für die Medizintechnik zu empfehlen. In diesem Blog-Beitrag wollen wir genauer betrachten, welche weiteren Anforderungen für diese Produkte gegenwärtig gelten und wo Hersteller Hilfestellungen bei der Einhaltung der Vorschriften finden können. Der Fokus liegt hierbei auf Medizinprodukte im Geltungsbereich der MDR.
Amgun / stock.adobe.com
Zulassung von KI-basierten Medizinprodukten in Europa
Gegenwärtige gesetzliche und normative Anforderungen
Wie bei jeder Software, ist auch bei medizinischen KI-Systemen zunächst zu klären, ob es sich um ein Medizinprodukt im Sinne der MDR handelt. Diese sog. „Qualifizierung als Medizinprodukt“ erfolgt in Bezug auf die Zweckbestimmung des jeweiligen medizinischen KI-Systems nach den Kriterien, wie sie in dem Dokument MDCG 2019-11 beschrieben werden. Der zweite Schritt ist die Risikoklassifizierung, die ebenfalls gemäß der Vorgehensweise im Dokument MDCG 2019-11 erfolgt. In Bezug auf Software ist hier insbesondere die Anwendung der Regel 11 im Anhang VIII MDR von Belang. Auf der Webseite „Health AI Register“ werden für das Anwendungsfeld „Radiologie“ zahlreiche Beispiele von medizinischen KI-Systemen mit entsprechenden Informationen zur Risikoklassifizierung gemäß MDR und FDA, Zertifikaten sowie Produktspezifikationen aufgelistet.
Spezielle Anforderungen für Software als Medizinprodukt finden sich in der MDR in den Abschnitten 14.2(d), 14.5 sowie 17.1 bis 17.4 von Anhang I Kapitel II und diese sind auch für medizinische KI-Systeme einschlägig. In Bezug auf die regulatorischen Prozesse während des Software-Lebenszyklus wird bei medizinischen KI-Systemen die Norm EN 62304 angewendet. Hierbei ist zu beachten, dass nur diejenigen Teile des Software-Codes, die zur Anwendung des KI-Modells dienen und damit im Medizinprodukt zum Einsatz kommen, sowie das KI-Modell selbst die Anforderungen an den Lebenszyklus von Medizinprodukte-Software der EN 62304 vollständig erfüllen müssen. Verwendete Software-Bibliotheken oder KI-Modelle, die ursprünglich nicht als Medizinprodukte-Software entwickelt wurden, werden als Software unbekannter Herkunft (engl. software of unknown provenance, SOUP) behandelt (Abschnitte 5.3.3, 5.3.4, 5.3.6 c), 6.1 f), 7.1.2 c), 7.1.3, 7.4.1, 7.4.2 und 8.1.2 in EN 62304). Software-Bibliotheken, die zum Datenmanagement, zur KI-Modell-Entwicklung und -Bewertung eingesetzt werden fallen in den Anwendungsbereich des Abschnitts 7.5.6 der EN ISO 13485, d.h. es muss eine Validierung dieser Software-Bibliotheken erfolgen. Bei eigenständiger KI-basierter Software, die nicht Teil eines Medizingerätes ist, wird ergänzend die Norm EN 82304-1 herangezogen. Weder in der MDR noch in den genannten Normen finden sich KI-spezifische Anforderungen in Bezug auf die Sicherheit und Leistungsfähigkeit.
Um Herstellern eine Hilfestellung in Hinsicht auf die KI-spezifischen Inhalte in der technischen Dokumentation zu geben, veröffentlichten IG-NB and Team NB das Dokument „Questionnaire: Artificial Intelligence in Medical Devices“. Dieses enthält für den Hersteller zahlreiche Fragen in Bezug auf Verantwortlichkeiten, Kompetenzen, Zweckbestimmung, Software-Anforderungen, Daten-Management, KI-Modell-Entwicklung, Produktentwicklung und Überwachung nach dem Inverkehrbringen. Das Dokument „Good practices for health applications of machine learning: Considerations for manufacturers and regulators” der International Telecommunication Union (ITU) ähnelt dem IG-NB/Team NB-Dokument und kann zur Erläuterung einzelner Anforderungen herangezogen werden.
Neben den medizinprodukterechtlichen Anforderungen müssen KI-basierte Medizinprodukte auch die Bestimmungen für Hoch-Risiko-Produkte in der Verordnung (EU) 2024/1689 (Artificial Intelligence Act, AIA) erfüllen. Es sei an dieser Stelle insbesondere auf die Art. 10 und Art. 15 AIA hingewiesen, welche konkrete Anforderungen an das Datenmanagement sowie die Entwicklung und technische Bewertung von KI-Systemen enthalten. Wir haben die entsprechenden Herausforderungen in einem weiteren Blog-Artikel ausführlich diskutiert.
Allen voran die internationalen Normungsorganisationen International Organization for Standardization (ISO) und International Electrotechnical Commission (IEC) sowie auch die Association for the Advancement of Medical Instrumentation (AAMI) und das Institute of Electrical and Electronics Engineers (IEEE) haben Normen in Bezug auf KI-Technologien veröffentlicht. Aktuelle Entwicklungen bei der Normenerstellung können auf der Webseite von ISO/IEC JTC 1/SC 42 eingesehen werden. Auch wenn zum gegenwärtigen Zeitpunkt die meisten Dokumente keine konkreten Produktanforderungen enthalten und sie sich nicht auf Medizinprodukte beziehen, können Hersteller hierin wichtige Information in Hinsicht auf die Erstellung von regulatorischen Prozessen finden.
Datenschutzaspekte
Sofern bei der Entwicklung und Anwendung von KI-Systemen personenbezogene Daten verarbeitet werden, findet die Europäische Datenschutzgrundverordnung (DSGVO) Anwendung. Sie hat auch auf KI-Systeme einen signifikanten Einfluss. Ein paar wichtige Aspekte werden nachfolgend diskutiert. Hersteller und Anwender müssen die in Art. 5 DSGVO genannten Prinzipien zur Datenverarbeitung anwenden. Weiterhin muss der Hersteller schon in der Entwicklungsphase technische und organisatorische Maßnahmen zum Datenschutz umsetzen (Art. 25 DSGVO). Da Art. 22 DSGVO im Wesentlichen die automatisierte Entscheidungsfindung einschließlich Profiling verbietet, müssen Hersteller von autonomen KI-Systemen die im Gesetz geforderten Maßnahmen ergreifen. Für neue Technologien wie KI, die ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen bergen, ist vorsorglich eine Datenschutzfolgenabschätzung erforderlich (Art. 35 (1) DSGVO). Eine ausführliche juristische Auseinandersetzung zum Thema wurde von Schreitmüller veröffentlicht.
CE-Konformitätsbewertung von kontinuierlich-lernenden KI-Systemen
KI-Systeme können sich in ihrem Lebenszyklus durch das erneute Durchlaufen des Lern-Prozesses weiterentwickeln. Dieses sog. kontinuierliche Lernen (engl. continuous learning) ist definiert als “incremental training of an AI system that takes place on an ongoing basis during the operation phase of the AI system life cycle“ (Quelle: ISO/IEC 22989). Dabei kann zwischen determiniertem und nicht-determiniertem kontinuierlichem Lernen unterschieden werden. Die erste Variante wird auch als batch learning bezeichnet, welches definiert wird als „training that leads to the change of a Machine Learning-enabled Medical Device (MLMD) that involves discrete updates based on defined sets of data that take place at distinct points prior to or during the operation phase of the MLMD life cycle” (Quelle: IMDRF). In Bezug auf eine Medizinprodukte-Software kann das determinierte kontinuierliche Lernen z. B. mit Daten aus weiteren Kliniken oder von zusätzlichen Patientengruppen erfolgen.
Das IG-NB/Team NB Dokument nimmt zu kontinuierlich-lernenden KI-Systemen wie folgt Stellung: „Practice has shown that it is difficult for manufacturers to sufficiently prove conformity for AI devices, which update the underlying models using in-field self-learning mechanisms. Currently, notified bodies do not consider medical devices based on such models to be "certifiable", unless the manufacturer takes measures to ensure the safe operation of the device within the scope of the validation described in the technical documentation”.
Der Fachausschuss „Regulatory Affairs“ der VDE-DGBMT hat die Empfehlung "Marktzugang von kontinuierlich-lernenden KI-Systemen in der Medizin" herausgegeben. Hierin wird dargelegt, dass es unter dem derzeitigen Rechtsrahmen der MDR keinen rechtlichen Grund gibt, kontinuierlich-lernende KI-Systeme nicht zu zertifizieren. Entscheidend ist es, dass im Rahmen des determinierten kontinuierlichen Lernens keine Änderung der Zweckbestimmung erfolgt und der Hersteller die entsprechende Vorgehensweise zum Zeitpunkt der Konformitätsbewertung plant und durch die Benannte Stelle begutachten lässt. Deshalb fordert die VDE-DGBMT Empfehlung, den von der FDA vorgeschlagenen Predetermined Change Control Plan (PCCP) im Rahmen einer antizipierenden Konformitätsbewertung auch in Europa zu übernehmen.
Regulatorischer Ansatz BAIM zur Erfüllung der regulatorischen Anforderungen
Der VDE hat den regulatorischen Ansatz „BAIM - Boost AI to Market“ entwickelt, um Hersteller bei der Erfüllung der komplexen gesetzlichen und regulatorischen Anforderungen zu unterstützen. BAIM erweitert im Wesentlichen existierende Prozesse beim Hersteller zu den Themen Software-Lebenszyklus, Risikomanagement, Usability Engineering, klinische Bewertung/Nachbeobachtung und Überwachung nach dem Inverkehrbringen/Vigilanz um KI-spezifische Aspekte.
Fazit
Da sich der technische und regulatorische State-of-the-Art bei medizinischen KI-Systemen fortlaufend ändert, müssen Hersteller die Änderungen überwachen und zeitnah in ihre regulatorischen Prozesse integrieren.
