Herausforderungen für KI-basierte Medizinprodukte durch den EU Artificial Intelligence Act (AIA)

Mit dem AIA wird ein einheitlicher und horizontal wirksamer Rechtsrahmen insbesondere für die Entwicklung, Vermarktung und Verwendung künstlicher Intelligenz geschaffen. Die Verordnung gliedert sich auf 144 Seiten in 113 Artikeln und 13 Anhänge. Die Umsetzung der AIA erfordert in den kommenden Jahren zahlreiche Aktivitäten in den Mitgliedsstaaten und seitens der EU-Kommission. 

Gemäß Art. 6 (1) AIA werden KI-Systeme, die den Verordnungen (EU) 2017/745 über Medizinprodukte (Medical Device Regulation, MDR) oder (EU) 2017/746 über In-Vitro-Diagnostika (In-vitro Diagnostics Regulation, IVDR), sowie einer Konformitätsbewertung durch Dritte unterliegen, den Hochrisiko-KI-Systemen zugeordnet. Vereinfacht gesagt, handelt es sich dabei um alle KI-basierten Medizinprodukte der Risikoklassen IIa-III sowie In-Vitro-Diagnostika der Risikoklassen B-D.  

Im Folgenden geben wir einen Überblick zu den geplanten Inhalten und erläutern, welche Auswirkungen der AIA für Medizinprodukte-Hersteller hat. 

Definitionen und gesetzlicher Anwendungsbereich 

Gemäß Art. 3 (1) AIA ist ein KI-System definiert als „ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“. Hierbei handelt es sich um die Definition der OECD. Im Erwägungsgrund 12 erläutert der Gesetzgeber, was unter der Anpassungsfähigkeit eines KI-Systems zu verstehen ist. Diese „bezieht sich auf seine Lernfähigkeit, durch sie es sich während seiner Verwendung verändern kann. KI-Systeme können eigenständig oder als Bestandteil eines Produkts verwendet werden, unabhängig davon, ob das System physisch in das Produkt integriert (eingebettet) ist oder der Funktion des Produkts dient, ohne darin integriert zu sein (nicht eingebettet)“. Die mit der Anpassungsfähigkeit verbundenen Anforderungen, hinsichtlich der Konformitätsbewertung, werden im nachfolgenden Blog-Abschnitt „Anforderungen in Bezug auf Medizinprodukte“ genauer diskutiert.  

Der AIA gilt für die folgenden Gruppen und Personen (Art. 2 AIA): 

• Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind,  
• Betreiber von KI-Systemen, die ihren Sitz in der Union haben oder in der Union befinden, 
• Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird, 
• Einführer und Händler von KI-Systemen,  
• Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen, 
• Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind sowie 
• betroffene Personen, die sich in der Union befinden. In den weiteren Absätzen finden sich Einschränkungen des Anwendungsbereichs, z. B. für militärische Zwecke.  

Im Zusammenhang mit dem Anwendungsbereich wird nicht der Begriff „Hersteller“ sondern der Begriff „Anbieter“ verwendet, und dieser ist im Art. 3 (3) AIA wie folgt definiert: „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich.“ Weiterhin wird der „Betreiber“ im Sinne eines Anwenders definiert als „natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“ (Art. 3 (4) AIA). Folglich sind sowohl Medizinprodukte-Hersteller als auch Kliniken, Ärzte oder andere Anwender von KI-Systemen vom AIA betroffen. 

Auch Händler, Einführer, Betreiber oder sonstige Dritte können zu Anbietern werden, wenn sie beispielsweise wesentliche Änderungen an einem bereits in Verkehr gebracht oder in Betrieb genommenen Hochrisiko-KI-System vornehmen. Näheres regelt Art. 25 AIA.

Anforderungen in Bezug auf Medizinprodukte

Im Gegensatz zu MDR und IVDR enthält der AIA die Produktanforderungen nicht in einem Anhang, sondern beschreibt diese detailliert im Gesetzestext. Anbieter von Hochrisiko-KI-Systemen unterliegen grundsätzlich den Bestimmungen von Art. 16 AIA. Die folgende Tabelle listet Anforderungen auf, welche für Medizinprodukte als Hochrisikoprodukte im Sinne des AIA gelten und – sofern vorhanden - die jeweiligen Entsprechungen in der MDR: 

Die Anbieter von KI-basierten Medizinprodukten haben die Möglichkeit, die Umsetzung der Bestimmung des AIA in ihre jeweiligen MDR-Prozesse und -Dokumentationen zu integrieren (Art. 8 (2) AIA). 

Grundsätzlich müssen Anbieter von Hochrisiko-KI-Systemen ein Risikomanagement- und Qualitätsmanagementsystem (QMS) etablieren und aufrechterhalten (Art. 9 und 17 AIA). Für Medizinprodukte und IVD können die jeweiligen Anforderungen in bereits bestehenden Systemen umgesetzt werden.

Art. 10 AIA legt Daten- und Daten-Governance-Anforderungen fest und Art. 15 AIA bezieht sich im Wesentlichen auf die Entwicklung sowie technische Bewertung von KI-Systemen. Die Inhalte beider Artikel überschneiden sich weitestgehend mit den Anforderungen aus dem Fragenkatalog „Artificial Intelligence (AI) in Medical Devices“ der Interessengemeinschaft der Benannten Stellen für Medizinprodukte in Deutschland (IG-NB). Deshalb ist es umso wichtiger, die Anforderungen des Fragenkatalogs als Anbieter (Hersteller) konsequent umzusetzen und damit auch für den AIA gerüstet zu sein (AIA Ready). Allerdings gehen die Fragenkatalog-Anforderungen teilweise über die gesetzlichen Anforderungen hinaus, welche letztendlich maßgeblich sind.

Bei KI-basierten Medizinprodukten muss die technische Dokumentation zum Nachweis der Einhaltung der gesetzlichen Anforderungen sowohl Anhang IV AIA als auch den Anhängen II und III MDR entsprechen und vom Anbieter über einen bestimmten Zeitraum bereitgehalten werden (Art.11, 18). Für KMU und Start-ups ist eine vereinfachte Bereitstellung der technischen Dokumentation gemäß Anhang IV AIA vorgesehen (Art. 11 (1)). Allerdings muss hierfür ein Formular verwendet werden, welches erst noch durch die Europäische Kommission bereitgestellt werden muss. Für Medizinprodukte und IVD soll eine einheitliche technische Dokumentation erstellt werden, die zugleich den Anforderungen aus den sektorspezifischen Rechtsakten und aus dem AIA gerecht wird (Art. 11 (2)).

Die Sicherheit von KI-basierten Medizinprodukten liegt in der gemeinsamen Verantwortung von Anbietern und Anwendern. Der AIA berücksichtigt dies durch die nachfolgenden Anforderungen:

• Anbieter von Hochrisiko-KI-Systemen müssen eine „automatische Aufzeichnung von Ereignissen […] während des Lebenszyklus“ (Protokollierung) implementieren, um die Rückverfolgbarkeit der Systemfunktionen (Prozesse und Ereignisse) und die Überwachung nach dem Inverkehrbringen zu gewährleisten (Art. 12 AIA). 
• In Art. 13 AIA sieht der Gesetzgeber umfangreiche Transparenzpflichten vor. Für „KI-Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind“, wird außerdem gefordert, dass die „betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren“ (Art. 50 (1) AIA). Die Nennung der KI-Technologie als sog. Operating Principle in der Zweckbestimmung eines Medizinproduktes dürfte diese Anforderung erfüllen. Zur Erfüllung der Transparenzpflichten wurde kürzlich eine Vorgehensweise veröffentlicht (Prinz, 2024 und Poster im Downloadbereich dieses Blog-Beitrags). 
• In Art. 26 werden separate Anforderungen an die Anwender formuliert und Art. 14 AIA die fordert eine obligatorische menschliche Aufsicht. 

Der Gesetzgeber sieht für die gesamte Dokumentation bestimmte Aufbewahrungsfristen für den Anbieter vor (Art. 18 AIA). Dies gilt auch für die automatisch erzeugten Protokolle (Art. 19 (1) AIA).

Mit der Anwendung von harmonisierten Normen (Art. 40 (1) AIA) durch den Anbieter von KI-Systemen wird eine Konformitätsvermutung hinsichtlich der jeweiligen gesetzlichen Anforderungen ausgelöst. Eine entsprechende Regelung findet sich auch in Art. 8 MDR. Außerdem behält sich die EU-Kommission den Erlass gemeinsamer Spezifikationen vor (Art. 41 AIA), wie es bereits in Art. 9 der MDR vorgesehen ist. Der kürzlich veröffentlichte „Standardisation request to the European Committee for Standardisation and the European Committee for Electrotechnical Standardisation in support of Union policy on artificial intelligence“ wird die Erstellung von den entsprechenden Normen sicherstellen. 

Grundsätzlich müssen Anbieter von Hochrisiko-KI-Systemen ein Konformitätsbewertungsverfahren auf der Grundlage einer internen Kontrolle (Anhang VI AIA) oder der Bewertung des Qualitätsmanagementsystems und der technischen Dokumentation durch eine Benannte Stelle (Anhang VII AIA) durchlaufen (Art. 43 (1)). Die Anwendung des weniger aufwendigen ersten Verfahrens ist dem Anbieter von Hochrisiko-KI-Systemen nur gestattet, wenn er harmonisierte Normen und ggf. gemeinsame Spezifikationen einhält. Handelt es sich beim Hochrisiko-KI-System um ein Medizinprodukt muss der Hersteller die einschlägigen Konformitätsbewertungsverfahren gemäß MDR durchlaufen und die festgelegten Anforderungen für Hochrisiko-KI-Systeme in die Bewertung miteinbeziehen (Art. 43 (3)). Ebenso müssen die Nummern 4.3, 4.4 und 4.5 sowie Nummer 4.6 Absatz 5 aus Anhang VII angewendet werden. 

Der Umgang mit Änderungen an Hochrisiko-KI-Systemen, die bereits eine Konformitätsbewertungsverfahren durchlaufen haben, ist in Art. 43 (4) AIA geregelt. Im Falle einer wesentlichen Änderung werden diese „einem neuen Konformitätsbewertungsverfahren unterzogen, unabhängig davon, ob das geänderte System noch weiter in Verkehr gebracht oder vom derzeitigen Betreiber weitergenutzt werden soll“. Weiterhin heißt es: „Bei Hochrisiko-KI-Systemen, die nach dem Inverkehrbringen oder der Inbetriebnahme weiterhin dazulernen, gelten Änderungen des Hochrisiko-KI-Systems und seiner Leistung, die vom Anbieter zum Zeitpunkt der ursprünglichen Konformitätsbewertung vorab festgelegt wurden und in den Informationen der technischen Dokumentation gemäß Anhang IV Nummer 2 Buchstabe f enthalten sind, nicht als wesentliche Veränderung“. Ein besonderes Augenmerk müssen Anbieter dieser KI-Systeme darauf richten, dass das Risiko durch „möglicherweise verzerrter Ausgaben […] beseitigt oder so gering wie möglich gehalten wird und sichergestellt wird, dass auf solche Rückkopplungsschleifen angemessen mit geeigneten Risikominderungsmaßnahmen eingegangen wird“ (Art. 15 (4) AIA). Die Festlegung der Änderungen des Hochrisiko-KI-Systems und seiner Leistung zum Zeitpunkt der ursprünglichen Konformitätsbewertung, sowie die Identifikation damit einhergehender Risiken, könnte gemäß dem Verfahren erfolgen, welches kürzlich in einer VDE-DGBMT Empfehlung vorgestellt wurde. 

Für Hochrisiko-KI-Systeme als Medizinprodukt stellt der Anbieter eine einzige EU-Konformitätserklärung aus, „die sich auf alle für das Hochrisiko-KI-System geltenden Rechtsvorschriften der Union bezieht" (Beispiel: im Fall von einer Software als Medizinprodukt auf MDR sowie AIA). Die Erklärung enthält „alle erforderlichen Informationen zur Feststellung der Harmonisierungsrechtsvorschriften der Union, auf die sich die Erklärung bezieht“ (Art. 47 (3) AIA). 

Ähnlich wie im regulatorischen Lebenszyklus der Medizinprodukte, enden auch für KI-Systeme die Anbieterpflichten nicht mit dem Inverkehrbringen, sondern sie setzen sich im Rahmen der Überwachung nach dem Inverkehrbringen und der Vigilanz fort. Dementsprechend fordert Art. 72 AIA die Erstellung eines Plans zur Überwachung nach dem Inverkehrbringen sowie die Meldung schwerwiegender Vorkommnisse und Fehlfunktionen durch den Anbieter gegenüber den zuständigen Behörden (Art. 73 AIA). 

Anwendbarkeit auf Legacy Hochrisiko-KI-Systeme 

Hochrisiko-KI-Systeme, die vor dem Geltungsbeginn des AIA in Verkehr gebracht oder in Betrieb genommen wurden, müssen nur dann den Bestimmungen des AIA entsprechen, wenn „diese Systeme danach in ihrer Konzeption erheblich verändert wurden“ (Art. 111 (2)). 

General Purpose AI Models

Bei einem KI-System mit allgemeinem Verwendungszweck (General Purpose AI Models, GPAI) handelt es sich um „ein KI-System, das auf einem KI-Modell mit allgemeinem Verwendungszweck beruht und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen“ (Art. 3 (66) AIA). Der Abschnitte 2 im Kapitel V AIA enthält allgemeine Verpflichtungen für Anbieter von GPAI, nämlich die Erstellung einer technischen Dokumentation, die Bereitstellung von Informationen für andere Hersteller, die ein GPAI-Modell in ihr eigenes KI-System integrieren möchten, die Erstellung einer Urheberrechtspolitik auf der Grundlage der einschlägigen Rechtsvorschriften und die Veröffentlichung einer Zusammenfassung der verwendeten Trainingsdaten. Darüber hinaus sind für GPAI-Modelle mit systemischen Risiken Bewertungen einschließlich Angriffstests, Cybersicherheitsmaßnahmen, Selbstbewertung und Minderung systemischer Risiken sowie die Meldung schwerwiegender Vorfälle vorgeschrieben. 

KI-Reallabore

Die Einrichtung von KI-Reallaboren soll es Herstellern ermöglichen, KI-Systeme für einen bestimmten Zeitraum zu entwickeln, zu trainieren, zu testen und zu validieren, bevor sie auf den Markt gebracht werden (Art. 57 AIA). Damit sollen Innovation und Wettbewerbsfähigkeit gefördert und der Marktzugang für Start-ups sowie kleine und mittlere Unternehmen (KMU) erleichtert werden. Darüber hinaus können die Anbieter unter bestimmten Bedingungen ihre Systeme unter realen Bedingungen außerhalb der KI-Reallabore testen. Zu diesen Bedingungen gehört die Erteilung einer Genehmigung durch die zuständige nationale Behörde auf der Grundlage eines vom Hersteller vorab vorgelegten Testplans. Künftige Durchführungsrechtsakte der Europäischen Kommission werden voraussichtlich die Bedingungen festlegen, unter denen reale Testeinrichtungen in den einzelnen Mitgliedsstaaten eingeführt werden (Art. 58 AIA). 

Zusammenfassung und Empfehlungen 

Hersteller von KI-basierten Medizinprodukten müssen den erhöhten Aufwand in der technischen Dokumentation und durch die erweiterte Konformitätsbewertung zügig sowohl in Bezug auf organisatorische und finanzielle Ressourcen berücksichtigen. Diesbezüglich empfehlen wir die Teilnahme an unserem Hands-on Training „Artificial Intelligence (AI) in Medical Devices“, welches wir auch gerne bei Ihnen als In-Haus-Veranstaltung durchführen. Weiterhin sollten zukünftig erscheinende einschlägige Guidelines für den AIA und die MDR beachtet werden.