KI-Lebenszyklusmanagement für Medizinprodukte

Während sich KI-fähige medizinische Produkte weiterentwickeln, stehen Unternehmen vor neuen Herausforderungen in Bezug auf Modellleistung, Datenqualität und laufende Bewertung. In dieser Frage und Antwort teilt Christian Hoffmann, Principal Engineer bei UL Solutions, Perspektiven zum KI-Lebenszyklusmanagement, Modelldrift, Post-Market-Überwachung und aufkommenden Erwartungen an KI-fähige medizinische Produkte.

Herkömmliche Softwaresysteme werden im Allgemeinen spezifiziert und anhand vordefinierter Anforderungen validiert und es wird erwartet, dass sie ähnliche Ergebnisse liefern, wenn sie mit ähnlichen Eingaben präsentiert werden. KI-fähige Funktionen, deren Verhalten aus Daten gelernt wird, fügen ein stark datenabhängiges Element hinzu: die Qualität und Repräsentativität der Daten sowie statistische Leistungsnachweise werden zu entscheidenden Elementen, um zu zeigen, dass ein System für seinen beabsichtigten Zweck geeignet ist. Die Leistung eines KI-Systems im Laufe der Zeit kann durch Änderungen in der klinischen Praxis, Datenquellen, Technologie oder Änderungen am KI-Modell selbst beeinflusst werden.

Das Lebenszyklusmanagement muss daher den Nachweis erbringen, dass das System unter seinen aktuellen Nutzungsbedingungen weiterhin seinen beabsichtigten Zweck, seine Sicherheitsanforderungen und Leistungsansprüche erfüllt.

Der KI-Lebenszyklus umfasst viele der Phasen, die aus der traditionellen Softwareentwicklung bekannt sind, wie Design, Entwicklung, Verifizierung, Validierung, Bereitstellung, Betrieb und Wartung. Aber KI-Systeme führen auch zusätzliche datenzentrierte Aktivitäten ein, wie z. B. Datenerfassung, Annotation, Vorbereitung, Modelltraining und statistisch angemessene Bewertung. Über die Lebenszyklusphasen hinweg müssen Unternehmen überlegen, wie Datenqualität, Modellverhalten und akzeptable Leistung definiert, bewertet und dokumentiert werden. Datensätze, Modelle und die damit verbundenen Nachweise werden zu wichtigen Lebenszyklusartefakten, die neben traditionelleren technischen Artefakten wie Anforderungen, Quellcode und Testberichten verwaltet werden müssen. Nach der Veröffentlichung kann sich die Betriebsumgebung ändern, und das KI-System kann durch Modellaktualisierungen oder in einigen Fällen adaptive Lernmechanismen modifiziert werden, was die laufende Bewertung zu einem wichtigen Teil des KI-Lebenszyklus macht.

Die Erstvalidierung wird typischerweise unter Verwendung entsprechend ausgewählter und unabhängiger Datensätze und vordefinierter Bewertungsmethoden durchgeführt, um zu zeigen, dass ein KI-System für seine beabsichtigte Verwendung geeignet ist. Die Bewertung nach der Markteinführung erweitert dies durch die Einbeziehung von Daten und Feedback, die während der realen Verwendung gesammelt wurden, und durch die Überwachung, ob Änderungen in der operativen Domäne das Systemverhalten beeinflussen. Beispielsweise können neue Generationen von Bildgebungsgeräten, Veränderungen der Patientenpopulationen oder Veränderungen der klinischen Arbeitsabläufe die vom System angetroffenen Daten und damit seine Leistung beeinflussen. Infolgedessen müssen Unternehmen möglicherweise relevante statistische Leistungsindikatoren, Eingabedatenmerkmale, Benutzerfeedback, Beschwerden und Vorfälle überwachen, um festzustellen, ob die während der Entwicklung und der anfänglichen Validierung getroffenen Annahmen weiterhin Bestand haben. Im Vergleich zur herkömmlichen Softwarevalidierung wird ein größerer Schwerpunkt auf Daten, statistischen Nachweisen und der Leistung unter den aktuellen Nutzungsbedingungen während des gesamten Produktlebenszyklus gelegt.

Modellaktualisierungen sollten über einen strukturierten Änderungsprozess verwaltet werden, der Versionierung, Folgenabschätzung und angemessene Dokumentation und Rückverfolgbarkeit umfasst. Bei KI-Systemen können sich Änderungen nicht nur auf Softwarekomponenten, sondern auch auf Daten, Anmerkungen, Schulungsverfahren oder das Modell selbst auswirken, was die Rückverfolgbarkeit über Lebenszyklusartefakte hinweg besonders wichtig macht. Im Gegensatz zu herkömmlichen Softwareänderungen kann die Auswirkung einer Modellaktualisierung im Allgemeinen nicht allein durch die Überprüfung des Quellcodes bestimmt werden, da Menschen das resultierende Verhalten im Allgemeinen nicht direkt aus den Parametern eines komplexen Modells ableiten können. Stattdessen ist die statistische Auswertung entscheidend, um zu zeigen, dass das aktualisierte System seine Anforderungen weiterhin erfüllt. Umschulungsaktivitäten erfordern dementsprechend sorgfältig verwaltete Daten, angemessen qualifizierte Annotatoren, wenn Anmerkungen erforderlich sind, und geeignete Anforderungen, Leistungsmetriken und Bewertungsmethoden. Konzepte wie vorbestimmte Änderungskontrollpläne können ein Mittel zur Vorab-Spezifizierung von Leitplanken bereitstellen, wodurch es einfacher wird, bestimmte Modelländerungen später einzuführen und gleichzeitig eine angemessene Aufsicht und Kontrolle aufrechtzuerhalten.

Drift wird als Oberbegriff verwendet, um Situationen zu beschreiben, in denen die einem KI-System zugrunde liegenden Annahmen im Laufe der Zeit weniger repräsentativ für reale Bedingungen werden. Eine gängige Form ist die Datendrift, bei der sich die Merkmale der Eingangsdaten, die während des Betriebs auftreten, zunehmend von denen während der Entwicklung und Validierung unterscheiden, z. B. wenn neue Generationen von Bildgebungsgeräten eingeführt werden oder sich die Patientenpopulationen ändern. Eine weitere gängige Form ist die Konzeptdrift, bei der sich die zugrunde liegenden Beziehungen zwischen Eingaben und den beabsichtigten Ausgaben ändern, z. B. als Reaktion auf sich entwickelnde klinische Praktiken.

Diese Driftformen können die Systemleistung beeinträchtigen, selbst wenn weder das Modell selbst noch die umliegende Software verändert wurden. Organisationen können daher relevante statistische Merkmale von Eingabedaten und Systemleistung zusammen mit Benutzerfeedback, Beschwerden und anderen Informationen nach der Markteinführung überwachen. Änderungen dieser Indikatoren bedeuten nicht notwendigerweise, dass ein System nicht mehr akzeptable Leistung erbringt, aber sie können die Notwendigkeit weiterer Untersuchungen und Bewertungen signalisieren. Effektives Drift-Management erfordert eine fortlaufende Analyse von realen Daten und geeigneten Prozessen zur Bewertung und Reaktion auf identifizierte Änderungen.

Die Überwachung nach der Markteinführung bietet Unternehmen einen Einblick in die Leistung eines KI-Systems unter realen Bedingungen während seiner gesamten Lebensdauer. Zusätzlich zu traditionellen Aktivitäten nach der Markteinführung, wie z. B. der Analyse von Beschwerden, Vorfällen und Nutzerfeedback, können KI-Systeme die Überwachung relevanter statistischer Leistungsindikatoren und Merkmale der Eingabedaten erfordern, um Änderungen zu identifizieren, die das Systemverhalten beeinflussen könnten. Diese Informationen helfen Organisationen zu beurteilen, ob die während der Entwicklung getroffenen Annahmen weiterhin innerhalb des beabsichtigten operativen Bereichs liegen und können zur Generierung von realen Beweisen beitragen, die die laufende Bewertung von Anforderungen, Risikokontrollen und den zugrunde liegenden Sicherheits- oder Leistungsargumenten unterstützen.

Die Ergebnisse der Überwachung nach der Markteinführung können eine Reihe von Aktivitäten unterstützen, einschließlich weiterer Untersuchungen, Aktualisierungen des Risikomanagements, Modellverbesserungen oder Umschulungsbemühungen. Für KI-fähige medizinische Produkte ergänzen Daten aus der Praxis und die daraus resultierenden Nachweise aus der Praxis zunehmend die Bewertung vor der Markteinführung, indem sie Einblicke in die Systemleistung unter tatsächlichen Nutzungsbedingungen bieten. Auf diese Weise wird die Überwachung nach der Markteinführung zu einem wichtigen Feedback-Mechanismus, der Unternehmen dabei unterstützt, die kontinuierliche Compliance von KI-fähigen Medizinprodukten zu unterstützen.

Standards, Leitfäden und regulatorische Ansätze für KI-fähige medizinische Produkte entwickeln sich neben der Technologie selbst weiter und adressieren zunehmend KI-spezifische Governance- und Lebenszyklusthemen. Während sie weiterhin Wert auf Sicherheit, Leistung und Effektivität legen, konzentrieren sie sich zunehmend auch darauf, wie Themen wie Datenmanagement, menschliche Aufsicht, Cybersicherheit, laufende Leistungsbewertung und Risikomanagement auf KI-fähige Systeme angewendet werden.

Ein bemerkenswerter Trend bei aufkommenden Standards und Leitlinien ist die wachsende Aufmerksamkeit auf organisatorische Fähigkeiten zusätzlich zu produktspezifischen Kontrollen. KI-Managementsystemansätze spiegeln die Notwendigkeit robuster Prozesse, klarer Verantwortlichkeiten und angemessener Personalqualifikationen für die Entwicklung, Bewertung, Überwachung und Wartung von KI-Systemen wider. Dies ist besonders relevant, da die KI-Leistung nicht nur von der Softwareimplementierung, sondern auch von Daten, Modellen, dem betrieblichen Kontext und der Fähigkeit des Unternehmens abhängt, Veränderungen im Laufe der Zeit zu bewältigen. Die genauen Verpflichtungen und Begriffe unterscheiden sich je nach Gerichtsbarkeit und Produkt, aber organisatorische KI-Managementsysteme bauen im Allgemeinen auf bestehenden Qualitätsmanagementsystemen auf.

Organisationen sollten den gesamten Lebenszyklus eines KI-fähigen medizinischen Produkts von den frühesten Phasen der Planung und Entwicklung an berücksichtigen, anstatt sich ausschließlich auf die Modellleistung zur Lösung des klinischen Anwendungsfalls zu konzentrieren. Dazu gehört die Definition des Verwendungszwecks und der operativen Domäne sowie die Festlegung von Datenmanagementstrategien und -prozessen, um die Herkunft, Qualität, Repräsentativität und Eignung von Daten während des gesamten Lebenszyklus zu demonstrieren. Datensätze, Anmerkungen, Referenzstandards und statistische Nachweise sollten von Anfang an als verwaltete technische Artefakte behandelt werden, anstatt als temporäre Eingaben zur Modellentwicklung. Entscheidungen, die während der Prototyperstellung getroffen werden, können langfristige Konsequenzen haben, insbesondere wenn die Datenlinie oder die Modellhistorie während des Übergangs von einem Prototyp zu einem Medizinprodukt nicht rekonstruiert werden können.

Es ist auch wichtig, frühzeitig zu planen, wie das System nach der Bereitstellung überwacht, gewartet und möglicherweise aktualisiert wird. Dies kann nicht nur strukturierte Änderungsmechanismen beinhalten, sondern auch, für einige KI-Systeme, vordefinierte Ansätze für zukünftige Modellverbesserungen oder kontrolliertes adaptives Verhalten, falls zutreffend. Zusätzlich zu technischen Überlegungen sollten Organisationen über die notwendigen Kompetenzen, Verantwortlichkeiten und Governance-Prozesse verfügen, einschließlich KI-systemspezifischer Expertise in Bereichen wie Datenmanagement, Kommentar, Tests und Governance. Eine frühzeitige Behandlung dieser Themen kann eine spätere Validierung und ein laufendes Lebenszyklusmanagement unterstützen.