KI für Compliance-Dienstleistungen: Chancen, Herausforderungen und Risiken

Der derzeitige Stand der Technik ermöglicht noch nicht, selbstlernende Systeme und künstliche Intelligenz (KI) in Compliance-Fragestellungen effizient einzusetzen. Global eingesetzte KI-Anwendungen liefern verallgemeinerte Ergebnisse, welche zwar für eine Einführung in das Thema geeignet sein mögen, jedoch spezifische Fragestellungen nicht in der geforderten Ergebnisqualität beantworten können. Die erwarteten Einsatzpotenziale und deren Nutzen konnten noch nicht nachgewiesen werden.

Spezifische, auf abgegrenzte Themenstellungen zugeschnittene KI-Anwendungen scheinen derzeit vielversprechender zu sein. Vor der Entwicklung derartiger KI-Anwendungen sollten jedoch die grundlegenden Erwartungen und Anforderungen in einem Lastenheft formuliert und mit  repräsentativen Beispielen veranschaulicht werden. Die spezifische KI-Anwendung muss vor deren Einsatz validiert werden, es ist der Nachweis zu erbringen, dass die Anforderungen an die KI sicher und nachvollziehbar erfüllt werden.

Selbstlernende Systeme sind ein Zwischenschritt in Richtung allgemeiner künstlicher Intelligenz (KI). KI ahmt dabei auf der Ebene der elektronischen Datenverarbeitung menschliches Verhalten nach. Sie „ist die Fähigkeit einer Maschine, menschliche Fähigkeiten wie logisches Denken, Lernen, Planen und Kreativität zu imitieren. KI ermöglicht es technischen Systemen, ihre Umwelt wahrzunehmen, mit dem Wahrgenommenen umzugehen und Probleme zu lösen, um ein bestimmtes Ziel zu erreichen. (…) KI-Systeme sind in der Lage, ihr Handeln anzupassen, indem sie die Folgen früherer Aktionen analysieren und autonom arbeiten.“ [1]

In den zurückliegenden Jahrzehnten wurden Softwarelösungen, welche festgelegte Regelstrukturen und Entscheidungsbäume in ihren Algorithmen abbildeten, als KI bezeichnet.  Ein Beispiel für eine einfache regelbasierte Lösung ist ein Entscheidungsbaum, welcher die Klassifizierungsregeln aus Anhang VIII der EU-Medizinprodukte-Verordnung umsetzt.

Heute werden diese regelbasierten Softwarelösungen nicht mehr der künstlichen Intelligenz zugeordnet, da sie keine Fähigkeit besitzen, sich selbstlernend zu trainieren und sich selbstständig zu optimieren. Unter bestimmten Bedingungen können sie trotzdem gegenüber selbstlernenden Systemen für Compliance-Dienstleistungen Vorteile aufweisen.

Spätestens mit der Einführung von ChatGPT der Firma OpenAI sind selbstlernende Systeme in aller Munde. Selbstlernende Systeme analysieren vorhandene Datensätze nach erlernten Mustern. Sie treffen damit Entscheidungen, welche entweder anhand der vorhandenen Daten einen Sachverhalt bewerten (wie z.B. die Objekterkennung bei einer Bilddiagnose), oder aber aus den Daten eine Handlungsanweisung ableiten (z.B. eine Therapieempfehlung).

Die Begriffe KI und selbstlernende System werden derzeit inflationär verwendet. Es empfiehlt sich in jeder seriösen Zusammenarbeit, vorab zu klären, was die Beteiligten unter diesen Begriffen verstehen und – soweit noch nicht vorhanden – eine gemeinsame Verständnisgrundlage zu schaffen.

ChatGPT ist ein sogenanntes Large Language Model (LLM), welches auf großen Mengen an Text trainiert wurde und daher auf viele Fragen Antworten in einer erstaunlich hohen sprachliche Qualität produziert. Die Antworten werden schon alleine wegen dieser Eigenschaft von vielen Benutzern als plausibel wahrgenommen. Als Potenziale möglicher Einsatzbereiche selbstlernender Systeme für Compliance-Dienstleistungen[1] werden von ChatGPT für Medizinprodukte genannt:

„Risikobewertung und -management: Selbstlernende Algorithmen könnten dazu verwendet werden, Risiken zu analysieren und zu bewerten, um sicherzustellen, dass Medizinprodukte den vorgeschriebenen Sicherheitsstandards entsprechen.

Qualitätskontrolle in der Produktion: Automatisierte Überwachungssysteme mit selbstlernenden Algorithmen könnten bei der Identifizierung von Qualitätsproblemen in der Fertigung von Medizinprodukten unterstützen.

Dokumentenmanagement und -prüfung: Künstliche Intelligenz (KI) kann dazu verwendet werden, große Mengen von Dokumenten auf Konformität und Genauigkeit zu überprüfen, was die Effizienz von Compliance-Prüfungen erhöht.

Lieferantenmanagement: Durch den Einsatz von Algorithmen können Lieferanten und deren Konformität mit den Standards effektiv überwacht werden.

Überwachung der regulatorischen Landschaft: Selbstlernende Algorithmen können kontinuierlich die sich ändernden regulatorischen Anforderungen verfolgen und Unternehmen benachrichtigen, wenn Anpassungen in den Compliance-Maßnahmen erforderlich sind.

Patientensicherheit und Erfahrungsberichte: KI kann dazu beitragen, unerwünschte Ereignisse und Erfahrungen von Patienten zu analysieren, um sicherzustellen, dass Medizinprodukte den Sicherheitsstandards entsprechen.

Validierung von Software für Medizinprodukte: Selbstlernende Algorithmen könnten bei der Validierung von Softwarelösungen für Medizinprodukte eingesetzt werden, um sicherzustellen, dass sie den erforderlichen regulatorischen Anforderungen entsprechen.

Überwachung von Post-Marketing-Sicherheitsdaten: KI kann große Mengen von Post-Marketing-Daten analysieren, um potenzielle Sicherheitsprobleme zu identifizieren und frühzeitig darauf zu reagieren.

Interne Schulungen und Compliance-Training: Selbstlernende Algorithmen können personalisierte Schulungen bereitstellen und den Fortschritt der Mitarbeiter bei der Einhaltung von Compliance-Richtlinien überwachen.

Klinische Studiendatenanalyse: KI kann bei der Analyse von klinischen Studiendaten unterstützen, um die Einhaltung von Protokollen und regulatorischen Anforderungen sicherzustellen.

Audit-Trail-Analyse: Automatisierte Überwachung von Audit-Trails mithilfe von KI kann Unregelmäßigkeiten oder Sicherheitsverletzungen in Bezug auf Medizinprodukte erkennen.

Automatisierte Compliance-Berichterstattung: Selbstlernende Algorithmen können in die automatisierte Erstellung von Compliance-Berichten integriert werden, um den Aufwand für manuelle Berichterstattung zu minimieren.“ [2]

Für Pharmaprodukte werden folgende weitere Einsatzmöglichkeiten aufgelistet:

„Patientensicherheit und Nebenwirkungsüberwachung: KI kann dazu beitragen, unerwünschte Ereignisse und Nebenwirkungen von Arzneimitteln zu analysieren, um sicherzustellen, dass pharmazeutische Produkte den Sicherheitsstandards entsprechen.

Validierung von Produktionsprozessen: Selbstlernende Algorithmen könnten bei der Validierung von Produktionsprozessen für pharmazeutische Produkte eingesetzt werden, um sicherzustellen, dass sie den erforderlichen regulatorischen Anforderungen entsprechen.

Überwachung von klinischen Studien: KI kann bei der Analyse von klinischen Studiendaten unterstützen, um sicherzustellen, dass die Durchführung und Berichterstattung den geltenden Vorschriften entsprechen.

Produkt-Rückverfolgbarkeit: Algorithmen können dazu beitragen, die Rückverfolgbarkeit von pharmazeutischen Produkten entlang der Lieferkette zu gewährleisten und sicherzustellen, dass alle erforderlichen Standards eingehalten werden.

Überwachung der Arzneimittelsicherheit nach Markteinführung: Selbstlernende Algorithmen können in Echtzeit Daten zur Arzneimittelsicherheit analysieren und potenzielle Sicherheitsprobleme nach Markteinführung identifizieren.“ [3]

Die dabei vorhandenen Chancen, Herausforderungen und Risiken im Einsatz selbstlernender Systeme für Compliance-Dienstleistungen sind nachfolgend am Beispiel des Einsatzbereichs „Risikomanagement“ dargestellt.

Das Risikomanagement für Pharma- und Medizinprodukte ist von entscheidender Bedeutung, um die Sicherheit und Wirksamkeit dieser Produkte zu gewährleisten. Ziel ist, die wesentlichen Risiken im Produktlebenszyklus bereits in der Entwicklungsphase zu identifizieren, zu bewerten und, soweit erforderlich, durch geeignete risikomindernde Maßnahmen zu beherrschen.

Chancen für den Einsatz von KI werden in der automatisierten Analyse umfangreicher Datensätze, z.B. von historischen Prozessdaten und zugehörigen Fehlerinformationen oder aus unterschiedlichen Projekten gesehen. Es werden die Erwartungen formuliert, dass auf der Grundlage dieser Datensätze unbekannte Risiken erkannt, Fehlerursachen und -auswirkungen präziser und schneller identifiziert, Risiken autonom bewertet und klassifiziert werden und die Risikomanagement-Dokumentation durch entsprechende Textgenerierung erheblich vereinfacht wird  [4].

Alle in den Lebenszyklus eines Pharma- oder Medizinproduktes involvierten Parteien (u.a. Hersteller, Behörden, Anwender) erwarten vom Risikomanagement, dass maßgebliche Risiken am Produkt sicher identifiziert werden und Maßnahmen eingeleitet werden, um diese zu beherrschen, damit Sicherheit und Funktion bzw. Wirksamkeit und Unbedenklichkeit des Produktes gewährleistet sind. Bis dato erfordert dies, dass die am Risikomanagement beteiligten Personen ein entsprechend tiefgründiges Know-How einbringen und bestrebt sein müssen, ihre Produkt- und Prozesskenntnisse beständig zu verfeinern und zu vertiefen. Das Risikomanagement wird so zu einem Rückgrat für die effiziente Dokumentation und Weitergabe herstellerspezifischen Design- und Prozess-Know-Hows, welches die Wettbewerbsfähigkeit sichert und wesentlichen Input für die Entwicklung neuer Produkte liefert. Will man nun die vorher genannten Chancen realisieren, müssen vor diesem Hintergrund u.a. die folgenden Herausforderungen gemeistert werden, siehe Bild 1.

• Wie wird im Training der KI-Modelle sichergestellt, dass die KI anschliessend das Risikomanagement effizient unterstützen kann und einen wirklichen Zugewinn an Erkenntnis im Produkt- und Prozessdesign gewährleistet?
• Wie wird sichergestellt, dass herstellerspezifisches Know-How vertraulich bleibt?
• Wie kann die Erwartung erfüllt werden, dass für den Hersteller bisher unbekannte Risiken in der Gesamtheit von Daten sicher identifiziert werden?

Bild 1: Herausforderungen beim Einsatz selbstlernender Systeme im Risikomanagement (Nummern beziehen sich auf die nachfolgenden Fragen)

• Wie können beim Einsatz von KI im Risikomanagement Fehlinformationen, schlechte Datenqualität und fehlerhafte Bewertungen sicher identifiziert werden?

Zu 1.: Eine der wesentlichen Herausforderungen für das Training selbstlernender Systeme ist die Zusammensetzung der verwendeten Trainingsdaten. Dies gilt sowohl für den erforderlichen Datenumfang, um Risikoszenarien in ihrer Gesamtheit erfassen zu können, als auch hinsichtlich der Repräsentativität und Informationsqualität zu Risikoszenarien. Beispielsweise benötigen im Risikomanagement allgegenwärtige Bewertungen eine repräsentative Klassifizierung von Daten. Diese kann nur erreicht werden, wenn im Datensatz Repräsentanten aller Klassen die reale Häufigkeitsverteilung abbilden und auch innerhalb der Klassen repräsentativ für den Anwendungsfall zusammengesetzt sind.

Die Anforderungen an die Datenqualität verdeutlicht Tabelle 1.  Das dort dargestellte Beispiel steht stellvertretend für in der Praxis anzutreffenden Qualitäten zur Beschreibung des gleichen Sachverhalts. Je allgemeiner, unbestimmter und mehrdeutiger die Informationen sind, desto geringer wird deren spezifische Aussagekraft. Und je geringer deren spezifische Aussagekraft ist, desto mehr tendiert das Ergebnis einer KI-unterstützten Abfrage zu generalisierenden Aussagen, deren Mehrwert für das produktspezifische Risikomanagement damit in Frage steht. Aus diesem Grunde sollten vor der Entwicklung einer KI-Anwendung für das Risikomanagement die Erwartungen an die Anwendung anhand repräsentativer Beispiele in einem Lastenheft formuliert werden. Mit Hilfe der anschaulichen Beispiele lassen sich die Anforderungen an die Datenqualität ableiten und wirksame Szenarien erarbeiten, anhand dessen die Eignung der KI für den beabsichtigten Zweck nachgewiesen werden kann. Ein Nebeneffekt dieser Betrachtungen ist, dass bereits im Vorfeld eine Wirtschaftlichkeitsbetrachtung zum Einsatz der KI-Anwendung erfolgen kann.

Tabelle 1: Beispiel zur Informationsqualität von Fehlerketten (Fehlerursache → Fehler → Fehlerfolge), es wird der gleiche Sachverhalt beschrieben.

Zu 2.: Wenn die Erwartungen an die KI-Anwendung formuliert sind (siehe Pkt. 1), stellt der Umgang mit dem spezifischen und vertraulichen Firmen-Know-How eine weitere große Herausforderung dar. In der Regel ist das Interesse groß, den Umgang mit Firmen-Know-How zu lenken und dessen unbestimmte Verbreitung zu verhindern. Die zum Einsatz kommende KI-Konfiguration (siehe auch Bild 1) hat darauf erheblichen Einfluss. Je umfangreicher ein Zugriff auf globale Datenpools aus der KI heraus erforderlich wird, desto größer ist auch das Risiko, dass Firmen-Know-How unbeabsichtigt abfließt, siehe Tabelle 2.

Tabelle 2: Einfluss der KI-Konfiguration auf die Sicherheit des Firmen-Know-How

Zu 3.:  Der Erwartung, für den Hersteller bisher unbekannte Produkt- oder Prozessrisiken in der Gesamtheit der Daten durch KI sicher identifizieren zu können liegt die Vermutung zugrunde, dass selbstlernende Systeme in dem Datenpool bisher unerkannte Muster identifizieren und Informationen in einen logischen und folgerichtigen Zusammenhang bringen, der bisher verborgen blieb. Leider liegen der Grünewald GmbH keine belastbaren Informationen zur Effizienz einer KI-gestützten Identifikation neuer Risiken im Vergleich mit dem methodischen Vorgehen einer Expertengruppe vor. Die bereits in den 90er Jahren des letzten Jahrhunderts durch Frederik Vester zum Umgang mit komplexen Systemen durchgeführten Arbeiten [5] lassen vermuten, dass das methodische Vorgehen einer Expertengruppe (z.B. mit Hilfe der FMEA-Methode) erheblich zielführender ist, als die KI-gestütze Analyse großer Datenmengen.

Zu 4.:  Eine sichere Identifikation von Fehlinformationen, schlechter Datenqualität und fehlerhaften Bewertungen im Risikomanagement ist zum heutigen Stand der Technik nicht möglich. Zwei wesentliche Ursachen sind:

• KI-Anwendungen verknüpfen Informationen anhand der Häufigkeit, mit der im Datenpool ähnliche Zusammenhänge und Muster bereits gebildet wurden. Es ist jedoch nicht klar, ab welcher Häufigkeit ein Ergebnis als „wahr“ oder „gesichert“ angesehen werden kann.
• Das Ergebnis einer Anfrage wird durch die Expertise des Benutzers darin, gute Anfragen zu stellen, und durch den Chatverlauf maßgeblich beeinflusst. In [6] ist ein Fall beschrieben, bei dem die Länge der Antwort aus ChatGPT von der Höhe der versprochenen finanziellen Belohnung abhängt (?!). Die erforderliche Verlässlichkeit gerade in Aussagen zu Compliancethemen ist damit nicht gegeben.

Folgendes Beispiel verdeutlicht die beiden oben genannten Punkte. Auf die Anforderung „Führe eine Risikoanalyse für das 3D-Drucken eines personalisierten Knieimplantates aus Keramik für einen 70-jährigen Patienten durch. Nenne die 3 wesentlichen Risiken und die zugehörigen Maßnahmen zur Risikobeherrschung.“ wurde durch ChatGPT die folgende Antwort generiert:

„Risikoanalyse für das 3D-Drucken eines personalisierten Knieimplantats aus Keramik für einen 70-jährigen Patienten:

Materialqualität und -integrität:

• Risiko: Unzureichende Qualität des keramischen Materials kann zu Brüchen oder anderen strukturellen Problemen führen.
• Maßnahmen: Verwendung hochwertiger, zertifizierter keramischer Materialien; Kontinuierliche Überwachung und Qualitätsprüfung während des 3D-Druckprozesses.

Haltbarkeit und Langzeiteffekte:

• Risiko: Abnutzung, Ermüdung oder Verschleiß des Implantats über die Zeit können zu Funktionsverlust führen.
• Maßnahmen: Durchführung von Belastungstests und simulationsbasierten Analysen, um die Haltbarkeit zu gewährleisten; Langzeitüberwachung und regelmäßige Nachuntersuchungen des Patienten.

Biokompatibilität:

• Risiko: Reaktionen des Immunsystems auf das Implantat können zu Entzündungen oder Abstoßungsreaktionen führen.
• Maßnahmen: Auswahl von biokompatiblen Materialien; Durchführung von Vorabtests, um die Verträglichkeit des Materials mit dem Körper zu überprüfen.

Es ist wichtig zu beachten, dass dies eine vereinfachte Darstellung ist und dass jede spezifische Risikobewertung auf den individuellen Patienten und die genauen Umstände der Anwendung abgestimmt sein sollte. Eine enge Zusammenarbeit mit medizinischem Fachpersonal, Materialwissenschaftlern und 3D-Druckexperten ist erforderlich, um eine umfassende Risikoanalyse durchzuführen und geeignete Maßnahmen zur Risikobeherrschung zu entwickeln.“ [7]

Die Antwort von ChatGPT scheint auf den ersten Blick hilfreich, auf den zweiten Blick jedoch, wie auch im Zitat genannt, stellt sie „eine vereinfachte Darstellung“ dar. Eine „enge Zusammenarbeit mit medizinischem Fachpersonal, Materialwissenschaftlern und 3D-Druckexperten“ ist erforderlich, um die Situationumfassend und spezifisch zu analysieren. Auch kommen die genannten Risiken eher aus der Anwendung des Implantates und haben mit dem Prozess des 3D-Druckens weniger zu tun. Erst bei verfeinerter Nachfrage „Führe eine Risikoanalyse des Produktionsprozesses für das 3D-Druckens (…) durch.“ werden die Risiken „Fehlerhafte 3D-Druckqualität“, „Verlust von Personalisierungsdaten“ und „Unzureichende Reinigung und Sterilisation“ genannt. Die zugehörigen Informationen verbleiben im Allgemeinen und auch hier fällt auf, dass die genannten Risiken nur teilweise „passen“. Reinigung und Sterilisation sind primär nicht Gegenstand des 3D-Druckens, sondern nachfolgender Schritte. Darüber hinaus wird auch nicht klar, nach welchen Kriterien die genannten Risiken als die  drei wesentlichen angesehen werden. Die Klassifizierung der Auswahlkriterien bleibt auch bei Nachfrage „Aus welchen Kriterien heraus hast du die o.g. Risiken als die 3 wesentlichen genannt?“ unklar.

Die Qualität der KI-Konfiguration (siehe auch Bild 1) und des Datenpools ist, wie in den vorhergehenden Absätzen verdeutlicht, für eine erfolgreiche KI-Anwendung im Risikomanagement ausschlaggebend. Derzeit scheint damit der Einsatz herstellerspezifischer KI-Konfigurationen, welche auf das firmenspezifische Know-How zugreifen, am erfolgversprechendsten, siehe Tabelle 3. Der damit verbundene Aufwand zur KI-Einführung ist jedoch erheblich, die Kosten- / Nutzenrechnung für kleine und mittlere Unternehmen fällt derzeit noch mit hoher Wahrscheinlichkeit negativ aus.

Tabelle 3: Vergleich kritischer Qualitätsmerkmale von unterschiedlichen KI-Konfigurationen.

Die Entwicklung von KI-Anwendungen für das Risikomanagement fällt in eine Zeit, in der die zu analysierenden Gegenstände immer komplexer werden, die Complianceanforderungen und Dokumentationsaufwände stetig zunehmen und die für die Risikoanalyse benötigten  Spezialisten oftmals immer weniger Zeit zur Verfügung stellen können. Obwohl die Ursachen dafür vielfältig sein können (z.B. veraltete Firmen-prozesse,  Personalmangel, unangemessener Umgang mit Compliance-Anforderungen, fehlende Bereitschaft zur Verantwortungsübernahme, fehlende Methodenkompetenz, unangemessene Sitzungskultur, überbordende interne Dokumentationsanforderungen), liegt die Versuchung nahe, den akuten Mangel durch den Einsatz von KI im Risikomanagement zu kompensieren: „KI-generierte Fehleranalyse. Lade einfach deine Design- oder Prozessbeschreibung hoch und generiere deine funktionale Sicherheitsanalyse mit unserem KI-gestützten Prozess. Die effizienteste Art und Weise, deine FMEA durchzuführen.“ [8]

Vor dem Hintergrund der in Kap. 4.2 beschriebenen Herausforderungen sind die folgenden Anwendungsrisiken offensichtlich:

• Die durch KI erzeugten Compliance-Dokumente werden aus Zeitmangel nicht auf Richtigkeit und Vollständigkeit überprüft, sondern „durchgewunken“. Sie dienen nur dem Zweck, Dokumentationsanforderungen, wie z.B. im Medizintechnikbereich durch die ISO 14971 vorgegeben, schnell und mit Minimalaufwand zu erfüllen.
• Die durch die KI erzeugten Dokumente erscheinen den Nutzern inhaltlich plausibel, sie sehen keine Veranlassung,
• die Dokumenteninhalte durch die für den Inhalt erforderlichen Fachspezialisten weiter prüfen zu lassen oder
• zu hinterfragen, nach welchen „Entscheidungsmustern“ die KI die Informationen zusammengestellt hat.

Freigabeinstanzen gehen jedoch davon aus, dass die relevanten Spezialisten involviert waren bzw. die Dokumenteninhalte auf nachvollziehbare Weise zusammengestellt wurden.

• Es ist nicht erkennbar, dass die Dokumente durch eine KI erzeugt wurden. Freigabeinstanzen gehen davon aus, dass die relevanten Spezialisten involviert waren.

Alle genannten Risiken sind mit der Gefahr verbunden, dass wesentliche gesundheitsschädliche Risiken nicht identifiziert werden und nicht beherrscht werden. Die Fehler treten erst in der Anwendung auf und haben aufgrund des damit verbundenen Schadens erhebliche regulatorische und wirtschaftliche Konsequenzen für den Hersteller.

Im April 2023 unterzog die Grünewald GmbH ChatGPT einem Test mit 9 Fragestellungen aus Pharma und Medtech, um einen ersten Eindruck zu der Frage zu erhalten, ob mit der KI Fragestellungen zu Compliancethemen effizient und professionell bearbeitet werden können. Der Test wurde im Januar 2024 wie-

Tabelle 4: Testergebnisse ChatGPT zu Compliancefragen. [9]

derholt. Die Ergebnisse sind in Tabelle 4 zusammenfassend dargestellt. Sie zeigen folgende Merkmale:

• Die Informationen sind eher allgemeiner Natur. Der Informationsgehalt zu spezifischen Fällen ist eher gering.
• Die Informationen sind zum Teil falsch und nicht nachvollziehbar.
• Aktuelle Entwicklungen werden nicht berücksichtigt, ChatGPT „hinkt“ in dem verarbeiteten Informationsstand ca. 1 Jahr hinterher.

Auffällig ist, dass die erhaltene Ergebnisqualität im Januar 2024 die Erwartungen an eine Verbesserung nicht erfüllt, sondern die Qualität sich tendenziell eher verschlechtert hat.

Die in Kap. 4 genannten Schlüsse zum Einsatzbereich „Risikomanagement“ werden durch die Ausgabeergebnisse bestätigt:

• KI-Anwendungen mit globalem Einsatzbereich scheinen sich bei Compliancethemen für grundlegende Anfragen zu eignen, um einen ersten Überblick zu gewinnen. Sie lassen sich auch für Grobentwürfe als erste Idee für Anschreiben, Stellungnahmen, Evaluationsberichte, Vorträge etc. verwenden. Die Ausgabeinhalte müssen in jedem Fall auf Richtigkeit und Vollständigkeit überprüft werden.
• Will man in Compliancethemen die professionelle Arbeit durch KI rationalisieren, so erfordert dies spezifische, auf abgegrenzte Themenstellungen zugeschnittene KI-Anwendungen. Für das Training der KI müssen Datensätze in hoher Qualität zur Verfügung stehen. Die KI-Anwendung muss validiert werden, um den Nachweis zu erbringen, dass die Anforderungen an die KI sicher und nachvollziehbar erfüllt werden.

Lastenheft für KI-Anwendung erstellen: Wir unterstützen dabei, die grundlegenden Erwartungen und Anforderungen an ein Lastenheft für eine KI-Anwendung zu Compliancethemen zu formulieren und mit  repräsentativen Beispielen zu veranschaulichen. Damit wird die erforderliche Grundlage gelegt, um im Anwendungskontext den erwarteten Nutzen und die Wirtschaftlichkeit der KI-Anwendung zu bewerten. Bei Bedarf wird auch die Frage geklärt, in wie weit eine neue KI-Anwendung mit vorhandenen, durch regelbasierte Compliancesoftware entwickelten Datenbankstrukturen konkurrieren kann.

Gapanalyse zu Trainingsdaten durchführen: Die Güte der Trainingsdaten bestimmt maßgeblich die Arbeitsqualität der KI-Anwendung. Wir unterstützen bei der Formulierung der Anforderungen an die Datenqualität und führen einen Soll-Ist-Abgleich durch. Der erhaltene Ergebnisbericht listet die erforderlichen Schritte auf, um die geforderte Qualität der Trainingsdaten zu erhalten.

KI-Anwendungen einem Stresstest unterziehen: Bevor eine KI-Anwendung für Complianceanwendungen validiert werden kann, sollte sie einem Stresstest unterzogen werden. Wir unterstützen bei der Entwicklung des Testplans und bei der Durchführung der Tests. Im Ergebnisbericht wird der Reifegrad der KI im Hinblick auf die im Lastenheft formulierten Anforderungen bewertet.

KI-Anwendungen validieren: Eine KI-Anwendung für Complianceaufgaben sollte erst zum Einsatz kommen, wenn deren Eignung für die geplante Aufgabestellung nachgewiesen wurde. Die dazu erforderlichen Validierungstätigkeiten (Validierungsplan erstellen, Test durchführen und auswerten, Validierungsbericht erstellen)  führen wir gerne für unsere Auftraggeber durch. Das Ergebnis ist eine inspektionssichere Validierungsdokumentation.

Medizinische Versorgungseinrichtungen wie Arztpraxen und Krankenhäuser zählen in der Regel zur kritischen Infrastruktur, die besonders hohe Anforderungen an die Resilienz der IT-Infrastruktur stellen müssen.

Die DIN EN ISO/IEC 27001:2017 beschreiben die Anforderungen an Informationssicherheitsmanagement (ISMS) und definiert den Stand der Technik.

Beispielsweise wurden in Deutschland die Vorgaben aus § 8a Sicherheit in der Informationstechnik Kritischer Infrastrukturen des BSI Gesetztes im Branchenspezifische Sicherheitsstandard (B3S) für die Gesundheitsversorgung im Krankenhaus umgesetzt.

Nach dem Sozialgesetzbuch (SGB) V sind deutsche Krankenhäuser seit dem 1. Januar 2022 verpflichtet, ihre IT-Sicherheit nach dem Stand der Technik umzusetzen. (SGB V § 75c). 

Eine ähnliche Priorität erfordert die praktische Umsetzung der Vorgaben zum Datenschutz (EU- 2016/679 Datenschutzgrundverordnung DSGVO) und der gesetzlichen Vorgaben zum Schutz elektronischer Patientendaten in der Telematikinfrastruktur, in Deutschland definiert durch das Patientendaten-Schutz-Gesetz (PDSG), in den USA der Health Insurance Portability and Accountability Act HIPAA).

Ein (zentraler) Aspekt der Verantwortung der Betreiber ist die Cyber-Sicherheit bei der IT-Integration von Medizinprodukten, wie sie in DIN EN 80001-1:2011 Anwendung des Risikomanagements für IT-Netzwerke, die Medizinprodukte beinhalten – Teil 1: Aufgaben, Verantwortlichkeiten und Aktivitäten bzw. auch dem Entwurf E DIN EN 80001-1:2018 beschrieben wird.

Eine Grundvoraussetzung dafür ist, dass dem Kunden und Betreiber die benötigten Cyber-Security Detailinformationen zu den Medizinprodukten zur Verfügung gestellt werden. Damit wird die Cyber-Sicherheit von Medizinprodukten zum Beschaffungskriterium und Thema für das Downstream-Marketing und den Vertrieb.

Das Manufacturer Disclosure Statement for Medical Device Security (MDS2) erleichtert als standardisiertes und maschinenlesbares Dokument den Austausch aller (cyber-)sicherheitsrelevanten Merkmalen und Funktionen von Medizinprodukten.

MDS2 wird sich als globaler Standard etablieren und deswegen schon heute in R&D, Marketing & Vertrieb genutzt werden. |> Expertenkreis CyberMed

Im ersten Teil unserer Serie [wissenswert] Connectivity und Cybersecurity bei Medizinprodukten im MDR- & IVDR- Zeitalter (Teil 1: Stakeholder-Anforderungen) haben wir zentrale User- und Business- Cases der Connectivity von Medizinprodukten herausgearbeitet. |> Link

Die Anzeige der Verfügbarkeit einer neuen Softwareversion auf dem GUI des PEMS und die Implementierung zur automatisierten Software Verteilung (Software Distribution) sind vielleicht offensichtliche Anforderungen der inkrementellen / agilen Entwicklung von Medizinprodukten. Aus Sicht des Risiko Managements kann das Download häufig jederzeit im laufenden Betrieb erfolgen. Die Ausführung des Updates wird gern an den „Servicemodus“ gekoppelt, bei dem der Nutzer bestätigt, dass kein Patient verbunden ist.

Die Verpflichtung der Einweisung in neue Funktionen, z.B. aus der Anlage 1 des MPBetreibV, lässt sich z.B. über einen Video Link in einem QR-Code einfach realisieren.

In den folgenden Abschnitten wollen wir vielleicht nicht ganz so offensichtliche und für die Cybersecurity relevante Aspekte der Architektur von PEMS Medizinprodukten beleuchten.