Sichert die annehmbare Qualitätsgrenzlage (AQL) nach ISO 2859 bei attributiven Prüfungen wirklich Compliance?

Qualitätsmerkmale mit Sicherheits- und Funktionsrelevanz stellen oftmals eine besondere Herausforderung dar. Bei Nichterfüllung der Anforderungen können sie zu maßgeblichen Funktionsausfällen, Sicherheitsgefährdungen oder bedeutsamen Gesundheitsrisiken führen.

Sie werden deshalb auch „kritische Qualitätsmerkmale“, critical quality attributes (CQA) oder „essential design output“ (siehe FDA 21 CFR 820) genannt.

Einige dieser Merkmale werden so spezifiziert, dass sie lediglich attributiv auf „vorhanden“ / „nicht vorhanden“ oder „in Ordnung“ / „nicht in Ordnung“ geprüft werden können.

Beispiele derartiger Merkmale sind: max. Durchmesser nicht überschritten, Auslösekraft kleiner 10 N, Kratzerfreiheit, Gratfreiheit, Sauberkeit und Sichtbarkeit.

Aufgrund der Funktions- und Sicherheitsrelevanz liegen die Anforderungen an die Fehlerraten dieser Qualitätsmerkmale typischerweise im ppm-Bereich.

Die Herausforderung liegt nun in der Wahl eines geeigneten Stichprobenumfanges, um den geforderten Qualitätsnachweis sicher erbringen zu können.

Wie groß muss z.B. eine Stichprobe sein, wenn der Nachweis erbracht werden soll, dass höchstens 100 von 1.000.000 Teilen fehlerhaft sind?

Dies ist in vielen Fällen schon eine unzulässig hohe Fehlerrate für kritische Qualitätsmerkmale, stellt jedoch mit AQL=0,01 die untere prüfbare Grenze nach den Vorgaben der DIN ISO 2859 dar.

Entsprechend DIN ISO 2859 Teil 1 sind für AQL 0,01 und dem Standard-Prüfniveau folgende Stichprobenumfänge zu wählen:

Das Los wird angenommen, wenn sich in den Stichproben keine fehlerhaften Einheiten befinden. Andernfalls erfolgt die Rückweisung des Loses.

Die Frage, ob durch dieses Verfahren die Qualitätslage des Loses sicher bewertet werden kann, lässt sich einfach beantworten, indem man die Wahrscheinlichkeit ermittelt, mit der durch fehlerfreie Stichproben Lose angenommen werden, deren Fehleranteil ein Vielfaches von AQL 0,01 beträgt.

Nachfolgend sind die Wahrscheinlichkeiten einer Annahme von Losen mit 2-, 5-, 10-fachen Fehleranteil dargestellt.

Selbst bei einem Stichprobenumfang von 1250 Einheiten wird in nahezu einem Drittel der Anlieferungen ein Los mit 10-fachem Fehleranteil (anstelle der geforderten AQL 0,01) als gut akzeptiert, d.h. man geht aufgrund des Stichprobenergebnisses davon aus, dass der Fehleranteil unter 0,01% liegt!

Vor diesem Hintergrund erscheinen AQL-Empfehlungen in Medizintechnik-Normen in einem anderen Licht. Hier zwei Beispiele:

DIN EN ISO 11607-2:2020-05 Verpackungen für in der Endverpackung zu sterilisierende Medizinprodukte Teil 2 (…), Kap. 4.2 Probenahme:

„Die für Auswahl und Prüfung von Verpackungssystemen angewendeten Probenahmepläne müssen auf das zu bewertende Verfahren anwendbar sein.

Probenahmepläne müssen als Grundlage eine statistisch stichhaltige Begründung haben.

ANMERKUNG: Gängige, statistisch basierte Probenahmepläne, wie sie beispielsweise in ISO 2859-1 oder ISO 186 beschrieben sind, können (ggf. mit entsprechenden Änderungen) für Materialien, Sterilbarrieresysteme und Verpackungssysteme angewandt werden.“

DIN EN 14683:2019-10 Medizinische Gesichtsmasken – Anforderungen und Prüfverfahren, Anhang B Verfahren für die In-vitro-Bestimmung der bakteriellen Filterleistung (BFE):

„Die Anzahl der zu prüfenden Probekörper beträgt mindestens 5, kann aber größer sein und muss ggfs. vergrößert werden, um eine AQL (…) von 4% zu ermöglichen.“

Auch im zweiten Beispiel einer Forderung von AQL 4,0 steht es um die Identifikation fehlerhafter Lose nicht viel besser. Eine Charge, deren Fehleranteil hinsichtlich der bakteriellen Filterleistung bei dem 5-fachen liegt (20% Fehleranteil), wird in 33% der Fälle als gut angenommen. Wird der Stichprobenumfang auf 10 verdoppelt, „rutschen“ immer noch 10% der fehlerhaften Chargen durch.

Wenn kritische Qualitätsattribute attributiv geprüft werden sollen, sind Stichprobenpläne nach ISO 2859 ungeeignet.

Die Verfasser der Norm haben in Teil 10 Kap. 5.4.1 davor gewarnt, diese Pläne für die Bewertung von Qualitätslagen zu verwenden:

„Die Verfahren in ISO 2859-1, ISO 2859-2 und ISO 2859-5 sind gut geeignet für die Zwecke der Annahmestichprobenprüfung, aber sie sollten nicht in Bewertungen oder Audits verwendet werden, um eine Qualitätslage zu verifizieren.“

Vor diesem Hintergrund können die folgenden Schlüsse gezogen werden:

Wenn die bisherige Produktion unauffällig war und dabei (ungeeignete) attributive Prüfverfahren für die Überwachung kritischer Qualitätsmerkmale zum Einsatz kommen, stellt sich die Frage, welche Maßnahmen im Design, in der Herstellung und in der Fertigungsüberwachung tatsächlich die Qualität sicherstellen. Sind diese identifiziert, besteht die Möglichkeit, das gesamte Prüfkonzept daraufhin zu optimieren.

Vermehrte interne Fehlermeldungen und Rückmeldungen vom Markt lassen hingegen darauf schließen, dass durch attributive Prüfverfahren nach ISO 2859 die Qualitätslage der Lose unzureichend ermittelt wird und fehlerhafte Produkte freigegeben werden.

Werden kurzfristig Medizinprodukte in großem Umfang zusätzlich benötigt, deren Qualitätslage attributiv geprüft wird, so ist das Risiko hoch, dass wegen ungeeigneter Probennahmepläne nach ISO 2859 ein hoher Anteil nichtkonformer Produkte auf den Markt kommt. Ein Beispiel ist die Produktion medizinischer Masken in der derzeitigen Coronavirus-Epidemie.

Es ist damit zu rechnen, dass die Sensibilität gegenüber dieser Thematik im Zusammenhang mit der Identifikation von kritischen Qualitätsmerkmalen und deren Handhabung zunimmt und Inspektoren zukünftig häufiger auf vorhandene Nicht-Konformitäten bei Referenzen auf ISO 2859 in den Prüfplänen aufmerksam werden.