Die A3-Intervalltestmethode

Die A3-Intervalltestmethode – Was ist das?

Die A3-Intervalltestmethode (Methode A3) ist ein Algorithmus zur Optimierung von Kalibrierintervallen, der die gesammelten Kalibrierdaten für bestimmte Geräte, Marken/Modelle oder ähnlich klassifizierte Messgeräte (z. B. alle 3½-stelligen digitalen Handmultimeter oder alle Manometer mit einer Genauigkeit von 1 % des Skalenendwerts) nutzt, um statistisch zu prüfen, ob das dem Prüfobjekt zugewiesene Intervall angemessen ist.

Das Testergebnis entscheidet darüber, ob das aktuelle Intervall angepasst wird oder nicht, basierend auf Kalibrierungsergebnissen, die den Erwartungen hinsichtlich der Zuverlässigkeit am Ende des Zeitraums (EOPR) entsprechen.

Wenn das Kalibrierungslabor beispielsweise ein EOPR-Ziel von 89 % hat, führt der Algorithmus eine statistische Analyse der ausgewählten Artikel, Marken/Modelle oder Klassen durch und empfiehlt eine von drei möglichen Maßnahmen:

1. Das aktuelle Intervall verlängern – das untersuchte Objekt schneidet besser ab als erwartet, daher sind weniger häufige Kalibrierungen erforderlich.
2. Keine Maßnahmen ergreifen – das untersuchte Objekt verhält sich wie erwartet, daher sind keine Abhilfemaßnahmen erforderlich.
3. Verkürzen Sie das Zeitintervall – die Leistung des untersuchten Probanden bleibt hinter den Erwartungen zurück, daher sind häufigere Kalibrierungen erforderlich.

Wie funktioniert das?

Der A3-Algorithmus stützt sich auf statistisch signifikante Ergebnisse anstelle einer reaktiven Methode.

Eine reaktive Methode ist ein einfacher algorithmischer Ansatz, der ohne statistische Verfahren auskommt. Ein Beispiel für eine reaktive Methode (die in vielen Labors üblich ist) wird in den folgenden Schritten beschrieben:

1. Lagen die letzten drei Kalibrierungen außerhalb der Toleranz?
   1. Ja = das aktuelle Intervall um das 1,5-Fache verlängern (oder um 10–15 % des aktuellen Intervalls verlängern)
   2. Nein = das aktuelle Intervall um den Faktor 0,5 verringern

Bei der Anwendung einer reaktiven Methode wird bei der Entscheidung über das Ergebnis keine statistische Argumentation herangezogen. Der Endnutzer reagiert auf zufällige Ereignisse. Dies führt dazu, dass häufig falsche Entscheidungen hinsichtlich der Verlängerung oder Verkürzung eines Kalibrierungsintervalls getroffen werden.

Ein weiterer Nachteil reaktionärer Methoden ist die Genauigkeit der Zielerfassung. Simulationen zeigen, dass es zwischen 10 und 60 Jahren dauern kann, bis sich ein bestimmtes Intervall einpendelt. Selbst wenn sich ein „feststehender“ Punkt herauskristallisiert, gibt es keinen Hinweis darauf, dass er auf dem richtigen Intervall liegt. Es kann letztendlich ein falsches Intervall festlegen und reagiert dann nicht mehr auf weitere Daten, unabhängig von der beobachteten Zuverlässigkeit.

Der Unterschied zwischen Methode A3 und algorithmischen Antworten besteht darin, dass bei Methode A3 die statistische Signifikanz herangezogen wird. Was versteht man unter statistischer Signifikanz? „Ist mein derzeitiges Konfidenzintervall korrekt?“

Im obigen Beispiel wird der EOPR durch einfache Division geschätzt, was zwar „eine“ Zahl liefert, aber die damit verbundene Zuverlässigkeit verschleiert (es handelt sich nicht um „die“ Zahl). Wenn beispielsweise ein Gerät einer bestimmten Marke/eines bestimmten Modells zehnmal kalibriert wurde, ohne dass eine Abweichung außerhalb der Toleranz (OOT) festgestellt wurde, ergibt sich durch einfache Berechnung, dass der EOPR bei 100 % liegt. Das Problem bei diesem vereinfachenden Ansatz besteht darin, dass die EOPR bei null Ausfällen scheinbar 100 % beträgt, was jedoch falsch ist, da praktisch nichts zu 100 % zuverlässig sein kann – Unsicherheit ist immer eine unbekannte Variable.

Obwohl 10 von 10 Items als „nicht tolerierbar“ eingestuft wurden, liegt die tatsächliche Reliabilität irgendwo innerhalb der Konfidenzgrenzen für die Reliabilität. Wenn das Wartungslabor ein EOPR-Ziel von 89 % bei einem Konfidenzniveau von 95 % und null Ausfällen angibt, wird als EOPR im ungünstigsten Fall die untere berechnete Konfidenzgrenze angenommen, die bei 74,11 % liegt. In der Fertigungstechnik wird dies als Empfänger-Operations-Kurve (ROC) bezeichnet.

Stellen Sie sich EOPR genauso vor wie einen Nennwert und eine umgebende Toleranz von ±. Beispielsweise haben wir einen Nennwert von 1 VDC mit einer Toleranz von 1,1 bis 0,9 VDC bei einem Konfidenzniveau von 95 %. Man würde niemals einen Messwert, beispielsweise 1,015 VDC, als gültig betrachten, wenn keine Angaben zur Toleranz und/oder zur Messunsicherheit vorliegen. EOPR funktioniert auf ähnliche Weise.

Am Beispiel der Spannung liegt der Wert von 1 VDC im Bereich von 0,9 bis 1,1 VDC. Wenn der Messwert +1,015 VDC beträgt, gilt die Messung als „innerhalb der Toleranz“. Der tatsächliche Wert ist jedoch unbekannt. Dies ist aufgrund der damit verbundenen Messunsicherheit nicht bekannt. Der wahre Wert liegt im Messwert und der damit verbundenen Unsicherheit. Dies gilt für jede Messsituation, da Messunsicherheiten unvermeidbar sind.

Durch die Verwendung der substituierenden Binomialfunktionen als Toleranzgrenze für die Zuverlässigkeit wird die Ähnlichkeit zwischen den Annahmekriterien und den Ablehnungskriterien deutlich. Anstelle der Abweichung vom Nennwert lautet die Frage nun: „Liegt die Zuverlässigkeit innerhalb der Toleranz?“

Wenn man Abbildung 1 nimmt, sie horizontal um 90° dreht und binomiale Konfidenzgrenzen einsetzt, ergibt sich bei dem Beispiel von 10 Kalibrierungen mit 10 Erfolgen nun eine „Toleranz“ um den EOPR-Zielwert (Rtarg).

Da die grüne Linie (Rtarg von 89 %) zwischen der oberen berechneten Binomialgrenze (CUpper 100 %) und der unteren berechneten Binomialgrenze (CLower 74,11 %) liegt, gibt der Algorithmus keinen Vorschlag zur Verlängerung oder Verkürzung des aktuellen Kalibrierungsintervalls, da sowohl der EOPR (Rtarg 89 %) als auch das 95 %-Konfidenzintervall innerhalb der „Spezifikation“ liegen (Abbildung 2).

Es ist zu beachten, dass die ±-Binomialgrenzen keine statischen Größen sind, sondern sich je nach der Menge der gesammelten Daten (Stichprobengröße) und den Konfidenzniveaus vergrößern oder verkleinern.

Beibehaltung der gleichen Auflösung in der Grafik (Abbildung 3) und eine Änderung des Konfidenzniveaus von 95 % auf 50 % führt zu einer Verringerung der „Toleranz“ um den EOPR herum. Da zudem der untere Binomialwert (CLower 93,3 %) über dem EOPR (Rtarg 89 %) liegt, schlägt der Algorithmus vor, das Intervall zu vergrößern. Es ist zu beachten, dass eine Änderung des Konfidenzniveaus von 95 % auf 50 % bedeutet, dass Sie zu 50 % sicher sind, die richtige Entscheidung zu treffen.

Folglich führt eine Änderung des Konfidenzniveaus von 50 % auf 99 % lediglich zu einer Erweiterung der „Toleranz“, was keinen Grund liefert, das derzeitige Intervall zu ändern (Abbildung 4).

Das Streben nach einem hohen Zuverlässigkeitsziel in Verbindung mit einem hohen Maß an Sicherheit bedeutet nicht, dass größer gleich besser ist. Tatsächlich geht sie von unrealistischen Stichprobengrößen aus und macht den Sinn einer Intervallanalyse wahrscheinlich gänzlich zunichte. Wenn der Endnutzer beispielsweise eine EOPR von 99,9 % sowie eine 99-prozentige Sicherheit hinsichtlich dieses Zuverlässigkeitsziels verlangt, müssten insgesamt 4.603 Kalibrierungen erfasst werden, **** , allein um diesen Grad an Sicherheit nachzuweisen. Es ist wahrscheinlich, dass die getesteten Assets verworfen werden, bevor das Endziel erreicht ist.

Der grundlegende Algorithmus

Bei der Verwendung dieses Programms wird ein Intervall „geprüft“, um festzustellen, ob es dem richtigen Intervall entspricht. Wenn der getestete Zeitraum beispielsweise 365 Tage beträgt, müssen Sie einige Standard-Akzeptanzkriterien festlegen. Eine Empfehlung für 365 Tage schließt alle berechneten Zeiträume aus, die um ca. 16,4 % außerhalb des festen Zeitraums von 365 Tagen liegen (ein berechneter Zeitraum ergibt sich aus dem aktuellen Kalibrierungsdatum abzüglich des vorherigen Kalibrierungsdatums). Warum 16,4 %?

Der Prozentsatz von 16,4 % ergibt sich daraus, dass Kunden ihre Geräte möglicherweise vor dem vereinbarten Rückgabetermin zurückgeben oder die Rückgabe verspätet erfolgt (entweder aufgrund einer beantragten Fristverlängerung um 30 Tage ab dem Rückgabetermin oder einfach aus Verspätung). Dies ergibt einen Zeitraum von ± 60 Tagen (Ihre Kriterien können davon abweichen). Das Programm erfasst alle Kalibrierungsstatistiken und verwirft dabei alle berechneten tatsächlichen Intervalle, die außerhalb des festgelegten Intervalls von 365 ± 60 Tagen liegen.

Festlegung eines Zuverlässigkeitsziels

Ein vernünftiger Kompromiss wäre ein EOPR-Zielwert von 89 % bei einem Konfidenzniveau von 95 %. Diese Werte wurden nicht willkürlich ausgewählt. Für diese Kombination gibt es einen triftigen Grund. Das EOPR ist ein wesentlicher Bestandteil bei der Berücksichtigung von Messunsicherheiten (auch bekannt als „Guard-Banding“). Viele Organisationen halten sich an die Vorgabe, Konformitätstestergebnisse vorzulegen, deren Wahrscheinlichkeit einer falschen Akzeptanz (PFA) bei höchstens 2 % liegt. Auch wenn dies den Rahmen dieser Dokumentation sprengen würde: Durch die Aufrechterhaltung eines EOPR von 89 % sowohl für das Prüfobjekt (UUT) als auch für die Referenznormale wird sichergestellt, dass der PFA unabhängig vom Testunsicherheitsverhältnis (TUR) niemals 2 % überschreitet (gemäß Abbildung 5 beträgt der Höchstwert 1,95 %). Dies wurde erstmals 2011 von Scott Mimbs dokumentiert, um die 2-Prozent-PFA-Vorschrift der Norm ANSI Z540.3 zu erfüllen. Die Methode A3 trägt dazu bei, dieses Ziel zu erreichen.

Der Leser fragt sich vielleicht: „Warum steigt der PFA-Wert an und fällt dann wieder ab, wenn der TUR-Wert sinkt?“ Der Grund für dieses Phänomen liegt darin, dass bei Erreichen des maximalen PFA und mit abnehmender TUR die Wahrscheinlichkeit, ein fehlerhaftes Produkt (oder einen fehlerhaften Prozess) fälschlicherweise zu akzeptieren, stark abnimmt und praktisch jedes getestete Produkt (oder jeder getestete Prozess) fälschlicherweise zurückgewiesen statt fälschlicherweise akzeptiert wird.

Warum sollte ich es nutzen?

Die Nutzung der Analyse von Kalibrierungsintervallen dient nicht nur der Einhaltung von Zuverlässigkeitszielen und der Minimierung von PFA-Aspekten, sondern ist auch ein entscheidender Faktor für die Kennzahlen, der es jedem Unternehmen ermöglicht, fundierte Entscheidungen über seine aktuellen Budgets für Betrieb und Instandhaltung (O&M) zu treffen.

HINWEIS: Um die Vorteile dieser Funktion voll auszuschöpfen, wäre es für das Unternehmen von Vorteil, Standardzeiten (pro Kalibrierungsart) sowie die mit den Aufgaben verbundenen internen Kosten festzulegen.

Unter Bezugnahme auf den Anfang dieses Dokuments wurde darauf hingewiesen, dass sich durch den Einsatz eines Optimierungsprogramms drei grundlegende Ergebnisse ergeben.

1. Verlängern Sie das aktuelle Intervall – die analysierte Person erfüllt die Erwartungen, sodass weniger häufige Kalibrierungen erforderlich sind.
2. Keine Maßnahmen ergreifen – das untersuchte Objekt verhält sich wie erwartet, daher sind keine Abhilfemaßnahmen erforderlich.
3. Verkürzen Sie das Zeitintervall – die untersuchte Person erfüllt die Erwartungen, daher sind häufigere Kalibrierungen erforderlich.

Wenn es um Betriebs- und Wartungsbudgets und die Änderung der Wartungsintervalle geht, bezeichnen wir das gerne als: gute Nachrichten, keine Nachrichten und schlechte Nachrichten. Wir werden uns insbesondere die Punkte 1 und 3 ansehen, da Punkt 2 keine Maßnahmen erfordert.

Beispiel: Zunächst die gute Nachricht. Nehmen wir einmal an, dass Sie für eine bestimmte Marke/ein bestimmtes Modell insgesamt 1000 Kalibrierungen haben. Dies bezieht sich nicht unbedingt auf einen einzelnen Artikel, sondern vielmehr auf eine Gruppe von Artikeln derselben (oder einer ähnlichen) Marke/desselben (oder eines ähnlichen) Modells. Beibehaltung der EOPR- und Konfidenzniveaus auf den Standardeinstellungen (89 % EOPR und 95 % Konfidenz) und unter der Annahme, dass die Daten die Kriterien erfüllen, erhöht sich das Kalibrierungsintervall von 365 Tagen auf 438 Tage (+20 %).

Wenn die Kalibrierungszeit für jedes einzelne Teil 1,5 Stunden beträgt, die internen Kosten (Renten- und Sozialleistungen) bei 150 $/Stunde liegen und sich 1000 solcher Teile in Ihrem Bestand befinden, beläuft sich das aktuelle Betriebs- und Wartungsbudget für dieses einzelne Modell auf ca. 225.000 $. Das Ergebnis lautet: 1000 × 1,5 (Stunden) × 150 (Dollar) = 225.000 $.

Aus unseren früheren Berechnungen wissen wir, dass die Einsparungen 20 % betragen; daher ergibt sich: 225.000 $ × 0,2 = 45.000 $.

Nun die schlechte Nachricht. Nehmen wir einmal an, dass ein anderes Modell eine schlechte Leistung aufweist und das Intervall (bei ansonsten gleichen Zuverlässigkeitskriterien) von 365 Tagen auf 257 Tage verkürzt werden muss (Reduzierung um ca. 30 %). Wir haben 500 Manometer mit einer Abweichung von ± 1 %, die das Zuverlässigkeitsziel nicht erreichen. Die Kalibrierung dieser Geräte dauert 1,0 Stunden. Nun haben wir 500 × 1,0 (Stunden) × 150 (Dollar) = 75.000 $. Anstatt diese Geräte jedoch jährlich zu kalibrieren, muss dies aufgrund unserer Erkenntnisse nun alle 257 Tage erfolgen. Dadurch steigen die Betriebs- und Wartungskosten im Wesentlichen von 75.000 $ auf 97.500 $ (+30 %).

Nun zum Fazit: Die ursprünglichen Kosten für die beiden Marken/Modelle belaufen sich auf 300.000 Dollar pro Jahr.

Posten 1 beträgt nun 180.000 $ pro Jahr für Betrieb und Instandhaltung

Posten 2 beträgt nun 97.500 $ pro Jahr für Betrieb und Instandhaltung

Gesamtkosten = 227.500 $

Nettoersparnis = 300.000 $ – 227.500 $ = 22.500 $

Nun stellt sich die Frage: „Warum sollte man es nicht nutzen?“