La méthode du test par intervalles A3

La méthode du test par intervalles A3 – De quoi s'agit-il ?

La méthode de test d'intervalle A3 (méthode A3) est un algorithme d'optimisation des intervalles d'étalonnage qui utilise l'historique d'étalonnage accumulé pour un ou plusieurs articles, une marque/un modèle ou des instruments de la même catégorie (par exemple, tous les multimètres numériques portables à 3½ chiffres ou tous les manomètres à 1 % de la pleine échelle) afin de vérifier statistiquement si l'intervalle attribué à l'instrument concerné est approprié.

Le résultat du test permet de déterminer s'il convient ou non d'ajuster l'intervalle actuel, en fonction des résultats d'étalonnage conformes aux attentes en matière de fiabilité en fin de période (EOPR).

Par exemple, si le laboratoire d'étalonnage a un objectif EOPR de 89 %, l'algorithme effectuera une analyse statistique sur le ou les articles, la marque/le modèle ou la catégorie sélectionnés et recommandera l'une des trois mesures possibles :

1. Allonger l'intervalle actuel : le sujet analysé obtient des résultats supérieurs aux prévisions ; il est donc nécessaire de réduire la fréquence des étalonnages.
2. Ne rien faire : le sujet analysé fonctionne comme prévu ; aucune mesure corrective n'est donc nécessaire.
3. Réduire l'intervalle actuel : les performances du sujet analysé sont inférieures aux attentes, ce qui nécessite des étalonnages plus fréquents.

Comment ça marche ?

L'algorithme de la méthode A3 repose sur des résultats statistiquement significatifs plutôt que sur une méthode réactive.

Une méthode réactive est une méthode algorithmique simple qui ne fait appel à aucune statistique. Les étapes ci-dessous décrivent un exemple de méthode réactive (couramment utilisée dans de nombreux laboratoires) :

1. Les trois derniers étalonnages sont-ils hors tolérance ?
   1. Oui = multiplier l'intervalle actuel par 1,5 (ou l'allonger de 10 à 15 %)
   2. Non = réduire l'intervalle actuel de 0,5

Le recours à une méthode réactive n'implique aucun raisonnement statistique dans la détermination du résultat. L'utilisateur final réagit à des événements aléatoires. Cela conduit à de nombreuses décisions erronées concernant l'allongement ou le raccourcissement d'un intervalle d'étalonnage.

Un autre inconvénient lié à l'utilisation de méthodes réactionnaires réside dans la précision de la fiabilité de la cible. Les simulations indiquent que le temps nécessaire pour que la situation se stabilise sur « un » intervalle donné peut varier entre 10 et 60 ans. Même si un point « stabilisé » apparaît, rien n'indique qu'il se soit stabilisé sur le bon intervalle. Il peut finir par se stabiliser sur un intervalle erroné et ne tiendra plus compte des données ultérieures, quelle que soit la fiabilité constatée.

La méthode A3 se distingue des réponses algorithmiques par le fait qu'elle s'appuie sur la signification statistique. Qu'entend-on par « signification statistique » ? « Mon intervalle est-il correct ? »

L'exemple ci-dessus estime l'EOPR par une simple division, ce qui donne « un » chiffre mais masque le degré de confiance associé (ce n'est pas « le » chiffre). Par exemple, si un instrument d'une marque et d'un modèle donnés a été étalonné 10 fois sans qu'aucun dépassement de tolérance (OOT) n'ait été constaté, un simple calcul mathématique permet de déterminer que l'EOPR est de 100 %. Le problème avec cette approche simpliste est que, en l'absence totale de défaillances, l'EOPR semble atteindre 100 %, ce qui est inexact, car pratiquement rien ne peut être fiable à 100 % ; l'incertitude est toujours une variable invisible.

Bien que les 10 items aient été jugés « non conformes », la fiabilité réelle se situe quelque part entre les limites de confiance de la fiabilité. Si le laboratoire de maintenance affiche un taux EOPR de 89 % avec un niveau de confiance de 95 % et zéro défaillance, on considère que l'EOPR dans le pire des cas correspond à la limite inférieure de confiance calculée, soit 74,11 %. Dans le domaine de la fabrication, on parle de courbe ROC (Receiver Operator Curve).

Considérez l'EOPR de la même manière que l'on considère une valeur nominale et la tolérance ± qui l'entoure. Par exemple, nous avons une valeur nominale de 1 VCC avec une tolérance comprise entre 1,1 et 0,9 VCC, avec un niveau de confiance de 95 %. On ne considérerait jamais une mesure, par exemple 1,015 VCC, comme valide si aucune information sur la tolérance et/ou l'incertitude n'était fournie. L'EOPR fonctionne de manière similaire.

Si l'on prend l'exemple de la tension, la valeur de 1 VCC est comprise entre 0,9 et 1,1 VCC. Si la valeur mesurée est de +1,015 VCC, la mesure est considérée comme « conforme aux tolérances ». On ignore toutefois quelle est sa valeur réelle. On ne le sait pas en raison de l'incertitude de mesure qui entre en jeu. La valeur réelle réside dans la valeur mesurée et l'incertitude qui y est associée. C'est le cas pour toute situation de mesure, car l'incertitude est inévitable.

En utilisant les fonctions binomiales de substitution comme limite de tolérance en matière de fiabilité, la similitude entre les critères d'acceptation et de rejet apparaît clairement. Au lieu de se demander s'il y a un écart par rapport à la valeur nominale, la question est désormais de savoir si la fiabilité se situe dans les limites de tolérance.

En prenant la figure 1, en la faisant pivoter de 90° horizontalement et en utilisant des limites de confiance binomiales, l'exemple des 10 étalonnages avec 10 réussites permet désormais de définir une « tolérance » autour de la cible EOPR (Rtarg).

Étant donné que la ligne verte (Rtarg de 89 %) se situe entre la limite supérieure calculée selon la loi binomiale (CUpper 100 %) et la limite inférieure calculée selon la loi binomiale (CLower 74,11 %), l'algorithme ne propose pas d'augmenter ou de réduire l'intervalle d'étalonnage actuel, car tant l'EOPR (Rtarg 89 %) que le niveau de confiance de 95 % se situent dans les limites spécifiées (figure 2).

Il convient de noter que les limites du binôme ± ne sont pas des valeurs fixes ; elles varient en fonction des données accumulées (taille de l'échantillon) et des niveaux de confiance.

En conservant la même résolution sur le graphique (figure 3) et en modifiant uniquement le niveau de confiance de 95 % à 50 %, on réduit la « marge de tolérance » autour de l'EOPR. De plus, étant donné que le binôme inférieur (CLower 93,3 %) est supérieur à l'EOPR (Rtarg 89 %), l'algorithme proposera d'élargir l'intervalle. Il convient de noter que passer d'un niveau de confiance de 95 % à 50 % signifie que vous êtes sûr à 50 % de faire le bon choix.

Par conséquent, le simple fait de faire passer le niveau de confiance de 50 % à 99 % élargit la « marge de tolérance », ce qui ne justifie pas de modifier l'intervalle actuel (figure 4).

Vouloir atteindre un objectif de fiabilité élevée, associé à un haut niveau de confiance, ne signifie pas pour autant que « plus c'est gros, mieux c'est ». En réalité, cela implique des tailles d'échantillon déraisonnables et risque de réduire à néant l'intérêt même du recours à l'analyse d'intervalle. Par exemple, si l'utilisateur final exigeait un EOPR de 99,9 %, associé à un niveau de confiance de 99 % concernant cet objectif de fiabilité, il faudrait enregistrer au total 4 603 étalonnages, **** , ne serait-ce que pour démontrer ce niveau de certitude. Il est probable que les éléments testés soient mis au rebut avant que l'objectif final ne soit atteint.

L'algorithme de base

Lors de l'utilisation de ce programme, un intervalle est « vérifié » afin de déterminer s'il correspond bien à l'intervalle souhaité. Si la période considérée est de 365 jours (à titre d'exemple), vous devez définir des critères d'acceptation par défaut. Une recommandation, sur une période de 365 jours, exclut tout intervalle calculé qui s'écarte de l'intervalle fixe de 365 jours d'environ 16,4 % (un intervalle calculé correspond à la différence entre la date de calcul actuelle et la date de calcul précédente). Pourquoi 16,4 % ?

Le pourcentage de 16,4 % s'explique par le fait que les clients peuvent restituer leur matériel avant la date d'échéance prévue ou qu'ils peuvent le restituer en retard (soit en raison d'une prolongation de 30 jours demandée au-delà de la date d'échéance, soit simplement parce qu'ils sont en retard). Cela correspond à environ 60 jours (vos critères peuvent varier). Le programme recueillera toutes les statistiques d'étalonnage, en écartant tout intervalle réel calculé qui se situerait en dehors de la fourchette fixe de 365 ± 60 jours.

Définition d'un objectif de fiabilité

Un compromis raisonnable consisterait à fixer un objectif EOPR de 89 % avec un niveau de confiance de 95 %. Ces valeurs ne sont pas choisies au hasard. Il y a une bonne raison à cette association. L'EOPR est un élément essentiel pour la gestion du risque lié aux décisions de mesure (également appelé « guard-banding »). De nombreuses organisations s'engagent à fournir des résultats de tests de conformité présentant une probabilité d'acceptation erronée (PFA) inférieure ou égale à 2 %. Bien que cela dépasse le cadre de la présente documentation, le fait de maintenir à la fois l'unité sous test (UUT) et les étalons de référence à 89 % d'EOPR garantit que, quel que soit le rapport d'incertitude de l'essai (TUR), la PFA ne dépassera jamais 2 % (1,95 % au maximum, selon la figure 5). Ce fait a été rapporté pour la première fois par Scott Mimbs en 2011, dans le cadre de la mise en conformité avec la norme ANSI Z540.3 relative à la règle des 2 % de PFA. La méthode A3 permet d'atteindre cet objectif.

Le lecteur se demande peut-être : « Pourquoi, si la TUR diminue, le pic de PFA baisse-t-il ensuite ? » Ce phénomène s'explique par le fait qu'une fois le PFA maximal atteint, à mesure que le TUR diminue, la probabilité d'accepter à tort un produit (ou un processus) défectueux diminue fortement et pratiquement tout produit (ou processus) testé sera rejeté à tort plutôt qu'accepté à tort.

Pourquoi devrais-je l'utiliser ?

Le recours à l'analyse des intervalles d'étalonnage ne sert pas uniquement à respecter les objectifs de fiabilité et à réduire au minimum les problèmes liés aux défaillances prévisibles ; il s'agit également d'un indicateur concret qui permet à toute organisation de prendre des décisions éclairées concernant ses budgets actuels d'exploitation et de maintenance (O&M).

REMARQUE : Pour tirer pleinement parti des avantages de cette fonctionnalité, il serait utile que l'organisation définisse des durées standard (par type d'étalonnage) ainsi que les coûts internes imputés associés à ces tâches.

Comme indiqué au début du présent document, l'utilisation d'un programme d'optimisation permet d'obtenir trois résultats fondamentaux.

1. Allonger l'intervalle actuel : le sujet analysé répond aux attentes, ce qui réduit la fréquence des étalonnages nécessaires.
2. Ne rien faire : le sujet analysé fonctionne comme prévu ; aucune mesure corrective n'est donc nécessaire.
3. Réduire l'intervalle actuel : le sujet analysé répond aux attentes, ce qui nécessite des étalonnages plus fréquents.

En ce qui concerne les budgets d'exploitation et de maintenance et la modification des intervalles prévus, nous avons l'habitude de parler de « bonnes nouvelles », « pas de nouvelles » et « mauvaises nouvelles ». Nous allons nous intéresser plus particulièrement aux points n° 1 et n° 3, car le point n° 2 ne nécessite aucune intervention.

Exemple : Commençons par les bonnes nouvelles. Supposons que, pour une marque et un modèle donnés, vous disposiez au total de 1 000 étalonnages. Cela ne concerne pas nécessairement un seul article, mais plutôt un ensemble d'articles de la même marque ou du même modèle (ou de marques ou modèles similaires). En conservant les paramètres par défaut pour l'EOPR et les niveaux de confiance (EOPR à 89 % et niveau de confiance à 95 %), et en supposant que les données répondent aux critères, l'intervalle d'étalonnage passe de 365 jours à 438 jours (+20 %).

Si le temps nécessaire pour étalonner chaque article est de 1 h 30, que le coût interne (retraite et avantages sociaux) s'élève à 150 $/h et que votre stock compte 1 000 articles de ce type, le budget actuel d'exploitation et de maintenance pour cette marque/ce modèle s'élève à environ 225 000 $. Le résultat obtenu est de 1 000 × 1,5 (heure) × 150 (dollars) = 225 000 $.

D'après nos calculs précédents, nous savons que les économies s'élèvent à 20 % ; par conséquent, 225 000 $ × 0,2 = 45 000 $.

Et maintenant, la mauvaise nouvelle. Supposons qu'une autre marque/un autre modèle présente de mauvaises performances et qu'il faille raccourcir l'intervalle (tous les critères de fiabilité restant inchangés) de 365 jours à 257 jours (soit une réduction d'environ 30 %). Nous avons 500 manomètres de précision ± 1 % qui n'atteignent pas l'objectif de fiabilité. Le calibrage de ces éléments prend 1 heure. Nous obtenons donc 500 × 1,0 (heures) × 150 (dollars) = 75 000 $. Mais au lieu d'effectuer cet étalonnage chaque année, il faut désormais le faire tous les 257 jours, conformément à nos conclusions. Cela fait passer les coûts d'exploitation et de maintenance de 75 000 $ à 97 500 $ (+30 %).

En résumé : le coût initial pour ces deux marques/modèles s'élève à 300 000 dollars par an.

Poste 1 = désormais 180 000 $ par an pour l'exploitation et la maintenance

Poste 2 : désormais 97 500 $ par an pour l'exploitation et la maintenance

Coût total = 227 500 $

Économie nette = 300 000 $ - 227 500 $ = 22 500 $

La question qui se pose désormais est la suivante : « Pourquoi ne pas l'utiliser ? »