Analyse métrologique des Six Sigmas
En langage R
L'essentiel de cette page !
Lors d'une analyse métrologique, de nombreux paramètres sont là pour permettre d'identifier la fiabilité des appareils de mesure mais aussi la part due aux opérateurs (ceux qui font les mesures).
Il est aussi impératif de savoir si le système d'identification de la fiabilité des mesures est efficace, c'est la capabilité.
On va donc mesurer différents paramètres :
Répétabilité (σrépétabilité) : variabilité induite uniquement par l’instrument de mesure (variabilité pour un même opérateur). Une valeur élevée implique une mauvaise répétabilité (incapacité de l'opérateur à obtenir deux fois la même mesure pour la même pièce mesurée).
Reproductibilité (σreproductibilité) : variabilité induite par les opérateurs qui mesurent (et éventuellement propre aux pièces mesurées). Une valeur élevée implique une grande variabilité des mesures d'un opérateur à l'autre.
Capabilité (Cmc) : variabilité du système de mesure (liée aux instruments de mesures, aux opérateurs qui mesurent et au produit mesuré en lui-même) et donc, sa fiabilité.
L'outil statistique Gage R&R est une méthode qui permet de mesurer la fiabilité d'un système de mesure en terme de répétabilité et reproductibilité.
Il implique de faire travailler 3 opérateurs sur 10 pièces de dimensions connues.
Chaque pièce est ainsi mesurée 3 fois par chaque opérateur ce qui représente un total de 90 mesures pour l'ensemble des pièces.
Remarque : ce qui est réalisé ici peut être réalisé grâce à la libraire SixSigmas de R mais très complexe car adressée à des spécialistes.
Exemple d'une étude : évaluation de la fiabilité de pipetmans
Scénario : on ne se propose de vérifier la fiabilité de 10 pipetmans selon une méthode dont on mesurera au passage la fiabilité en elle-même. On vérifie aussi, si les pipettes sont fiables pour des pipetages minimum et maximum.
Par exemple : une P1000 peut pipeter de 100 µL à 1000 µL. On va donc vérifier la fiabilité des pipetages à 100 µL et 1000 µL.
Étape 1 - Évaluer la précision de la méthode métrologique et la dispersion naturelle
Avant-propos - Déterminer la fiabilité de la méthode de mesure pour les volumes min et max du pipetman.
La méthode de mesure ne doit pas introduire trop d'erreur à cause des appareils de mesure ou des opérateurs.
Pour cela, on fait appel au protocole Gage R&R utilisée dans la méthode qualité du Six Sigmas ou 6σ.
Gage R&R : pour déterminer la répétabilité & reproductibilité par cette méthode, on prend 10 entités conformés que l'on fait mesure par 3 opérateurs (ou 2) à raison de 3 mesures par pièce et par opérateur.
Dans l'exemple présent : l'entité censée être conforme est le volume de liquide pipetée par une pipette forme. La mesure du volume se fait par pesée (l'outil de mesure est donc la balance). Le biais est que l'opérateur introduit de la variabilité dans les pipetages et lors des pesées.
Comme une pipette permet de prélever des volumes entre un volume minimum et maximum : la méthode doit être évaluée pour ces deux types de pipetages.
Si la précision de mesure est inférieure à la dispersion statistique alors les résultats mesurés sont les mêmes à chaque fois.
Méthodologie : appliquer la méthode GageR&R pour déterminer répétabilité, reproductibilité et capabilité
La commande suivante permet de calculer les paramètres suivants :
σrépétabilité : répétabilité - variabilité due à l'équipement de mesure (dans cet exemple : la balance)
σreproductibilité : reproductibilité - variabilité due aux opérateurs (dans cet exemple : liée aux manière de pipeter et de peser)
R&R : Gage - R_R - effet combiné de la répétabilité et de la reproductibilité
Vp - Part - variabilité due aux pièces mesurées (ici, les pièces sont des volumes d'eau : c'est donc la variabilité des pipettes)
Vt - variabilité totale
Elle déduit aussi directement le pourcentage de la variabilité totale que représente chacune de ces variabilités :
Part de l'équipement : part_Equipement - Pourcentage de la variabilité totale due à l'équipement de mesure
Part des opérateurs : part_Opérateurs - Pourcentage de variabilité totale due aux opérateurs
Part de R&R (%R&R) : part_R_R - Pourcentage de variabilité totale due à la combinaison répétabilité&reproductibilité
Part des pièces : part_Pièces - Pourcentage de variabilité totale due aux pièces mesurées (ici les pipettes)
Comment doit-on interpréter ces valeurs ? Pour que le système métrologique soit fiable, il faut que la plus grande part de variabilité se retrouve dans les pièces mesurées (pipettes) et non dans le système de mesure représentée par le %R&R. La part de R&R s'analyse ainsi :
%R&R ≤ 10% : le système de mesure est considéré comme fiable
10% < %R&R < 30% : le système de mesure est considéré comme douteux et doit être vérifié
%R&R ≥ 30% : le système n'est pas fiable et doit être modifié/amélioré.
Attention : pour que ces valeurs soient interprétables, il faut qu'on ait testé des pièces (ici des pipettes) conformes.
0) - Corriger l'ensemble de vos mesures
La relation entre la masse et le volume pipeté n'est pas exactement de 1 mg pour 1 µL. En effet, cela dépend de la température.
Il faut donc multiplier toutes les masses par un facteur Z donné dans la table à la fin de ce document INSERM afin de retrouver les volumes en µL.
1) - Installer la fonction rr() à partir de la librairie {KefiR}
install.packages("devtools") ; require(devtools) # Risque d'erreur si RTools non installé.
devtools::install_github("Antoine-Masse/KefiR")
library("KefiR")
2) - Calculer les paramètres GageR&R avec la commande rr()
Pour utiliser cette commande, il suffit d'indiquer les mesures (ici Résultats, mais ce peut être des Volumes ou tout autre types de mesures), les opérateurs et les numéros des pièces. Ici le type permet de préciser si on fait le test pour le pipetage minimal du pipetman ou pour le pipetage maximal (il faut tester les deux).
Pour ouvrir un tableau de données sous le logiciel R - aide ici
rr(Volume[Type=="min"],optr=Opérateur[Type=="min"],app=Pipetman[Type=="min"]) # volume minimal
3) - Visualiser la dispersions graphiquement pour chaque pipette testée (et pour chaque volume testé min et max).
vol = unique(Type)[1]# volume standard testé, ici 100 µl
boxplot(Volume[Type==vol]~Pipetman[Type==vol])
On peut faire la même chose en vioplot
Pour mettre en forme le graphique boîtes à moustaches (boxplot) - voir l'aide sur la fonction boxplot - et pour ajouter un trait horizontal épais indiquant le volume standard.
4) - Tracer un diagramme en violon afin de visualiser la variabilité des mesures pour différents opérateurs et pour chaque volume testé (min et max)
Remarque : il est préférable de réaliser deux série de diagrammes afin d'avoir une meilleure échelle pour étudier chaque volume (min et max).
cf. aide pour les diagrammes en violon.
On peut aussi réaliser un diagramme en barres avec intervalles de confiances montrant la distribution des mesures pour chaque pièce et pour chaque opérateur (30 barres). A réaliser avec by() et barplot2().
Enfin, un diagramme de Venn est peut-être la solution pour voir la part qui revient à l'appareil de mesure (Equipement), aux pièces mesurées et aux opérateurs : Voici un exemple entièrement en autonome à remplacer par ses données.
set.seed(1)
metro <- data.frame(
"Measures"=c(rnorm(10,49.8,5.07)+ rep(rnorm(3,0,1.3),10,each=3) + rnorm(90,0,0.01) ),
"Operator"=rep(c("A","B","C"),10,each=3),
"Equipement"=rep(1:10,3,each=3))
library(KefiR)
rr(metro$Measures,metro$Operator,metro$Equipement,sigma=5.5)-> output
#install.packages("eulerr")
library("eulerr") ;
print(output)
coeffA <- output$repeatability / (output$repeatability+output$reproductibility+output$Vp)
coeffB <- output$reproductibility / (output$repeatability+output$reproductibility+output$Vp)
coeffC <- output$Vp / (output$repeatability+output$reproductibility+output$Vp)
vd <- euler(c(A=output$repeatability,
B=output$reproductibility,
C=output$Vp,
"A&B"=abs(output$RR-output$reproductibility-output$repeatability),
"A&C"=coeffA*coeffC*output$Vt, "B&C"=coeffB*coeffC*output$Vt ,
"A&B&C"=coeffA*coeffB*coeffC*output$Vt))
plot(vd)
# faire ?venneuler pour aller plus loin et légender le diagramme de Venn
Étape 2 - Identifier les non-conformités à l'aide la méthode validée
Le but de cette étape est de déterminer si un outil ou une pièce est conforme (ici une pipette).
Pour que l'outil, ou la pièce, soit conforme, il faut qu'il soit juste (pas d'erreur systématique) et ait une bonne reproductibilité (peu d'erreur aléatoire). cf. figure ci-dessous.
A gauche - L'outil présente une bonne reproductibilité mais il n'est pas juste à cause d'une erreur systématique.
Au milieu - L'outil a une bonne reproductibilité et est juste.
A droite - L'outil est juste (pas d'erreur systématique) mais présente une faible reproductibilité à cause d'une forte erreur aléatoire.
1) Manipulations - Protocole pour déterminer si une pipette est conforme
Prélever 10 fois un volume minimum (par exemple 100 µL pour une pipette) et les peser sur une balance sans tarer entre chaque mesure (on mesure ainsi un poids cumulé)
Faire de même pour le volume maximum de la pipette (par exemple 1000 µL pour une pipette)
2) Déterminer l'erreur systématique pour les volumes min et max du pipetman
L'erreur systématique est la déviation systématique qu'on trouve par rapport à une valeur modèle.
Sur plusieurs mesure, l'erreur systématique est donc la différence entre la moyenne des mesures et la valeur standard.
ex : si en voulant pipeter 100 µL, je pipette en moyenne 102 µL, alors l'erreur systématique est de 2 µL.
La justesse (E, en %) correspond à l'écart en la mesure et la valeur théorique (l'erreur systématique divisée par la valeur standard (en %)).
ex : si l'erreur systématique est de 2 µL alors la justesse est de 2%.
Test pour des volumes minimums de 100 µL
volume_standard = 100
mesures_cumulées = c(99.2,199,298.9,398.9,498.5,598.6,698.4,798.1,898.1,998.4)
Attention de convertir les mesures de masses en volumes (la justesse doit être proche de 0)
volumes_par_pipetage = c(mesures_cumulées[1],mesures_cumulées[2:10]-mesures_cumulées[1:9])
volume_moyen_par_pipetage = mesures_cumulées[10]/10
erreur_systématique = abs(volume_standard - volume_moyen_par_pipetage)
Justesse = erreur_systématique*100/volume_standard
cat("Erreur systématique : ",erreur_systématique,"Justesse : ",Justesse,"%\n")
3) Déterminer l'erreur aléatoire pour les volume min et max du pipteman
L'erreur aléatoire correspond statistiquement à la dispersion. Celle-ci peut se calculer de plusieurs moyen mais, dans le cas d'une loi normale, on peut considérer que la dispersion est la valeur qui va permettre d'englober 95% des mesures possibles : on parle d'intervalle de confiance à 95% qui se déterminer de la façon suivante (cf. ci-dessous).
La répétabilité (Cv, en %) correspond à l'écart aléatoire des mesures par rapport à la valeur théorique (l'erreur aléatoire divisée par la valeur standard).
Calcul de la dispersion = erreur aléatoire = intervalle de confiance à 95%
erreur_aléatoire = (t.test(volumes_par_pipetage)$conf.int[2]-t.test(volumes_par_pipetage)$conf.int[1])/2
Répétabilité = erreur_aléatoire*100/volume_standard
cat("Erreur aléatoire : ",erreur_aléatoire,"Répétabilité : ",Répétabilité,"%\n")
4) Comparer à une norme afin de déterminer si l'outil est conforme
La seule façon de déterminer si un outil est conforme est de comparer sa justesse et sa répétabilité à une norme ou des valeurs de références définies par l'entreprise.
Par exemple, dans le cas des pipettes, on peut comparer ces valeurs à celles de la norme ISO8655-2 (cf. source Fiche procédure INSERM ci-dessous).
Sources :