Si j'ai plusieurs échantillons dont je souhaite comparer les moyennes, plusieurs approches sont possibles.

L'analyse de la variance se fait avec les fonctions anova() ou aov(). Elle va permettre de voir, si des différences significatives ressortent.

Il faudra alors chercher quelles moyennes semblent se distinguer des autres. On va donc réaliser une comparaison post-hoc, un test qui se décide donc a posteriori et en fonction de l'analyse de la variance : méfiance donc.

INCONVÉNIENT : l'analyse de la variance peut passer à côté de différences réelles si les différences ne concernent qu'un nombre réduit de moyennes.

ATTENTION : une ANOVA doit être aussi validée (ce qu'on oublie souvent de faire par différents tests) : SKEWNESS (symétrie des courbes de densité), KURTOSIS (applatissement de la courbe de densité) et LEVENE (Démontrer que les variances des échantillons sont égales de façon robuste).

Remarque : il faudrait creuser les différences entre anova() et aov() : le 2ème semble pouvoir utiliser lm() de façon interne et peut donc s'en passer.

C'est une approche brute de décoffrage : on va croiser tous les échantillons pour comparer leurs moyennes 2 à 2. On va ainsi identifier qui est différent de qui et pouvoir définir des catégories de moyennes.

AVANTAGE : C'est très fin. On pourra voir des différences qui n'auront pas été vues lors de l'ANOVA.

INCONVÉNIENT : On risque de voir comme significatives des différences du fait du hasard. En effet, sur un grand nombre d'échantillons, le hasard finira bien par nous sortir un échantillon qui contraste avec un autre. cf. ce lien externe qui revient sur ce problème.

DÉMARCHE : Il faut d'abord vérifier que les échantillons respectent la loi normal. S'ils suivent la loi normale, on pourra faire des tests de Student, sinon, il faudra faire des tests de Wilcoxon (comparaison des médianes, très robuste).

Remarque : Student, test paramétrique vs Wilcoxon, non paramétrique (pas d'hypothèse initiale de répartition).

######################

#  Tests croisés et systématique

######################

# Shapiro : si p-value < 0.05 => Loi non normale

by(mtcars$mpg,mtcars$carb,length)

by(mtcars$mpg,mtcars$carb,shapiro.test)

# Séries de tests : Wilcoxon si non normale, Student si loi normale suivi pour échantillons

modalités <- sort(unique(mtcars$carb))

for (i in 1:(length(modalités)-1)) {

  for (j in (i+1):length(modalités)) {

  temp0 <- mtcars$mpg[mtcars$carb == modalités[i]]

  temp1 <- mtcars$mpg[mtcars$carb == modalités[j]]

  #Choisir le test (ici Student) en changeant le #.

  pval <- t.test(temp0,temp1)$p.value

  #pval <- wilcox.test(temp0,temp1)$p.value

  if (pval < 0.05) {

   cat("Différence signif entre ",modalités[i]," et ",modalités[j],"avec pval : ",pval,"\n")

  }

 }

}

Il vaut mieux utiliser la fonction pairwise.t.test() (ou son pendant en wicoxon pairwise.wilcox.test()).

C'est plus simple et on tient compte de la tous les échantillons (ajustement de la p-value) pour éviter les différences faussement significatives dues au hasard.

data(mtcars)

mtcars$carb[mtcars$carb>=4] <- 4

pairwise.t.test(mtcars$mpg,mtcars$carb)-> mon_resultat : mon_resultat

Et voilà! tous les tests de Student ont été fait en une ligne (on peut changer aussi la méthode d'ajustement de la p-value en jouant sur les arguments de la fonction pariwise.t.test().

Trouver automatiquement les catégories déduites des p-values renvoyées par la fonction.

Une possibilité est d'appliquer un test de Newman-Keuls qui permettra de définir les catégories de barres.

AVANTAGE : ce test (réputé plus puissant que le test des étendues de Tukey qui présente l'avantage de permettre de calculer la plus petite différence significative entre les échantillons (exemple ici))  tient compte de tous les échantillons pour éviter les différences faussement significatives. C'est un test robuste.

install.packages("agricolae") ; library(agricolae) # librairie nécessaire pour avoir la fonction.

model <- aov(mpg~carb,data=mtcars) ; model

SNK.test(model,"carb")

print(SNK.test(model,"carb", group=TRUE))