Principes théoriques des degrés de certitude

Le recours aux degrés de certitude se fonde sur des expériences menées depuis des décennies en Europe et aux États-Unis. L'utilisation des degrés de certitude vise à une analyse plus nuancée des connaissances de la personne soumise à une épreuve standardisée.

La technique des degrés de certitude fait partie des outils à la disposition des évaluateurs qui ont recours aux épreuves standardisées. De nombreuses recherches en édumétrie ont démontré son utilité, citons notamment, et à titre d’exemple : De Finetti (1965) ; Shufford & al. (1966) ; Leclercq (1982, 1993, 2003) ; Leclercq et Bruno (1993) ; Bruno, J. (1993) ; Leclercq et Gilles 1994 ; 2001) ; Gilles (1997, 2002, 2010).

En invitant l’étudiant à accompagner son choix d’une proposition à une question à choix multiple du pourcentage de chances qu’il lui attribue d’être correcte (son degré de certitude), nous pouvons analyser avec plus de nuances ses performances. À un extrême, le choix d’une proposition incorrecte accompagnée du pourcentage de certitude maximum (100%) présente la pire des situations, celle où l’étudiant fournit une réponse erronée en estimant qu’elle a un maximum de chances d’être correcte. À l’opposé, l’étudiant qui répond correctement avec une certitude maximale fait preuve d’une connaissance assurée. Entre ces deux extrêmes s’ouvre tout l’espace d’une analyse « spectrale » (et non plus « binaire ») des performances, espace « invisible » lorsque les pourcentages de certitude ne sont pas utilisés.

Ainsi, dans le cas d’une réponse correcte, Jans & Leclercq (1999) proposent une terminologie ad hoc pour distinguer une « ignorance » (réponse correcte et certitude faible), d’une « connaissance partielle » (réponse correcte et certitude moyenne), d’une « connaissance assurée » (réponse correcte et certitude élevée). De telles nuances spectrales ont aussi été envisagées par ces auteurs dans le cas d’une réponse incorrecte (« méprise » et « connaissance dangereuse »). 

La technique des degrés de certitude associée aux questions à choix multiple permet donc de dépasser le caractère « binaire » de l’évaluation des performances des étudiants (la proposition choisie est soit correcte, soit incorrecte), mais à condition de veiller à respecter une série de règles méthodologiques que Shufford & al. (1966) appellent « admissible probability measurement procedures » : utiliser une consigne probabiliste et un barème de tarifs conforme à la théorie des décisions ; être en mesure de calculer le réalisme des répondants et proposer un entraînement avec des feedbacks métacognitifs (cf. le jeu GUESS).

Les enjeux liés à l’utilisation des degrés de certitude sont présentés sur la page « Enjeux et avantages liés à l'utilisation des DC ».