Deux idées reçues circulent dans les salles d'examen au sujet des degrés de certitude (DC). La première est qu'il existe des stratégies, plus ou moins complexes, qui permettent d'augmenter artificiellement le score. La deuxième est que l'utilisation des DC réduit de toute façon le score par rapport à une correction traditionnelle. Ces deux confusions peuvent être dissipées à l'aide d'exemples commentés.
Mythe : il existe des stratégies, plus ou moins complexes, qui permettent d'augmenter artificiellement le score.
Vérité : la seule stratégie optimisant le résultat est celle qui consiste à choisir sincèrement le degré de certitude.
On rencontre souvent des étudiants qui adoptent des stratégies d'utilisation des DC qui semblent être sensées, mais qui en réalité induisent une réduction du score. Les plus communes sont celles qui utilisent un seul DC pour toutes les questions.
La page dédiée à l'échelle des scores donne des repères techniques pour comprendre ce point. Cependant, on peut voir par des exemples que ces stratégies ne sont pas payantes.
Imaginons qu'un étudiant doive passer un test portant sur 60 questions à choix multiples avec degrés de certitude. Le score final est reporté sur une échelle de 0 à 20. La moyenne est obtenue avec 14 points sur 20.
1er cas de figure: « Je n'utilise que le DC1, car je ne veux pas prendre de risque et cela me semble un bon compromis entre les points obtenus pour une réponse correcte et les points obtenus pour une réponse incorrecte. »
Pour atteindre la moyenne de 14 points sur 20, cet étudiant devrait répondre correctement à 51 questions sur 60, donc avoir un taux d'exactitude de 85% uniquement pour obtenir la moyenne. De plus, son score ne pourrait jamais dépasser 16 points sur 20. Or, si l'étudiant possède les compétences pour répondre correctement à 51 questions, il obtiendra alors plus de points en donnant des degrés de certitude élevés là où il est certain de ses réponses et une certitude basse sur les 9 questions restantes.
2e cas de figure: « Je n'utilise que le DC3, car je vais très probablement donner entre 70% et 85% de réponses correctes et donc je maximise mes chances de réussite sur l'ensemble du test. »
Viser le degré de certitude qui correspond au taux de réussite qu'on pense obtenir à l'ensemble du test ne permet pas d'obtenir le meilleur score possible et peut s'avérer très risqué. Dans ce cas, l'étudiant doit répondre correctement à 47 questions pour obtenir la moyenne. Cela correspond à un taux d'exactitude de 78,3%. Si l'étudiant utilise les DC avec réalisme, en attribuant à chaque question la meilleure estimation possible de sa chance de répondre correctement, il lui est possible d'atteindre la moyenne avec seulement 42 réponses correctes. Il est important de remarquer que 42 sur 60 est l'équivalent de 14 sur 20.
Mythe : de toute façon, l'utilisation des DC réduit le score par rapport à une correction traditionnelle.
Vérité : l'utilisation correcte des DC permet d'obtenir plus de points que par un mode de correction concurrent (correction for guessing).
En reprenant l'exemple précédent, on maintient une exigence de 14 points sur 20 pour réussir l'examen. Lorsqu'on n'utilise pas les DC, la méthode de correction la plus répandue est la « correction for guessing » ou « correction pour divination ». Cette méthode suppose que si l'étudiant répond à une question sans connaître la bonne réponse, il essaye de la deviner.
Si l'on a 6 réponses possibles (= k), alors l'étudiant qui devine a 1/6 de chance de répondre correctement à la question. Ainsi, si un test porte sur 60 questions, l'étudiant qui essaye de deviner aura une espérance de réussite de 10 réponses correctes. Afin de corriger ce biais, on applique la « correction for guessing » qui consiste à donner 1 point pour une réponse correcte et à enlever 1/(k-1) pour une réponse incorrecte. Une question sans réponse obtient 0 point. Ceci permet de remettre l'espérance du score à 0 en cas de réponses au hasard. Pour 6 choix possibles, on attribue donc -1/5 point pour chaque réponse incorrecte.
L'étudiant a répondu correctement à 42 questions et a utilisé les DC de la façon suivante:
Le calcul de son score avec les DC est (voir la page sur l'échelle des scores):
( (13 * 1 + 4 *11) + (16 * 4 + 3 * 6) + (17 * 2 + 2 * 1) + (18 * 6 + 0 * 0 ) + (19 * 15 + (-6 * 1) ) + (20 * 14 + (-20 * 0)) )/60 = 14,03
Le calcul du score avec la correction traditionnelle est:
(42 - 1/5 * 18)/3 = 12,8
L'étudiant a obtenu plus de points avec les degrés de certitude qu'avec la correction traditionnelle. De plus, les DC lui ont permis d'obtenir la moyenne, contrairement à la correction traditionnelle.
Une utilisation des DC conforme aux principes de fonctionnement a donc permis à l'étudiant de passer son examen avec un taux d'exactitude de 70%. Cela n'est pas possible avec la correction traditionnelle qui demande un taux de réussite de 75%, soit 45 réponses exactes.