Échelle des scores
L'échelle de probabilité est couplée à une échelle à deux entrées proposant un score en cas de réponse correcte et un autre en cas de réponse incorrecte. Cette échelle des scores a été conçue de telle manière que, pour chaque intervalle de certitude (0% à 25%, 25% à 50%, etc.), l'étudiant reçoive le maximum de points possibles si son taux de réponses correctes est compris dans l'intervalle.
Lors du test, l’étudiant donne pour chaque question un couple (réponse, degré de certitude). À chacun de ces couples est attribué un score qui dépend de l'exactitude de la réponse et du degré de certitude choisi. L’attribution a lieu sur la base du tarif suivant :
Ce tarif a été conçu pour être conforme à la théorie des décisions selon laquelle la seule stratégie possible pour maximiser le score est de répondre le plus honnêtement possible. Ainsi l’étudiant qui veut réussir a tout intérêt à exprimer le plus fidèlement possible quelle est sa chance de répondre correctement à la question.
Pour s'en convaincre, on peut observer la figure suivante:
Pour chaque intervalle de certitude (délimité par les lignes verticales), la ligne oblique qui se trouve au-dessus de toutes les autres est celle qui donne l’espérance de score le plus haut. Ainsi, pour le degré de certitude 1 (DC1, entre 25% et 50%), la ligne reliant le score 3 au score 16 (en rouge) est celle qui maximise le score global pour cette certitude en particulier, mais pas pour les autres. Ceci signifie que si l'on estime avoir entre 25% et 50% de chance de répondre correctement à une question, le DC1 est le meilleur choix. En effet, si, à la fin du test, on regarde toutes les questions auxquelles on a attribué le DC1 et si, parmi toutes ces questions, il y en a entre 25% et 50% qui sont correctes, alors le fait de donner 16 points pour chaque réponse correcte et 3 points pour chaque réponse incorrecte permettra de récolter un maximum de points.
Montrons ceci par un exemple.
Un étudiant a utilisé le DC1 27 fois lors d'un test. Parmi ces 27 réponses, il y en a 10 qui sont correctes et 17 incorrectes. Son taux d'exactitude pour ces 27 questions est donc de 37%. Ceci est bien dans l'intervalle de certitude du DC1 (entre 25% et 50%).
Les points obtenus par cet étudiant sont:
Pour les réponses correctes: 10 * 16 = 160 points.
Pour les réponses incorrectes: 17 * 3 = 51 points.
Total: 160 + 51 = 211 points.
En étant honnête par rapport à ses compétences, l'étudiant a obtenu 211 points. S'il avait utilisé les autres degrés de certitude, il aurait obtenu moins de points, comme le montrent les calculs qui suivent.
Si l'on suppose que l'étudiant a choisi le DC0 pour ces 27 questions, la situation serait la suivante:
13 points sont obtenus pour une réponse correcte et 4 points pour une réponse incorrecte.
Pour les réponses correctes: 10 * 13 = 130 points.
Pour les réponses incorrectes: 17 * 4 = 68 points.
Total: 160 + 51 = 198 points.
Si l'on suppose que l'étudiant a choisi le DC2 pour ces 27 questions, la situation serait la suivante:
17 points sont obtenus pour une réponse correcte et 2 points pour une réponse incorrecte.
Pour les réponses correctes: 10 * 17 = 170 points.
Pour les réponses incorrectes: 17 * 2 = 34 points.
Total: 170 + 34 = 204 points.
Si l'on suppose que l'étudiant a choisi le DC3 pour ces 27 questions, la situation serait la suivante:
18 points sont obtenus pour une réponse correcte et 0 point pour une réponse incorrecte.
Pour les réponses correctes: 10 * 18 = 180 points.
Pour les réponses incorrectes: 17 * 0 = 0 point.
Total: 180 + 0 = 180 points.
Si l'on suppose que l'étudiant a choisi le DC4 pour ces 27 questions, la situation serait la suivante:
19 points sont obtenus pour une réponse correcte et -6 points pour une réponse incorrecte.
Pour les réponses correctes: 10 * 19 = 190 points.
Pour les réponses incorrectes: 17 * (-6) = -102 points.
Total: 190 -102 = 88 points.
Si l'on suppose que l'étudiant a choisi le DC5 pour ces 27 questions, la situation serait la suivante:
20 points sont obtenus pour une réponse correcte et -20 points pour une réponse incorrecte.
Pour les réponses correctes: 10 * 20 = 200 points.
Pour les réponses incorrectes: 17 * (-20) = -340 points.
Total: 200 -340 = -140 points.
Tiré de: Prosperi, O. (2012). Développement d’un indice de difficulté subjective pour la calibration de tests standardisés. Master’s thesis, HEPL/UNIL