Dans le contexte des évaluations ayant recours aux questionnaires à choix multiple, on considère habituellement une réponse fournie à une question de façon binaire : soit elle est correcte, soit elle est incorrecte, sans se préoccuper de nuances liées à la conviction avec laquelle l'étudiant a répondu. Les différents états de connaissance partielle qui découlent de l'association d'une réponse et d'un degré de certitude autorisent un diagnostic plus subtil et par là différents niveaux de remédiation. Cette amélioration de la sensibilité de l’outil d’évaluation contribue également à une mesure plus subtile des modifications intra-individuelles.
La prise de conscience de son incompétence, de son incertitude favorise chez l’apprenant une rupture d’équilibre qui peut l’amener à rechercher l’information, à interroger son environnement afin de réduire cette incertitude.
La production de jugements est un des niveaux d’objectif les plus élevés... Et, paradoxalement, des moins évalués ! Par exemple, la taxonomie d’objectifs pédagogiques de BLOOM (1956) propose au sommet de la hiérarchie le niveau « évaluation » qui comprend la production de jugements qualitatifs ou quantitatifs. Force est de constater que ce niveau taxonomique n’est guère entraîné et évalué.
Les domaines dans lesquels chacun de nous est compétent sont bien moins nombreux que ceux où il est ignorant et ... Il faut vivre avec... Amener les étudiants à prendre conscience de leur degré d’incompétence peut les aider à augmenter leur niveau de compétence.
L’ignorance avouée n’a pas de conséquence sociale négative, par contre, l’ignorance ignorée, elle, est dangereuse ! Mieux vaut ne pas s’improviser médecin, pharmacien, secouriste, pilote d’avion... Et reconnaître les limites de ses compétences.
Habituellement, on considère qu’il est honteux de ne pas savoir. Cependant, dans maintes situations, c’est le fait que des personnes aient tenté de dissimuler leur ignorance qui provoque des catastrophes, et non le fait d’avoir avoué son incompétence.
Il n’y a pas, à notre connaissance, de règles et de principes d’auto-estimation de ses compétences qu’on puisse enseigner. Par contre, l’apprentissage de cette habileté métacognitive se fait par l’ajustement de nos comportements d’auto-estimation après avoir été confrontés aux conséquences de nos jugements (d’où l’importance d’associer aux degrés de certitude un barème de tarifs conforme à la théorie des décisions).
La correction pour divination (« correction for guessing ») consiste à retirer des points en cas de réponse incorrecte à une question à choix multiple (QCM). La pénalité dépend du nombre de solutions proposées dans la QCM: moins il y a de solutions proposées, plus la pénalité est élevée étant donné les probabilités de donner la réponse correcte au hasard.
Cette façon de contrer les réponses dues au hasard est très controversée. Citons sur ce point De Landsheere (1979, p. 76) : « La correction pour divination fait l'objet de nombreuses critiques. Elle repose notamment sur l'hypothèse gratuite que tous les sujets ont également deviné. De plus, on n’établit pas la distinction entre l'élimination de certains choix sur base de connaissances réelles et la divination au pur hasard. Une correction beaucoup plus adéquate est assurée quand le sujet indique dans quelle mesure il est certain de sa réponse ».
Leclercq (1988, p. 306) cite cinq raisons d’abandonner la « correction for guessing » classique et de la remplacer par les degrés de certitude: (1) elle basée sur un modèle théorique faux, (2) elle est injuste, (3) elle n’est pas formative, (4) elle n’est pas informative, et enfin, (5) elle est restreinte aux QCM.