Le réalisme du sujet

Le principe des degrés de certitude veut que l’étudiant évalue la probabilité que la réponse qu’il donne à une question soit correcte. C'est la seule stratégie qui permet de maximiser le résultat. Cependant, il est assez difficile d’évaluer justement son propre savoir. L’étudiant peut surestimer ou, au contraire, sous-estimer ses compétences. Il est possible de déterminer dans quelle mesure un étudiant choisit des degrés de certitude qui correspondent à sa chance réelle de répondre correctement à une question. Cette mesure est donnée par l’indice de réalisme du sujet.

L'indice de réalisme du sujet (Rs) permet d’évaluer sur une échelle allant de 0 à 100% si l’étudiant a tendance à surestimer ou sous-estimer ses compétences, ou si au contraire son auto-évaluation correspond aux résultats du test. Un indice de réalisme bas indique que l’étudiant évalue mal ses chances de réussite à une question. Au contraire, un indice de réalisme haut dit que l’étudiant est capable d’évaluer adéquatement ses chances de répondre correctement aux questions.

Afin d'améliorer son propre réalisme, c'est-à-dire faire en sorte que l'expression de la certitude corresponde le plus possible à la probabilité réelle de réussite, il est possible de s'entraîner. Ceci est important afin de garantir une attribution des points optimale et de maximiser ainsi l'espérance de réussite. La plateforme GUESS permet de visualiser en temps réel son propre taux de réalisme et est conçue pour l'améliorer, en permettant d'entraîner la coordination entre l'estimation de la certitude et son expression avec la technique des degrés de certitude.

On considère un taux de réalisme supérieur à 80% comme étant bon et comme très bon quand il dépasse 90%.

Principe de calcul

Chaque degré de certitude correspond à un intervalle de certitude. Par exemple si l’étudiant choisit le degré de certitude 2 pour une question, cela signifie qu’il estime avoir entre 50% et 70% de chance de répondre correctement à la question. Le cas idéal est celui où, par exemple, toutes les questions auxquelles l’étudiant a donné un degré de certitude 3 (70%-85%) donnent un total de réponses correctes compris entre 70% et 85%. Le même raisonnement s’applique à tous les autres degrés de certitude.  

L'intervalle de certitude possède une valeur centrale, c’est-à-dire la valeur au milieu de l’intervalle. Pour la certitude 2, cette valeur centrale est 60%. Dans le calcul du réalisme, la valeur centrale du degré de certitude i est considérée comme étant le taux de réponses correctes idéal pour l’ensemble des questions auxquelles l’étudiant a associé le degré de certitude i. L’indice de réalisme Rs est déterminé sur la base des réponses aux questions d’un test en calculant, pour chaque degré de certitude, l’écart entre le taux de réponses correctes idéal et le taux de réponses correctes réelles ou effectives (TEi), avec la formule présentée par Gilles1 :

Tiré de: Prosperi, O. (2012). Développement d’un indice de difficulté subjective pour la calibration de tests standardisés. Master’s thesis, HEPL/UNIL

1Gilles, J.-L. (2002). Qualité spectrale Qualité spectrale des tests standardisés universitaires des tests standardisés universitaires. PhD thesis, Université de Liège.