Exemple d'un système d'évaluation biaisé
On peut trouver sur internet divers systèmes d'évaluation des productions des élèves.
Un système propose de le faire grâce à un descripteur composé de critères auxquels sont associés des indicateurs. Les trois critères (complétude, cohérence et pertinence) sont évalués de façon binaire + ou -.
Les critères sont évalués l'un après l'autre.
On obtient 4 niveaux : Très bien, Satisfaisant, Fragile et Insuffisant.
Exemple :
Petits problèmes :
→ Ce système ne permet d'utiliser que deux critères.
→ Il n'y a pas que trois critères (complétude, cohérence et pertinence), il y en a bien d'autres.
Gros problème :
→ Il y a systématiquement pondération des critères : le premier retenu compte double. L'inversion des deux critères fait basculer de "Satisfaisant" à "Fragile". Ce problème est rédhibitoire. Bien que ce problème saute aux yeux, il semble avoir échappé à ses concepteurs.
Proposition d'un système qui ne possède pas ces défauts :
→ Remplacer la hiérarchie obligatoire des deux critères par une pondération facultative des n critères.
→ Remplacer l'évaluation binaire de chaque critère par une évaluation scalaire à trois ou quatre (ou n) niveaux.
Dans l'exemple ci-dessous (que j'ai torché en 5 minutes), 3 critères sont utilisés, le critère n°2 est pondéré d'un coefficient 2.
Il n'est pas difficile d'en imaginer d'autres, plus simples, plus clairs...