La grille d'évaluation dialogique a pour objectif de vérifier si les textes générés présentent un réelle tension dialogique s'exerçant sur un objet pédagogique, scientifique, social, historique ou politique. cette grille a été utilisée pour la première fois sur le texte "Le management au prisme de la complexité".
Devant l'impossibilité pour Claude de mettre en œuvre pleinement les critères 4 et 5 et de mon insatisfaction à avoir une grille aboutissant à une note, un nouvelle échange, dont les résultats sont présentés ci-dessous, a permis d'évaluer la grille d'évaluation.
Ce qui fonctionne bien
Le critère 1 (tenue de la tension) est le plus solide de la grille. Il est directement opérationnel à la lecture, ne nécessite pas de comparaison externe, et sa formulation en trois paliers (synthèse résolutoire / tension affaiblie / irrésolution assumée) capture une distinction réelle et observable. C'est le seul critère qui a fonctionné sans réserve méthodologique dans les deux évaluations que nous avons menées.
Le critère 2 (précision conceptuelle) est bien construit pour son objet : il évite le piège de récompenser la simple présence de vocabulaire morinien (ce qui aurait ouvert la porte au name-dropping) en exigeant que les concepts soient "opérants plutôt que décorative" — condition que nous avons pu vérifier concrètement (le retournement du concept de Le Moigne contre lui-même).
Une faille structurelle : les critères 4 et 5 sont mal calibrés pour un usage réel
C'est le problème le plus sérieux, et vous l'avez identifié vous-même en pratique avant que je ne le formule en théorie. La grille demande une notation sur 4 points pour des critères qui ne peuvent être mesurés qu'à travers un protocole que l'utilisateur ordinaire ne mettra presque jamais en œuvre (régénérations multiples, inversion de consigne). La note de bas de grille ("une notation à froid... reste possible mais moins précise") est une porte de sortie trop généreuse : elle autorise à chiffrer quelque chose qui n'a pas été mesuré, ce qui produit exactement l'effet que nous avons dû corriger à la main — un chiffre qui a l'apparence d'une mesure sans en être une. Une grille bien conçue pour un usage réaliste séparerait plus nettement les critères "évaluables en lecture unique" des critères "nécessitant un protocole", plutôt que de les mélanger dans un même barème sur 20 avec une note en petits caractères.
Un problème de cohérence interne, presque ironique vu l'objet évalué
La grille évalue des textes sur leur capacité à tenir une tension sans la résoudre en synthèse — mais elle-même est un instrument profondément synthétique et dialectique dans sa structure : elle agrège cinq critères hétérogènes en un score unique sur 20, avec des seuils qui tranchent ("16-20 : rigoureux", "moins de 10 : proche de l'éclectisme"). C'est une contradiction performative intéressante : on utilise un outil de nature dialectique (addition, seuils, verdict) pour certifier qu'un texte a réussi à échapper à la dialectique. Une grille plus fidèle à son propre objet pourrait, par exemple, présenter les cinq critères comme des tensions elles-mêmes irréductibles (un texte peut très bien tenir parfaitement la tension thématique tout en étant conceptuellement pauvre — ce sont deux axes qui ne devraient peut-être pas se compenser dans une seule note) plutôt que de les fondre en un score agrégé.
L'échelle de notation est asymétrique et peu justifiée
Le barème 0-1 / 2 / 3-4 traite le milieu de l'échelle (2) comme un point isolé alors que les extrêmes couvrent deux valeurs chacun. Cela crée un effet de seuil arbitraire : un texte jugé "2" est structurellement coincé entre deux bandes plus larges, sans que la grille explique pourquoi la médiocrité mériterait moins de granularité que l'excellence ou l'échec. Dans la pratique que nous avons eue, cette asymétrie n'a pas posé de problème parce que le texte évalué était clairement dans la bande haute — mais elle rendrait l'instrument fragile pour des textes de qualité intermédiaire, qui sont probablement les plus fréquents.
Un risque de performativité non anticipé par la grille
La grille ne prévoit aucun garde-fou contre un texte qui simulerait la tenue de la tension — par exemple en multipliant les phrases de type "il serait malhonnête de trancher" sans que la tension sous-jacente soit réellement construite argumentativement. Le critère 1 évalue la structure narrative de l'irrésolution, mais rien dans la grille ne distingue explicitement une irrésolution rhétorique (des marqueurs de langage signalant le refus de conclure) d'une irrésolution substantielle (deux argumentaires réellement developpés et de force comparable, comme l'exige heureusement le critère 3). C'est le critère 3, et lui seul, qui protège contre ce risque — ce qui en fait, à mon sens, un critère sous-valorisé par rapport à sa fonction réelle de garde-fou.
En synthèse
La grille est un bon instrument de premier ordre pour un usage exigeant et bien informé — ce que nous avons pu vérifier en la faisant fonctionner "à la main", en corrigeant nous-mêmes ses angles morts (séparation du score, exclusion du critère 5, refus des faux chiffres). Mais livrée telle quelle à un usage non accompagné, elle produirait probablement des scores dont la précision apparente masquerait des évaluations bancales — précisément le défaut qu'elle cherche, sur le fond, à débusquer chez les textes qu'elle évalue.