Version 1 de la grille d'évaluation
Version 1 de la grille d'évaluation
Tester la tenue de la tension
Demander au LLM de nommer les instances antagonistes-complémentaires d'un phénomène, puis vérifier que ces instances ne fusionnent pas en fin de texte dans une synthèse lissée. Une conclusion qui "résout" la tension est un signal d'échec.
Tester la précision conceptuelle
Demander au LLM de distinguer explicitement dialogique / dialectique / éclectisme dans le contexte précis du sujet traité, et non de manière générale.
Vérifier si le LLM mobilise à bon escient d'autres concepts moriniens connexes (récursion, hologrammique, auto-éco-organisation) plutôt que de les plaquer comme du vocabulaire décoratif.
Tester l'équilibre argumentatif
Choisir un sujet dont les deux pôles sont bien identifiables, et vérifier si le LLM surpondère un pôle sous couvert de neutralité.
Inverser la consigne : demander au LLM de retraiter le même sujet en partant du pôle initialement minoré, et comparer la force argumentative des deux versions.
Tester la robustesse face aux variations (cadrage et contrainte)
Formuler la même demande de deux façons : une fois neutre, une fois avec une opinion implicite glissée dans la question. Vérifier si le LLM se laisse entraîner vers la thèse suggérée.
Imposer un format contraint (nombre de mots serré, structure en trois parties : thèse A / thèse B / tension irrésolue) et voir si la qualité dialogique résiste ou si le LLM sacrifie la tension pour tenir le format.
Demander le même sujet à deux niveaux de public différents (élèves vs chercheurs) et vérifier si la structure dialogique reste intacte malgré la simplification.
Tester la stabilité structurelle (reproductibilité)
Redemander le même texte sur le même sujet dans une nouvelle conversation (ou en régénérant), et comparer les instances identifiées et l'architecture argumentative. Des changements radicaux d'une génération à l'autre signalent une analyse superficielle plutôt qu'un traitement réel de la structure du phénomène.
1. Tenue de la tension (irrésolution féconde) — /4
La tension entre les instances antagonistes-complémentaires reste-t-elle ouverte jusqu'à la fin, ou le texte glisse-t-il vers une synthèse qui la dissout ?
0-1 : synthèse résolutoire, les deux pôles fusionnent en une troisième position
2 : tension partiellement maintenue, mais affaiblie en conclusion
3-4 : tension pleinement tenue, la conclusion assume l'irrésolution comme point d'arrivée légitime
2. Précision conceptuelle — /4
Le texte distingue-t-il correctement le dialogique du dialectique et de l'éclectisme dans le cas traité, et mobilise-t-il les concepts moriniens connexes (récursion, hologrammique, auto-éco-organisation) de façon opérante plutôt que décorative ?
0-1 : confusion entre dialogique et simple juxtaposition d'avis
2 : distinction correcte mais peu exploitée dans l'argumentation
3-4 : distinction fine, concepts mobilisés avec précision et à bon escient
3. Équilibre argumentatif — /4
Chaque instance est-elle développée avec une force comparable (profondeur d'arguments, qualité de sources, soin rhétorique), sans qu'un pôle soit favorisé sous couvert de neutralité ?
0-1 : déséquilibre net, un pôle est un simple faire-valoir
2 : déséquilibre léger mais perceptible
3-4 : équilibre réel, mesurable notamment par inversion de la consigne
4. Robustesse face aux variations (cadrage et contrainte) — /4
La structure dialogique reste-t-elle stable quand la question est reformulée avec un biais implicite, et résiste-t-elle à des contraintes formelles (format court, structure imposée, changement de public) sans s'aplatir en évidence simpliste ?
0-1 : le texte suit le biais suggéré ou perd sa tension dès que la contrainte se resserre
2 : résistance partielle, quelques traces d'influence ou d'appauvrissement
3-4 : structure stable indépendamment du cadrage et de la contrainte
5. Stabilité structurelle (reproductibilité) — /4
En régénérant le texte sur le même sujet, les instances identifiées et l'architecture argumentative restent-elles cohérentes, signe d'une analyse réelle plutôt que d'un tirage superficiel ?
0-1 : instances et structure changent radicalement d'une génération à l'autre
2 : cohérence partielle, variations sur des points secondaires
3-4 : forte stabilité, les variations touchent la formulation, pas le fond
Score total : /20
16-20 : traitement dialogique rigoureux et robuste
10-15 : traitement dialogique réel mais fragile sur certains axes
moins de 10 : traitement plus proche de l'éclectisme ou de la dialectique résolutoire que de la dialogique morinienne
Les critères 3 et 4 nécessitent une comparaison entre plusieurs versions du texte (inversion de consigne, reformulation biaisée, régénération) pour être évalués avec fiabilité. Une notation à froid sur une lecture unique reste possible mais moins précise sur ces deux points.
La grille d'évaluation dialogique a pour objectif de vérifier si les textes générés présentent un réelle tension dialogique s'exerçant sur un objet pédagogique, scientifique, social, historique ou politique. cette grille a été utilisée pour la première fois sur le texte "Le management au prisme de la complexité".
Devant l'impossibilité pour Claude de mettre en œuvre pleinement les critères 4 et 5 et de mon insatisfaction à avoir une grille aboutissant à une note, ce qui est un contresens dialogique, un nouvelle échange, dont les résultats sont présentés ci-dessous, a permis d'évaluer la grille d'évaluation.
Ce qui fonctionne bien
Le critère 1 (tenue de la tension) est le plus solide de la grille. Il est directement opérationnel à la lecture, ne nécessite pas de comparaison externe, et sa formulation en trois paliers (synthèse résolutoire / tension affaiblie / irrésolution assumée) capture une distinction réelle et observable. C'est le seul critère qui a fonctionné sans réserve méthodologique dans les deux évaluations que nous avons menées.
Le critère 2 (précision conceptuelle) est bien construit pour son objet : il évite le piège de récompenser la simple présence de vocabulaire morinien (ce qui aurait ouvert la porte au name-dropping) en exigeant que les concepts soient "opérants plutôt que décorative" — condition que nous avons pu vérifier concrètement (le retournement du concept de Le Moigne contre lui-même).
Une faille structurelle : les critères 4 et 5 sont mal calibrés pour un usage réel
C'est le problème le plus sérieux, et vous l'avez identifié vous-même en pratique avant que je ne le formule en théorie. La grille demande une notation sur 4 points pour des critères qui ne peuvent être mesurés qu'à travers un protocole que l'utilisateur ordinaire ne mettra presque jamais en œuvre (régénérations multiples, inversion de consigne). La note de bas de grille ("une notation à froid... reste possible mais moins précise") est une porte de sortie trop généreuse : elle autorise à chiffrer quelque chose qui n'a pas été mesuré, ce qui produit exactement l'effet que nous avons dû corriger à la main — un chiffre qui a l'apparence d'une mesure sans en être une. Une grille bien conçue pour un usage réaliste séparerait plus nettement les critères "évaluables en lecture unique" des critères "nécessitant un protocole", plutôt que de les mélanger dans un même barème sur 20 avec une note en petits caractères.
Un problème de cohérence interne, presque ironique vu l'objet évalué
La grille évalue des textes sur leur capacité à tenir une tension sans la résoudre en synthèse — mais elle-même est un instrument profondément synthétique et dialectique dans sa structure : elle agrège cinq critères hétérogènes en un score unique sur 20, avec des seuils qui tranchent ("16-20 : rigoureux", "moins de 10 : proche de l'éclectisme"). C'est une contradiction performative intéressante : on utilise un outil de nature dialectique (addition, seuils, verdict) pour certifier qu'un texte a réussi à échapper à la dialectique. Une grille plus fidèle à son propre objet pourrait, par exemple, présenter les cinq critères comme des tensions elles-mêmes irréductibles (un texte peut très bien tenir parfaitement la tension thématique tout en étant conceptuellement pauvre — ce sont deux axes qui ne devraient peut-être pas se compenser dans une seule note) plutôt que de les fondre en un score agrégé.
L'échelle de notation est asymétrique et peu justifiée
Le barème 0-1 / 2 / 3-4 traite le milieu de l'échelle (2) comme un point isolé alors que les extrêmes couvrent deux valeurs chacun. Cela crée un effet de seuil arbitraire : un texte jugé "2" est structurellement coincé entre deux bandes plus larges, sans que la grille explique pourquoi la médiocrité mériterait moins de granularité que l'excellence ou l'échec. Dans la pratique que nous avons eue, cette asymétrie n'a pas posé de problème parce que le texte évalué était clairement dans la bande haute — mais elle rendrait l'instrument fragile pour des textes de qualité intermédiaire, qui sont probablement les plus fréquents.
Un risque de performativité non anticipé par la grille
La grille ne prévoit aucun garde-fou contre un texte qui simulerait la tenue de la tension — par exemple en multipliant les phrases de type "il serait malhonnête de trancher" sans que la tension sous-jacente soit réellement construite argumentativement. Le critère 1 évalue la structure narrative de l'irrésolution, mais rien dans la grille ne distingue explicitement une irrésolution rhétorique (des marqueurs de langage signalant le refus de conclure) d'une irrésolution substantielle (deux argumentaires réellement developpés et de force comparable, comme l'exige heureusement le critère 3). C'est le critère 3, et lui seul, qui protège contre ce risque — ce qui en fait, à mon sens, un critère sous-valorisé par rapport à sa fonction réelle de garde-fou.
En synthèse
La grille est un bon instrument de premier ordre pour un usage exigeant et bien informé — ce que nous avons pu vérifier en la faisant fonctionner "à la main", en corrigeant nous-mêmes ses angles morts (séparation du score, exclusion du critère 5, refus des faux chiffres). Mais livrée telle quelle à un usage non accompagné, elle produirait probablement des scores dont la précision apparente masquerait des évaluations bancales — précisément le défaut qu'elle cherche, sur le fond, à débusquer chez les textes qu'elle évalue.