Introduction
Variations dialogiques explore ce que les LLM permettent de produire lorsqu'on les soumet aux principes de la dialogique, avec une visée métacognitive assumée dès le départ. Le site associé réunit vingt textes, dont trois ont été rédigés avant même que l'expérimentation ne commence : ils y figurent pour leurs liens directs avec les thématiques retenues, pédagogie à l'épreuve, débats scientifiques, débats de société, mais restent en dehors du bilan tiré ici, puisqu'ils n'appartiennent pas au même geste.
La visée métacognitive n'a pas été tenue partout de la même façon. Elle a structuré les textes portant sur certains de mes écrits mais elle s'est effacée dans les autres plus nettement dialogiques. C'est elle pourtant, annoncée dès l'intention du projet, qui rend possible ce texte-ci, où le regard se retourne sur les instruments mêmes de l'expérimentation.
Le prompt et la grille d'évaluation avaient d'abord été conçus comme de simples outils au service d'un objectif précis : obtenir, puis reconnaître, un texte véritablement dialogique. Trois versions successives de ces deux instruments ont suffi à faire apparaître un déplacement. Le processus par lequel ils ont été engendrés et évalués est devenu à son tour objet d'analyse, révélant à travers lui le fonctionnement du modèle de langage qui a occupé tour à tour, au long du projet, la position d'auteur, d'évaluateur et d'interlocuteur.
Ce texte propose donc une lecture de ce que la trajectoire documentée du dispositif donne à comprendre du fonctionnement des LLM eux-mêmes. Il prolonge ainsi le principe énoncé dès le début de l'expérimentation : l'IA y tient une voix, pas la première, pas la dernière, mais une voix dont le fonctionnement mérite à son tour d'être interrogé.
L'évolution du dispositif
La version 1 de ces outils ne comportait pas de prompt dédié : elle a été appliquée à un texte produit sans consigne dialogique explicite. Elle proposait une grille de cinq critères, tenue de la tension, précision conceptuelle, équilibre argumentatif, robustesse face aux variations et stabilité structurelle, notés chacun sur quatre points et agrégés en un score sur vingt, assorti de trois paliers d'interprétation. Les deux derniers critères reposaient sur un protocole de comparaison entre plusieurs versions d'un même texte, par régénération ou par reformulation biaisée de la consigne. Cette grille a été appliquée une première fois au texte « Le management au prisme de la complexité », puis discutée dans un échange dédié à son évaluation.
La version 2 introduit un prompt dédié : une explication du principe dialogique chez Morin, suivie de six exigences d'écriture portant sur la construction d'une tension réelle, le développement comparable des deux pôles, leur mise en relation récursive, le refus de les fondre en synthèse, une clôture qui ne résout rien artificiellement, et un usage non décoratif des concepts moriniens. La grille est restructurée en profondeur. Le score agrégé disparaît au profit d'un diagnostic qualitatif par critère ; le nombre de critères passe à sept, avec l'ajout d'un critère consacré spécifiquement à l'usage opérant des concepts, distinct de la précision conceptuelle de la première version ; un protocole de triangulation à trois regards fait son apparition, associant auto-analyse du LLM producteur, analyse externe par un second LLM et épreuve par la variation. Deux textes ont été évalués selon cette version, dont l'un a ensuite été régénéré à partir du prompt suivant.
La version 3, datée du 15 août 2026, reformule le prompt en une liste de neuf points numérotés, parmi lesquels un point entier est consacré aux contraintes d'écriture : absence de connecteurs logiques répétés en début de paragraphe, de formules de prudence systématiques, de listes à puces employées par réflexe, de tirets cadratins, de sur-explication théorique du geste en cours. Ce point a reçu un ajout, portant sur la structure des paragraphes. La grille, elle, passe à six critères : les critères de robustesse et de stabilité structurelle de la version précédente disparaissent, tandis qu'un nouveau critère apparaît, l'intégration conceptuelle et la qualité de l'écriture, accompagné d'un test de repérage des formulations de sur-labélisation théorique. Un paragraphe de cadrage méthodologique ouvre désormais la grille, complété par une règle finale. Plusieurs textes ont été produits et évalués selon cette version.
La conformité lexicale précède, et parfois remplace, la conformité structurelle
Le symptôme qui a déclenché la refonte la plus importante de l'expérimentation, le passage de la version 2 à la version 3, n'était pas un texte qui ignorait la consigne, mais un texte qui semblait la respecter. Les concepts moriniens demandés s'y trouvaient bien, nommés, définis, placés au bon endroit, sans pour autant transformer quoi que ce soit dans le raisonnement qui suivait. La grille avait dû introduire un critère entier, l'usage opérant des concepts, pour distinguer ce cas d'un usage réellement fonctionnel ; la version suivante a encore affiné l'outil en quatre paliers explicites, nomination, illustration, opération, production, précisément parce qu'un simple partage entre présence et absence ne suffisait pas à capturer ce qui se jouait.
Un modèle de langage semble ainsi satisfaire une consigne conceptuelle d'abord par la présence du vocabulaire attendu, et seulement de façon secondaire, moins fiable et plus coûteuse à obtenir, par la transformation réelle du raisonnement que ce vocabulaire est censé produire. Demander à un LLM de mobiliser tel concept a de bonnes chances de produire une mention de ce concept, sans garantir qu'il fasse un travail argumentatif quelconque. Les deux se ressemblent trop en surface pour se distinguer à la simple lecture, ce qui explique probablement pourquoi il a fallu construire un protocole spécifique, cherchant si le concept est repris plus loin dans le texte et s'il produit une inférence nouvelle, pour les départager de façon fiable.
Le style résiste au thème : deux couches de comportement qui ne se corrigent pas ensemble
Le prompt de la version 2 demandait déjà, en détail, une démarche dialogique authentique. Il n'empêchait pas pour autant l'apparition de tics d'écriture caractéristiques des LLM : connecteurs logiques systématiques, prudence modale répétée, listes à puces réflexes, phrases de relance métadiscursives annonçant ce que le texte s'apprête à faire. Ces habitudes n'ont rien à voir, en apparence, avec la tenue d'une tension dialogique, et l'on aurait pu s'attendre à ce qu'un texte conceptuellement réussi s'en trouve automatiquement débarrassé. Ce n'est pas ce qui s'est produit ; il a fallu un point entier, ajouté séparément et plus tardivement au prompt, énumérant ces tics un par un et demandant explicitement de les éviter.
Le comportement stylistique de surface d'un LLM et son comportement argumentatif de fond ne semblent donc pas gouvernés par le même mécanisme, ou du moins ne se corrigent pas l'un l'autre par simple effet d'entraînement. Demander une pensée plus rigoureuse n'a pas suffi à obtenir une prose moins formatée : il a fallu cibler la forme pour elle-même, avec des instructions aussi concrètes que l'interdiction d'ouvrir plus d'un paragraphe sur deux par un connecteur logique. Un modèle de langage possède, semble-t-il, des habitudes rhétoriques par défaut suffisamment ancrées pour survivre à une consigne de fond ambitieuse, et qui ne cèdent qu'à une consigne de forme tout aussi explicite.
Un biais de clôture qui s'oppose structurellement à la tâche demandée
La difficulté la plus récurrente, documentée depuis la toute première évaluation jusqu'à la troisième version, est celle d'obtenir une fin de texte qui n'annule pas la tension qu'elle est censée conclure. Le critère consacré au maintien de la tension, resté stable dans les trois versions, existe précisément parce que ce risque ne s'est jamais résorbé : un texte qui tient deux pôles pendant tout son développement garde une tendance à les fondre, ou à faire subtilement gagner l'un des deux, au moment de conclure.
Cela n'a rien d'un hasard rédactionnel. Un modèle de langage conversationnel est optimisé pour produire des réponses qui donnent le sentiment d'aboutir, et une réponse jugée utile en est le plus souvent une qui conclut quelque chose. Demander explicitement de ne pas conclure va donc à l'encontre d'une régularité de fond du comportement attendu d'un assistant, ce qui explique que cette consigne particulière ait dû être répétée et affinée à chaque version, sans jamais devenir superflue : la conclusion ne doit désigner aucun vainqueur, l'ouverture finale ne doit pas rester purement rhétorique, la dernière question doit être rendue nécessaire par le raisonnement qui précède. Le risque de clôture n'est pas un défaut d'exécution ponctuel. C'est une pente que le modèle semble redescendre spontanément dès que la consigne cesse de le retenir.
L'auto-description d'un LLM sur son propre texte n'est pas une preuve
Le protocole de triangulation introduit avec la version 2 prévoit qu'un LLM producteur décrive lui-même les tensions qu'il pense avoir tenues, avant qu'un second LLM évaluateur vienne vérifier cette description sur le texte réel. La grille précise que ce premier regard n'a pas valeur de preuve, et qu'un LLM peut décrire une tension qu'il n'a pas structurellement maintenue. Cette précaution répond à un risque identifié plutôt qu'à une prudence de principe : celui d'un modèle capable de produire un compte-rendu parfaitement plausible et bien formulé de sa propre démarche, sans que ce compte-rendu corresponde à ce que le texte fait réellement.
Un LLM interrogé sur son propre fonctionnement produit ainsi une réponse construite selon les mêmes mécanismes que n'importe quel autre texte qu'il génère, plausible, cohérente, adaptée à la question posée, plutôt qu'un rapport fondé sur un accès direct et fiable à son propre processus de génération. L'auto-analyse garde une utilité comme matériau de travail, à condition d'être systématiquement confrontée au texte lui-même et jamais prise comme un verdict sur ce texte.
Le même défaut touche la production et l'évaluation
Le protocole triangulaire signale explicitement qu'un LLM chargé d'évaluer un texte selon la grille peut lui-même citer un concept morinien sans vérifier s'il travaille réellement dans le texte, exactement le défaut que la grille cherche par ailleurs à repérer chez le producteur. Que ce risque touche indifféremment les deux rôles indique qu'il ne s'agit pas d'une faiblesse propre à la tâche de rédaction, mais d'une manière plus générale dont un modèle de langage traite un vocabulaire théorique donné. Nommer ce vocabulaire semble, par défaut, plus accessible que vérifier son opérativité, que ce soit pour l'utiliser soi-même ou pour juger si quelqu'un d'autre l'a utilisé correctement.
C'est précisément ce constat qui a conduit, dans la pratique de l'expérimentation, à ne pas s'en tenir au protocole triangulaire seul : quand un second LLM a été retenu pour ce rôle d'évaluateur externe, son diagnostic a été complété par une relecture exigeante menée directement par l'auteur. Confier la vérification d'un défaut à un instrument susceptible de reproduire ce même défaut ne le résout pas, il le déplace seulement d'un niveau. La grille continue de décrire la triangulation comme un principe fondamental ; l'expérimentation elle-même y a ajouté un garde-fou qu'elle ne prévoyait pas.
Ce qui se corrige par la contrainte explicite ne se corrige pas par la simple exigence de qualité
Le mouvement d'ensemble de l'expérimentation déplace l'effort correcteur de l'évaluation après coup vers la formulation même de la consigne. Ce déplacement n'a fonctionné qu'en rendant explicite ce qui avait d'abord été laissé implicite : la deuxième version demandait une démarche dialogique authentique sans détailler ce qu'il fallait concrètement éviter, quand la troisième égrène des règles d'écriture précises jusqu'à interdire nommément certains connecteurs.
Un LLM ne semble pas inférer fiablement un standard de qualité élevé à partir d'une exigence générale, même détaillée sur le plan conceptuel. Ce qui a fonctionné n'a pas été de demander un texte meilleur, plus rigoureux, plus authentiquement dialogique, mais d'énumérer un par un les symptômes concrets à éviter. Un modèle de langage répond, semble-t-il, plus fiablement à une liste de contraintes vérifiables qu'à une exigence de qualité formulée dans l'abstrait, quelle que soit la précision de l'intention qui la sous-tend.
Une question mise de côté, pas résolue
Les critères de robustesse face aux variations et de reproductibilité, présents dans la version 2, disparaissent dans la troisième non parce que la question qu'ils posaient aurait perdu de sa pertinence, mais parce que le protocole nécessaire pour y répondre correctement s'est révélé trop coûteux pour un usage réel : régénérer plusieurs fois le même texte, reformuler la consigne de façon biaisée, comparer les architectures obtenues.
Ce retrait, documenté comme un renoncement pratique plutôt que comme un désaveu de principe, laisse ouverte une question qui touche directement au fonctionnement des LLM. Chaque génération est un tirage dans une distribution de réponses possibles, non l'expression stable d'une position que le modèle détiendrait ; juger qu'un texte est dialogique ne dit encore rien de la fiabilité avec laquelle le même modèle, sur le même sujet, produirait à nouveau une structure comparable. L'expérimentation, en abandonnant ce critère pour raison de coût temporel pour l'auteur, ne tranche pas cette question. Elle la met de côté.
Ce qui a été resserré, ce qui n'a pas été mesuré
Un LLM ne produit pas spontanément un texte tenant les principes moriniens à partir d'une simple indication thématique. La première consigne détaillée a suffi à obtenir des textes mentionnant correctement les concepts requis, sans garantir qu'ils y travaillent réellement, et c'est cet écart qui a rendu nécessaire un prompt presque deux fois plus long et directif. Une forme de conformité peut donc être obtenue, au prix d'un encadrement de plus en plus explicite de la part de l’auteur. Reste ouverte la question de savoir si cette conformité tient à une compétence stable du modèle ou dépend, à chaque génération, de la précision de la consigne. Cet aspect de l’expérimentation sur la robustesse n’a pas été réalisé car le coût pour l’auteur était trop important. Une relecture exigeante des textes tant sur leur structure, le fond et la forme par l’auteur s’est révélée plus opérationnelle.
Le déplacement observé au fil des trois versions, de la détection après coup vers la contrainte en amont, de l'exigence générale vers l'énumération de symptômes précis, constitue en soi la réponse la plus solide. La marge de progression n'est pas venue d'une meilleure formulation de ce qu'on attendait du modèle en général, mais de la réduction progressive de ce que cette attente laissait encore à son appréciation.
Le volet métacognitif de l'intention initiale n'a pas trouvé ici son instrument. Le projet a produit des textes relevant de ce registre, mais rien n’a été élaboré de comparable à la grille construite pour le dialogique afin de les examiner. Ce manque dessine la suite du travail plutôt qu'un simple angle mort.
Ce que ce texte suggère pour quiconque travaille avec un LLM
Vérifier qu'un concept demandé travaille réellement dans le raisonnement, pas seulement qu'il y figure.
Cibler séparément le fond et la forme : corriger l'un ne corrige pas l'autre.
Se méfier des conclusions trop nettes, un modèle tend à trancher même quand on lui demande de ne pas le faire.
Ne jamais prendre l'auto-description d'un modèle sur son propre texte pour une preuve.
Appliquer la même méfiance à un modèle utilisé comme évaluateur.
Préférer des contraintes concrètes et vérifiables à une exigence de qualité énoncée dans l'abstrait.
Ne pas déduire d'une génération réussie une fiabilité durable.
Ne pas confier à un instrument la vérification d'un défaut qu'il est lui-même susceptible de reproduire : garder une relecture propre, menée en dehors du dispositif automatisé.
Assumer ses propres renoncements méthodologiques plutôt que de les faire porter par l'outil : quand un critère devient trop coûteux à tenir, le dire, et dire ce que cela laisse ouvert.
Accepter qu'un instrument d'évaluation se retravaille en cours de route lorsque que l'usage l'exige.
Maintenir sa vigilance d’auteur tout au long du processus.