Embedded Files
Résumé
Résumé
La théorie de l'information de Shannon est souvent accompagnée de diagrammes à l'aspect très familier, les fameux diagrammes associés au nom du mathématicien britannique John Venn (1834-1923), ces patatoïdes par lesquels nous représentons ordinairement les ensembles, leurs unions et leurs intersections. Dans le cas de la théorie de Shannon, ces diagrammes permettent de visualiser très facilement certaines relations additives entre ce qu'on appelle l'entropie - notée H(X), H(Y) - de variables aléatoires discrètes non numériques X, Y..., les entropies conditionnelles H(X/Y), H(Y/X), l'entropie conjointe H(X,Y), l'information mutuelle I(X:Y) et d'autres grandeurs similaires impliquant davantage de variables. En particulier, l'information mutuelle entre deux variables est nulle si et seulement si celles-ci sont indépendantes, ce que certaines publications interprètent par la disjonction des domaines de Venn correspondant, dans une sorte de dualité avec l'espace des événements.
Mais l'interprétation de ces diagrammes est plus délicate qu'on ne pourrait le penser : quelle en est la substance ? autrement dit : qu'est-ce que les patates entourent ? Pour tenter de commencer à le comprendre, nous considérons en particulier quelques exemples simples de familles finies de variables aléatoires présentant diverses relations de dépendance mutuelle. Cette exploration est notamment l'occasion de revenir sur la notion de structure connective d'une telle famille, que nous avions introduite en 2014, et d'annoncer la démonstration de la proposition que nous avions alors avancée : toute structure connective finie est celle d'une famille de variables aléatoires. Nous montrerons en particulier sur quelques exemples simples comment construire une telle famille, comment obtenir le diagramme de Venn entropique de cette famille et comment retrouver la structure connective en question à partir de ce diagramme.
Table condensée
Table condensée
Exemple du plus simple des diagrammes de Venn entropiques
Une mesure de l'étonnement... ?
entropie conditionnelle (changer d'univers)
Indépendance de deux variables aléatoires
Information mutuelle de trois variables deux à deux indépendantes I(X:Y:Z)
Diagramme de Venn, un tracé universel
Des structure connectives de variables aléatoires aux diagrammes de Venn
Théorème : Toute structure connective finie est celle d'une famille de variables aléatoires
première minute de l'exposé...
Introduction
Introduction
Sources de mon intérêt pour la théorie de l'information de Shannon et de ses liens avec les structures connectives
Sources de mon intérêt pour la théorie de l'information de Shannon et de ses liens avec les structures connectives
Théories scientifiques de la conscience, notamment la théorie de l'information intégrée de Tononi
Un exposé de Philipp Ahrendt sur des approches topologiques de la dépendance probabiliste
Annonce du théorème brunnien pour les familles aléatoires finies
Conjecture de Foerster et théorème de Koppel-Dupuy-Atlan (1984)
Ce que peut vouloir dire une expression telle que I({X,Y,Z}:W) ?
LA question : de quelle nature est l'espace où sont tracés les diagrammes de Venn entropiques ?
LA question : de quelle nature est l'espace où sont tracés les diagrammes de Venn entropiques ?
Rappel : diagrammes de Venn ensemblistes (niveau grande section de maternelle)
Exemple du plus simple des diagrammes de Venn entropiques
Exemple du plus simple des diagrammes de Venn entropiques
Variables aléatoires discrètes non nécessairement numériques (VAnnn)
Variables aléatoires discrètes non nécessairement numériques (VAnnn)
Zone d'incertitude associée à un couple de VAnnn (variable conjointe)
Zone d'incertitude associée à un couple de VAnnn (variable conjointe)
Dans la théorie de Shannon, ce n'est pas le contenu des sources qui importe, mais la façon d'y accéder
Dans la théorie de Shannon, ce n'est pas le contenu des sources qui importe, mais la façon d'y accéder
Théorie de Shannon et devinettes binaires
Théorie de Shannon et devinettes binaires
. -..- . -- .--. . .-.. . -.. ..- -.-. --- -.. . -- --- .-. ... . (Parlez-vous morse ?)
. -..- . -- .--. . .-.. . -.. ..- -.-. --- -.. . -- --- .-. ... . (Parlez-vous morse ?)
Les quatre gobelets ou l'entropie comme longueur d'un chemin d'accès
Les quatre gobelets ou l'entropie comme longueur d'un chemin d'accès
Deux raisons pour l'entropie - la rencontre de Shannon et Von Neumann
Deux raisons pour l'entropie - la rencontre de Shannon et Von Neumann
Bien que cette anecdote très amusante soit fréquemment citée depuis que le mathématicien Myron Tribus en a parlé dans son article "Energy Concepts in the Electronic Age," MIT Alumni Association (1971), sa véracité n'est pas certaine (voir à ce sujet la page https://www.eoht.info/page/Neumann-Shannon%20anecdote).
Le génie de John von Neumann
Le génie de John von Neumann
Voir au bas de cette page le lien vers l'émission citée
Les quatre gobelets dans la vidéo de Thomas Cabaret
Les quatre gobelets dans la vidéo de Thomas Cabaret
Voir au bas de cette page le lien vers cette excellente vidéo !
Une mesure de l'étonnement... ?
Une mesure de l'étonnement... ?
Faut-il s'étonner que quelque chose de peu probable se produise, alors qu'il est certain qu'un événement très peu probable va se produire !
Témoignage dans le public
Quantité ou qualité de l'information ?
Z070, 1mn 50
Entropie conjointe
Entropie conjointe
entropie conditionnelle (changer d'univers)
entropie conditionnelle (changer d'univers)
Information mutuelle I(X:Y)
Information mutuelle I(X:Y)
Structures connectives des entrelacs (rappels)
Structures connectives des entrelacs (rappels)
Indépendance de deux variables aléatoires
Indépendance de deux variables aléatoires
Equivalence avec la nullité de I(X:Y)
Equivalence avec la nullité de I(X:Y)
Un diagramme évident... mais contestable (1)
Un diagramme évident... mais contestable (1)
Structure connective d'une famille de variables aléatoires
Structure connective d'une famille de variables aléatoires
Information mutuelle de trois variables deux à deux indépendantes I(X:Y:Z)
Information mutuelle de trois variables deux à deux indépendantes I(X:Y:Z)
Pas de Venn ! (*) Un diagramme évident... mais contestable (2)
Pas de Venn ! (*) Un diagramme évident... mais contestable (2)
(*) selon la juste formule de Jerôme JC
Valeur possiblement négative de l'information mutuelle
Valeur possiblement négative de l'information mutuelle
Anatole : lien avec les degrés ludiques de Christophe Chalon ?
Anatole : lien avec les degrés ludiques de Christophe Chalon ?
Formules et calculs
Formules et calculs
Diagramme de Venn, un tracé universel
Diagramme de Venn, un tracé universel
Des structure connectives de variables aléatoires aux diagrammes de Venn
Des structure connectives de variables aléatoires aux diagrammes de Venn
Envoi d'un auditeur au piquet.
Théorème : Toute structure connective finie est celle d'une famille de variables aléatoires
Théorème : Toute structure connective finie est celle d'une famille de variables aléatoires
La démonstration de ce théorème est présentée dans le texte
Un théorème brunnien pour les familles finies de variables aléatoires (février 2025)
Discussion - Exemple
Discussion - Exemple
Une structure connective et son diagramme de Venn entropique associé - un exemple à 4
Une structure connective et son diagramme de Venn entropique associé - un exemple à 4
Divers aspects de la structure connective B3+B4
Liens et documents
Liens et documents
Le génie de John von Neumann dans Maniac
Le génie de John von Neumann dans Maniac
Le roman cité dans mon exposé est Maniac, de Benjamin Labatut, Gallimard, 2023. Cet ouvrage a fait l'objet de l'émission Répliques du 26 octobre 2024, sous le titre "La folie mathématique", pour laquelle Alain Finkielkraut reçoit Olivier Rey, mathématicien et philosophe et Etienne Klein, physicien et philosophe.
Les quatre gobelets dans la vidéo de Thomas Cabaret
Les quatre gobelets dans la vidéo de Thomas Cabaret
L'excellente vidéo à laquelle je fais référence dans mon exposé au sujet des quatre gobelets est celle réalisée par Thomas Cabaret sur sa chaîne Passe-Science :
20250408 Sur les zones d'incertitude.pdfTable des matières complète
Table des matières complète
Page updated
Google Sites
Report abuse