La théorie des ensembles : 140 ans d'histoire

La théorie moderne des ensembles est née dans les années 1870, suite aux travaux de Georg Cantor sur le problème des ensembles exceptionnels. Après des débuts difficiles (ce qu'on appelle les premiers balbutiements, ou aussi la crise des fondements), elle a connu un essor rapide, au début du XXème Siècle, d'abord avec le programme de Hilbert (1900), puis avec les diverses tentatives d'axiomatisation qui ont fini par aboutir à l'axiomatique de Zermelo-Fraenkel telle qu'on la pratique encore aujourd'hui (1926) et enfin avec les travaux de Kurt Gödel (1930 : le théorème de complétude, 1931 : les théorèmes d'incomplétude, 1938 : consistance de l'axiome du choix et de l'hypothèse généralisée du continu avec le reste de la théorie).

Toutefois, l'évènement le plus marquant du siècle dernier est la découverte en 1963, par Paul Cohen, de la méthode du forcing, qui a conduit à la preuve de l'indépendance (ou, si on préfère, de l'indécidabilité) de l'hypothèse du continu. Cette révolution a ouvert depuis lors des horizons immenses, diverses branches de la théorie venant s'imbriquer les unes dans les autres : technique des modèles intérieurs, forcing, théorie descriptive des ensembles, grands cardinaux. Aujourd'hui plus personne n'ose nier l'importance de la théorie des ensembles au sein de l'édifice mathématique. La plupart des mathématiciens travaillent dans le système ZF, ou dans un système alternatif plus ou moins équivalent, et même la véracité du célèbre théorème de Fermat-Wiles, dont la démonstration a finalement été publiée en 1997, repose sur la non-contradiction de ce système (en fait d'un système légèrement plus fort que ZF).

La théorie des ensembles a des répercussions dans des domaines très divers (s'il ne fallait citer qu'un exemple, ce serait celui de la célèbre conjecture P=NP, sur laquelle on aura l'occasion de revenir) et a connu ces vingt dernières années un relent d'activité, notamment avec les travaux de Hugh Woodin sur l'hypothèse du continu.

Bizarrement, elle est assez peu enseignée en France. Il y a à cela plusieurs raisons. D'abord, il semblerait que beaucoup d'étudiants, et aussi d'enseignants, sachent se contenter de la pratique mathématique usuelle des ensembles (ce qu'on appelle la théorie naïve des ensembles). Tout le monde sait manipuler les concepts traditionnels de réunion, d'intersection, de produit cartésien, prise de parties et différentes notions d'infini, mais sans forcément chercher à rentrer dans les détails. Tout étudiant en L3 doit savoir confusément qu'il existe en mathématiques des propositions indécidables, et en particulier qu'il est difficile de savoir s'il existe ou non un sous-ensemble de ℝ de cardinal strictement compris entre le dénombrable et le continu, mais peu d'entre eux ont l'occasion d'en apprendre davantage sur ces questions épineuses.

La deuxième raison de cette carence est qu'une certaine mode héritée du siècle précédent veut qu'on ne cherche à investir que dans des études qui mènent à de vraies applications pratiques, et il est vrai que la théorie des ensembles, même si elle a des répercussions dans de nombreux domaines, reste un outil théorique pouvant même sembler parfois rébarbatif au jeune mathématicien néophyte. Il est clair qu'au moment du choix de son orientation, un étudiant en M2, parfois victime du système, aura beaucoup plus de perspectives d'avenir s'il se lance dans des études d'analyse ou de mathématiques appliquées (par exemple à la finance ou à l'informatique) que dans un cursus de théorie des ensembles. Tout est affaire de crédits d'enseignement et de recherche, et de nos jours un labo de logique a bien du mal à survivre, sauf s'il accepte d'orienter ses recherches en direction de domaines "branchés" comme l'informatique théorique ou la complexité algorithmique.

Enfin, et c'est là que semble se situer le noeud du problème, l'étude fine de la théorie axiomatique des ensembles nécessite un certain background en logique mathématique, qui hélas ne fait pas partie de l'héritage de la plupart des étudiants. La faute en incombe probablement au célèbre groupe Bourbaki, qui considérait la logique comme une science "à part", beaucoup plus proche selon lui de la philosophie que des mathématiques. Si on veut faire de la théorie axiomatique des ensembles à un niveau correct, il faut maîtriser un certain nombre d'outils de logique élémentaire, parmi lesquels le calcul des prédicats du premier ordre, qui comporte des théorèmes difficiles (complétude, compacité, Löwenheim-Skolem) demandant un minimum d'efforts d'assimilation. Et malheureusement, la plupart des ouvrages académiques (le plus souvent en langue anglaise) supposent ce background plus ou moins connu du lecteur, ou dans le meilleur des cas rappellent l'énoncé des principaux théorèmes de logique avant de les appliquer à des situations généralement difficiles.

Ce cours se veut une introduction à la théorie des ensembles et aux diverses ramifications qui y sont désormais rattachées de façon naturelle. Le but est certes de présenter un aperçu aussi large que possible, mais aussi, dans un premier temps, de montrer comment cette théorie axiomatique simple peut servir de fondement à la quasi-totalité de l'édifice mathématique. Le système d'axiomatisation choisi est celui de Zermelo-Fraenkel, même si on sera amené à dire un mot de quelques théories alternatives. Il est bien entendu hors de question de prétendre à une quelconque forme d'exhaustivité (des références bibliographiques seront données dans ce sens), mais on va chercher au contraire à privilégier l'aspect pédagogique. Le point de vue adopté ici est de n'introduire les outils nécessaires (surtout les plus difficiles d'entre eux) que lorqu'on en a réellement besoin. Par exemple, le Chapitre 4, consacré aux préliminaires de logique, ne fera qu'esquisser le cadre formel dans lequel on va travailler en théorie des ensembles, le but essentiel de ce chapitre étant de savoir ce qu'est une formule du calcul des prédicats. Les questions de logique plus délicates, nécessaires à l'étude des modèles de ZFC, seront, elles, examinées aux Chapitres 14 et 15.

En dehors de quelques remarques ou exemples faisant appel à des connaissances mathématiques extérieures à la théorie des ensembles, ce cours se veut pour ainsi dire self-contained. On suppose simplement le lecteur familiarisé avec les raisonnements et pratiques mathématiques usuels (déduction logique, raisonnement par l'absurde, raisonnement par récurrence). Les définitions et principaux théorèmes utiles en arithmétique élémentaire sont rappelés au Chapitre 6, ceux concernant l'algèbre et la topologie générale sont distillés au fur et à mesure des besoins. Il est assez difficile de dire avec précision quel est le niveau minimal requis pour pouvoir aborder ce cours avec profit, mais il semblerait en première approximation qu'un niveau correct de L3 suffise à en appréhender l'essentiel.

L'exposé peut être décomposé artificiellement en cinq parties. La partie A, constituée des Chapitres 1 à 4, présente de façon informelle la théorie naïve des ensembles et montre la nécessité de la méthode axiomatique. Un gros chapitre est consacré aux préliminaires de logique, indispensables à la mise en forme d'une démarche axiomatique. La Partie B (Chapitres 5 à 13), décrit dans le détail la théorie des ensembles de Zermelo-Fraenkel avec axiome du choix (ZFC) et montre comment les concepts mathématiques usuels peuvent être reformalisés à l'intérieur de ce système. La Partie C (Chapitres 14 à 18) est consacrée à une étude un peu plus fine des modèles de ZFC. Après une brève incursion dans le monde de la logique du premier ordre, on dit un mot des théorèmes d'incomplétude de Gödel, puis on présente les modèles les plus généraux de la théorie, avant de définir l'univers des ensembles constructibles de Gödel, qui nous permettra de démontrer la consistance relative de l'axiome du choix et de l'hypothèse généralisée du continu. Dans la Partie D (Chapitres 19 à 21), on présente la méthode du forcing de Cohen, suivie de quelques applications fondamentales, les plus célèbres étant l'indépendance de ces deux propositions par rapport à la théorie ZF. On montre au passage que l'hypothèse du continu est loin d'être une fatalité, et que d'autres axiomes tout aussi naturels permettent d'avoir une vision globale tout à fait pertinente du monde des ensembles. La Partie E (Chapitres 22 à 25) s'intéresse à des domaines initialement connexes qui ont fini par s'intégrer à part entière dans la théorie des ensembles. On commence par un exposé très condensé de la théorie descriptive des ensembles et d'un certain nombre de principes combinatoires, dont la théorie de Ramsey en dimension finie et en dimension infinie, puis viennent deux gros chapitres consacrés à des études qui, comme l'indique le titre, vont "au-delà de ZFC". Le Chapitre 24 présente un exposé aussi exhaustif que possible de la hiérarchie des grands cardinaux, qui consiste en une liste, pour ainsi dire ordonnée linéairement, d'hypothèses qui sont toutes strictement plus fortes que ZFC. Enfin, le Chapitre 25 consiste en un survol rapide d'un certain nombre de théories alternatives à ZFC (Morse-Kelley, Gödel-Bernays-von Neumann, théorie des types de Russel, ZFA, théorie des hyperensembles, NFU et bien d'autres), ainsi qu'en une étude assez personnelle sur la pertinence de chacune de ces théories.

Un index historique situé à la fin de l'ouvrage permettra de repérer les grands moments de l'histoire de la théorie des ensembles. On a par ailleurs jugé utile de présenter dans un chapitre préliminaire un panel des différents types de raisonnements utilisés dans la pratique mathématique courante.

Toute remarque ou suggestion sera la bienvenue.

• Partie A : Insuffisance de la théorie naïve - Prérequis de logique élémentaire
  • Chap. 0 : Introduction générale - Le raisonnement mathématique
  • Avertissement au lecteur
  • Chap. 1 : Notion d'ensemble - La théorie naïve
  • Chap. 2 : Première approche naïve de l'infini
  • Chap. 3 : Les premières difficultés de la méthode axiomatique
  • Chap. 4 : Le cadre général - Vocabulaire de la logique
• Partie B : La théorie basique des ensembles
  • Chap. 5 : Le système Z fini - Notion d'ordinal
  • Chap. 6 : Le système de Zermelo Z* - L'ensemble des nombres entiers naturels
  • Chap. 7 : Les ensembles de nombres ℤ, ℚ, ℝ, ℂ
  • Chap. 8 : Le système de Zermelo-Fraenkel ZF* - Arithmétique ordinale - Topologie sur les ordinaux
  • Chap. 9 : Cardinaux
  • Chap. 10 : Diverses variantes de l'axiome du choix - Applications classiques
  • Chap. 11 : Filtres - Ultrafiltres - Compacité
  • Chap. 12 : La hiérarchie des cardinaux infinis sous AC
  • Chap. 13 : La hiérarchie cumulative - L'axiome de fondation - Le système ZFC - Le schéma de réflexion
• Partie C : Logique avancée - Modèles de ZFC - Modèles intérieurs
  • Chap. 14 : Les théorèmes de complétude et de compacité
  • Chap. 15 : Les théorèmes d'incomplétude de Gödel
  • Chap. 16 : Les modèles de ZFC - Hypothèses strictement plus fortes que ZFC - Cardinaux fortement inaccessibles
  • Chap. 17 : Notions techniques - Complexité des formules - Absoluité - Le collapse de Mostowski
  • Chap. 18 : L'univers des ensembles constructibles de Gödel
• Partie D - Le forcing de Cohen - Applications diverses
  • Chap. 19 : Forcing
  • Chap. 20 : Forcing itéré
  • Chap. 21 : L'axiome de Martin
• Partie E : Au-delà de ZFC
  • Chap. 22 : Théorie descriptive des ensembles
  • Chap. 23 : Quelques principes combinatoires
  • Chap. 24 : La hiérarchie des grands cardinaux
  • Chap. 25 : Quelques théories alternatives
• Annexes
• Index historique
• Bibliographie