La théorie moderne des ensembles est née dans les années 1870, suite aux travaux de Georg Cantor sur le problème des ensembles exceptionnels. Après des débuts difficiles (ce qu’on appelle les premiers balbutiements, ou aussi la crise des fondements), elle a connu un essor rapide, au début du vingtième siècle, d’abord avec le programme de Hilbert (1900), puis avec les diverses tentatives d’axiomatisation qui ont fini par aboutir à l’axiomatique de Zermelo-Fraenkel telle qu’on la pratique encore aujourd’hui (1926) et enfin avec les travaux de Kurt Gödel (1930 : le théorème de complétude, 1931 : les théorèmes d’incomplétude, 1938 : consistance de l’axiome du choix et de l’hypothèse généralisée du continu avec le reste de la théorie).
Toutefois, l’évènement le plus marquant du siècle dernier est la découverte en 1963, par Paul Cohen, de la méthode du forcing, qui a conduit à la preuve de l’indépendance (ou, si on préfère, de l’indécidabilité) de l’hypothèse du continu. Cette révolution a ouvert depuis lors des horizons immenses, diverses branches de la théorie venant s’imbriquer les unes dans les autres : technique des modèles intérieurs, forcing, théorie descriptive des ensembles, grands cardinaux. Aujourd’hui plus personne n’ose nier l’importance de la théorie des ensembles au sein de l’édifice mathématique. La plupart des mathématiciens travaillent dans le système ZF, ou dans un système alternatif plus ou moins équivalent, et même la véracité du célèbre théorème de Fermat-Wiles, dont la démonstration a finalement été publiée en 1997, repose sur la non-contradiction de ce système (en fait d’un système légèrement plus fort que ZF).
La théorie des ensembles a des répercussions dans des domaines très divers et a connu ces vingt dernières années un relent d’activité, notamment avec les travaux de Hugh Woodin sur l’hypothèse du continu. Bizarrement, elle est assez peu enseignée en France. Il y a à cela plusieurs raisons. D’abord, il semblerait que beaucoup d’étudiants, et aussi d’enseignants, sachent se contenter de la pratique mathématique usuelle des ensembles (ce qu’on appelle la théorie naïve des ensembles). Tout le monde sait manipuler les concepts traditionnels de réunion, d’intersection, de produit cartésien, prise de parties et différentes notions d’infini, mais sans forcément chercher à rentrer dans les détails. Tout étudiant en L3 doit savoir confusément qu’il existe en mathématiques des propositions indécidables, et en particulier qu’il est difficile de savoir s’il existe ou non un sous-ensemble de R de cardinal strictement compris entre le dénombrable et le continu, mais peu d’entre eux ont l’occasion d’en apprendre davantage sur ces questions épineuses.
La deuxième raison de cette carence est qu’une certaine mode héritée du siècle précédent veut qu’on ne cherche à investir que dans des études qui mènent à de vraies applications pratiques, et il est vrai que la théorie des ensembles, même si elle a des répercussions dans de nombreux domaines, reste un outil théorique pouvant même sembler parfois rébarbatif au jeune mathématicien néophyte. Il est clair qu’au moment du choix de son orientation, un étudiant en M2, parfois victime du système, aura beaucoup plus de perspectives d’avenir s’il se lance dans des études d’analyse ou de mathématiques appliquées (par exemple à la finance ou à l’informatique) que dans un cursus de théorie des ensembles. Tout est affaire de crédits d’enseignement et de recherche, et de nos jours un labo de logique a bien du mal à survivre, sauf s’il accepte d’orienter ses recherches en direction de domaines "branchés" comme l’informatique théorique ou la complexité algorithmique.
Enfin, et c’est là que semble se situer le noeud du problème, l’étude fine de la théorie axiomatique des ensembles nécessite un certain background en logique mathématique, qui hélas ne fait pas partie de l’héritage de la plupart des étudiants. La faute en incombe probablement au célèbre groupe Bourbaki, qui considérait la logique comme une science "à part", beaucoup plus proche selon lui de la philosophie que des mathématiques. Si on veut faire de la théorie axiomatique des ensembles à un niveau correct, il faut maîtriser un certain nombre d’outils de logique élémentaire, parmi lesquels le calcul des prédicats du premier ordre, qui comporte des théorèmes difficiles (complétude, compacité, Löwenheim-Skolem) demandant un minimum d’efforts d’assimilation. Et malheureusement, la plupart des ouvrages académiques (le plus souvent en langue anglaise) supposent ce background plus ou moins connu du lecteur, ou dans le meilleur des cas rappellent l’énoncé des principaux théorèmes de logique avant de les appliquer à des situations généralement difficiles.
Ce cours se veut une introduction à la théorie des ensembles et aux diverses ramifications qui y sont désormais rattachées de façon naturelle. Le but est certes de présenter un aperçu aussi large que possible, mais aussi, dans un premier temps, de montrer comment cette théorie axiomatique simple peut servir de fondement à la quasi-totalité de l’édifice mathématique. Le système d’axiomatisation choisi est celui de Zermelo-Fraenkel, même si on sera amené à parler, à la fin de l’ouvrage, d’un certain nombre de théories alternatives. Il est bien entendu hors de question de prétendre à une quelconque forme d’exhaustivité (des références bibliographiques seront données dans ce sens), mais on va chercher au contraire à privilégier l’aspect pédagogique. Le point de vue adopté ici est de n’introduire les outils nécessaires (surtout les plus difficiles d’entre eux) que lorsqu’on en a réellement besoin. Par exemple, le Chapitre 4, consacré aux préliminaires de logique, ne fera qu’esquisser le cadre formel dans lequel on va travailler en théorie des ensembles, le but essentiel de ce chapitre étant de savoir ce qu’est une formule du calcul des prédicats. Les questions de logique plus délicates, nécessaires à l’étude des modèles de ZFC, seront, elles, examinées aux Chapitres 14 et 15.
En dehors de quelques remarques ou exemples faisant appel à des connaissances mathématiques extérieures à la théorie des ensembles, ce cours se veut pour ainsi dire self-contained. On suppose simplement le lecteur familiarisé avec les raisonnements et pratiques mathématiques usuels (déduction logique, raisonnement par l’absurde, raisonnement par récurrence). Les définitions et principaux théorèmes utiles en arithmétique élémentaire sont rappelés au Chapitre 6, ceux concernant l’algèbre et la topologie générale sont distillés au fur et à mesure des besoins. Il est assez difficile de dire avec précision quel est le niveau minimal requis pour pouvoir aborder ce cours avec profit, mais il semblerait en première approximation qu’un niveau correct de L3 suffise à en appréhender l’essentiel.
L’exposé a été décomposé en six parties ABCDEF. La partie A, constituée des Chapitres 1 à 4, présente de façon informelle la théorie naïve des ensembles et montre la nécessité de la méthode axiomatique. Un gros chapitre est consacré aux préliminaires de logique, indispensables à la mise en forme d’une démarche axiomatique. La Partie B (Chapitres 5 à 13), décrit dans le détail la théorie des ensembles de Zermelo-Fraenkel avec axiome du choix (ZFC) et montre comment les concepts mathématiques usuels peuvent être reformalisés à l’intérieur de ce système. La Partie C (Chapitres 14 à 18) est consacrée à une étude un peu plus fine des modèles de ZFC. Après une brève incursion dans le monde de la logique du premier ordre, on dit un mot des théorèmes d’incomplétude de Gödel, puis on présente les modèles les plus généraux de la théorie, avant de définir l’univers des ensembles constructibles de Gödel, qui nous permettra de démontrer la consistance relative de l’axiome du choix et de l’hypothèse généralisée du continu. Dans la Partie D (Chapitres 19 à 22), on commence par étudier un certain nombre de principes combinatoires, dont les théorèmes de Ramsey, l’axiome de Martin et le principe diamant ♢. Puis on présente la méthode du forcing de Cohen, suivie de quelques applications fondamentales, les plus célèbres étant l’indépendance de l’hypothèse du continu par rapport à la théorie ZFC, et de l’axiome du choix par rapport à ZF. On montre au passage que l’hypothèse du continu est loin d’être une fatalité, et que d’autres axiomes tout aussi naturels permettent d’avoir une vision globale tout à fait pertinente du monde des ensembles. La Partie E (Chapitres 23 à 25) s’intéresse à des domaines initialement connexes qui ont fini par s’intégrer à part entière dans la théorie des ensembles. On commence par un exposé très condensé de la théorie descriptive des ensembles, puis viennent deux gros chapitres consacrés à des études qui, comme l’indique le titre, vont "au-delà de ZFC". Les Chapitres 24 et 25 présentent un exposé aussi exhaustif que possible de la hiérarchie des grands cardinaux, qui consiste en une liste, pour ainsi dire ordonnée linéairement, d’hypothèses qui sont toutes strictement plus fortes que ZFC. Enfin, la Partie F (Chapitres 26 à 32) consiste en un survol rapide d’un certain nombre de théories alternatives à ZFC, parmi lesquelles figurent la théorie des types de Russell, NF, Gödel-Bernays-von Neumann, Morse-Kelley, ZFA, NFU, Positive Set Theory GPK et ses variantes, la théorie des hyperensembles et bien d’autres, ainsi qu’en une étude assez personnelle sur la pertinence de chacune de ces théories.
Un index historique situé à la fin de l’ouvrage permettra de repérer les grands moments de l’histoire de la théorie des ensembles. On a par ailleurs jugé utile de présenter dans un chapitre préliminaire un panel des différents types de raisonnements utilisés dans la pratique mathématique courante.
Toute remarque ou suggestion sera la bienvenue.
Chap. 0 : Introduction générale - Le raisonnement mathématique
Avertissement au lecteur
Partie A : Insuffisance de la théorie naïve - Prérequis de logique élémentaire
Introduction à la Partie A
Chap. 1 : Notion d'ensemble - La théorie naïve
Chap. 2 : Première approche naïve de l'infini
Chap. 3 : Les premières difficultés de la méthode axiomatique
Chap. 4 : Le cadre général - Vocabulaire de la logique
Partie B : La théorie basique des ensembles
Introduction à la Partie B
Chap. 5 : Le système Z fini - Notion d'ordinal
Chap. 6 : Le système de Zermelo Z* - L'ensemble des nombres entiers naturels
Chap. 7 : Les ensembles de nombres ℤ, ℚ, ℝ, ℂ
Chap. 8 : Le système de Zermelo-Fraenkel ZF* - Arithmétique ordinale - Topologie sur les ordinaux
Chap. 9 : Cardinaux
Chap. 10 : Diverses variantes de l'axiome du choix - Applications classiques
Chap. 11 : Filtres - Ultrafiltres - Compacité
Chap. 12 : La hiérarchie des cardinaux infinis sous AC
Chap. 13 : La hiérarchie cumulative - L'axiome de fondation - Le système ZFC - Le schéma de réflexion
Partie C : Logique avancée - Modèles de ZFC - Modèles intérieurs
Introduction à la Partie C
Chap. 14 : Les théorèmes de complétude et de compacité
Chap. 15 : Les théorèmes d'incomplétude de Gödel
Chap. 16 : Les modèles de ZFC - Hypothèses strictement plus fortes que ZFC - Cardinaux fortement inaccessibles
Chap. 17 : Notions techniques - Complexité des formules - Absoluité - Le collapse de Mostowski
Chap. 18 : L'univers des ensembles constructibles de Gödel
Partie D : Combinatoire et forcing - Applications diverses
Introduction à la partie D
Chap. 19 : Quelques principes combinatoires
Chap. 20 : La machinerie du forcing - Applications à des preuves d'indépendance
Chap. 21 : Forcing itéré - Consistance de l'axiome de Martin
Chap. 22 : Forcing propre - Les axiomes de forcing - Quelques applications de PFA
Partie E : Au-delà de ZFC
Introduction à la Partie E
Chap. 23 : Théorie descriptive des ensembles
Chap. 24 : Grands cardinaux : Les idées fondatrices
Chap. 25 : Grands cardinaux : La hiérarchie des hypothèses strictement plus fortes que ZFC
Partie F : Quelques théories alternatives
Introduction à la Partie F
Chap. 26 : Des théories des ensembles et des théories des classes, 1870-1955
Chap. 27 : Deux curiosités, et une théorie monstrueuse avec un ensemble universel, 1959-1969
Chap. 28 : Intuitionnisme, ensemble universel, théories positives, 1973-1976
Chap. 29 : De l'analyse non standard et de la philosophie, 1977-1979
Chap. 30 : Une émergence de théories, 1985-2015
Chap. 31 : Quelques théories inclassables
Chap. 32 : Conclusion générale
Annexe 1 : Le théorème de Lindström
Annexe 2 : La fonction d'Ackermann
Annexe 3 : Une vision alternative de l'infini
Annexe 4 : Théorie des ensembles flous
Annexe 5 : La rubrique Divertissements
Index historique (en cours d'écriture)
Bibliographie (en cours d'écriture)