Livre Apprentissage

Apprentissage machine -- Clé de l'intelligence artificielle -- Une introduction pour non spécialistes

Cet ouvrage a été élaboré à partir de cours réalisés par l'auteur pour des étudiants non spécialistes. Son point de départ est constitué de notes de cours écrites par François Denis et Rémi Gilleron à la fin du XX-ème siècle. Ce cours historique est donné ci-après.

Cet ouvrage est une introduction à l'apprentissage machine. Il est rédigé avec la volonté de limiter les connaissances préalables en mathématiques et en informatique au minimum. Il a cependant l'objectif de faire comprendre les fondements de l'apprentissage machine avec ses difficultés et limites pour être un utilisateur averti de méthodes d'apprentissage. Pour cela, l'ouvrage se concentre sur l'apprentissage supervisé à partir d'exemples où le but est d'apprendre une fonction transformant des entrées en des sorties à partir d'un ensemble d'exemples où chaque exemple est constitué d'une entrée et de la sortie attendue. Par exemple, il peut s'agir d'apprendre un programme de diagnostic médical à partir d'un ensemble de patients décrits par des propriétés et dont on connaît le diagnostic. Il peut s'agir aussi d'apprendre un programme de classement d'images à partir d'images dont on connaît la catégorie. Mais aussi, cela peut être apprendre un programme de traduction automatique à partir d'un ensemble de textes dont on connaît la traduction.

Nous définissons l'apprentissage supervisé à partir d'exemples. Nous insistons sur la difficulté liée à l'objectif de bien prédire sur des données non rencontrées pendant l'apprentissage. En effet, un programme appris de classement d'images se doit de bien classer de nouvelles images et pas seulement les images sur lesquelles il a été entraîné. Nous donnons alors les limites liées au choix de représentation des données qui définit l'erreur intrinsèque d'un problème d'apprentissage. Nous montrons que tout système d'apprentissage nécessite un biais d'apprentissage pour être capable de bien classer de nouvelles données. Nous montrons qu'il n'existe pas de meilleur système d'apprentissage. Nous étudions comment, en pratique, évaluer la qualité d'un programme appris lorsqu'on ne dispose que d'un nombre fini d'exemples. Ces connaissances sont essentielles pour une utilisation avertie des systèmes d'apprentissage dans le développement d'applications intelligentes.

Nous présentons ensuite les bases de plusieurs systèmes d'apprentissage fondamentaux. Tout d'abord, nous introduisons les systèmes d'apprentissage par arbres de décision qui permettent d'apprendre des programmes de classement interprétables. Nous introduisons les méthodes d'ensemble qui permettent de combiner, souvent par des méthodes de vote, des programmes appris. Ce chapitre vous permet de comprendre deux systèmes d'apprentissage très performants que sont les forêts aléatoires, "random forests" en anglais, et le "gradient boosting''.

Nous introduisons la séparation linéaire et les algorithmes de séparation linéaire. Ceci nous permet d'introduire la descente de gradient qui est la méthode d'optimisation la plus utilisée en apprentissage machine. Nous introduisons alors les séparateurs à vastes marges (SVMs), "support vector machines" en anglais, dans le cas linéaire. Puis nous présentons le truc du noyau qui permet de définir les SVMs généraux. Les recherches et les études sur les SVMs ont permis des développements théoriques en apprentissage statistique, en particulier avec l'étude des noyaux.

Enfin, nous introduisons les réseaux de neurones, "neural networks" ou "deep networks" en anglais, et présentons les principales architectures ainsi que les principes généraux des algorithmes d'apprentissage de ces réseaux. Les réseaux de neurones sont le système d'apprentissage le plus performant pour traiter des problèmes portant sur des images, des textes ou de la parole.

Nous donnons quelques principes de méthodologie pour résoudre des tâches avec des systèmes d'apprentissage. Nous donnons quelques pointeurs sur les systèmes logiciels principaux. L'ouvrage est accompagné d'exercices simples pour aider à la compréhension des notions introduites.

Les corrections des exercices sont organisées par chapitre et accessibles par le menu de cette page.