Activités de Recherche

Activités et Projet de Recherche : Apprendre à Apprendre

Explicitation de l'ensemble des biais permettant d'apprendre à apprendre et tenter de poser un cadre pour le passage de l'IA restreinte à l'IA générale.

Mon domaine de recherche est l'intelligence artificielle. Après avoir travaillé sur le diagnostic de systèmes dynamiques, les problèmes de satisfaction de contraintes, le raisonnement spatio-temporel, le traitement de séquences, l'apprentissage symbolique, la complexité des algorithmes d'apprentissage et la modélisation de systèmes complexes, mes activités de recherche actuelle se concentrent sur le métaapprentissage (ou "comment apprendre à apprendre") et les interactions avec l'environnement notamment  à travers les applications de l'internet des objets. 

En plus des problématiques habituelles liées au choix de meilleures hypothèses qui représentent au mieux les exemples d'apprentissage, cette famille d'applications impose de nouveaux paradigmes d'apprentissage automatique qui doivent inclure la modélisation à la fois des données, des structures des espaces d'hypothèses, des fonctions d'évaluation, de l'adaptation, du renforcement, du transfert, de l'applicabilité, de l'interprétabilité des résultats et des décisions, de l'incrémentalité de l'apprentissage, de la quantification des méthodes utilisées pour apprendre en plus de la quantification liée aux données, etc.

La prise en compte de ces problèmes doit être structurée et doit permettre la définition d'un cadre général dans lequel il serait possible de quantifier l'apport de chaque composante, de définir les interdépendances et l'interopérabilité entre toutes les composantes intervenant dans le processus d'apprentissage. L'objectif principal est de définir un système apprenant intelligent capable : d'apprendre plusieurs catégories de concepts à la fois, d'évaluer la valeur des connaissances nouvelles vis-à-vis de toute la chaine d'apprentissage, de définir le processus d'intégration dans le schéma général de l'apprentissage, de les intégrer et d'évaluer l'apport global par rapport à l'ensemble des connaissances de l'apprenant pour garantir notamment une monotonie de l'apprentissage de l'apprenant. Ce travail nécessite un cadre plus général et complexe à définir. 

Mes activités de recherche tente de construire un tel système. Pour y parvenir, je suis une démarche constructive "bottom-up". Elle consiste à définir des modèles pour résoudre des problèmes simples et de construire progressivement une architecture générale modélisant, en particulier, pour chaque problématique traitée, les hyperparamètres de toute la chaine de l'apprentissage ainsi que leurs dépendances. Dans cette démarche, je m'appuie sur deux approches complémentaires : l'approche de la théorie statistique de l'apprentissage, en particulier, les derniers travaux sur la théorie complète de l'apprentissage proposée par Vapnik en 2019 et d'approche par des méthodes de modélisation de structures complexes pour compléter les limites des modèles théoriques. 

Pour donner un exemple, la théorie complète de l'apprentissage proposée par Vapnik, ces dernières années, met en lumière l'apport de la minimisation du risque structurel sur la qualité de l'apprentissage et la minimisation du nombre d'exemples nécessaires pour apprendre à travers le concept de prédicats. Ce travail théorique effectué dans un cadre particulier, mais suffisamment large (l'espace de Hilbert à noyaux reproduisant), permet de conclure que la définition de bons prédicats structure mieux l'espace de recherche et converge plus rapidement. Cependant, même si ce cadre montre, sans ambiguïté, l'apport des prédicats bien choisis, il ne donne aucun  moyen pour les trouver. Nous travaillons sur l'extension de ce modèle par la  structuration des connaissances a priori facilitant ainsi la définition de certains prédicats et des propriétés les caractérisant. En fonction du type de problème, ses connaissances a priori s'expriment sous forme de modèles équationnels, de propriétés d'invariance et d'équivariance, de définition d'ontologies du domaine, etc. 

Parmi les problèmes auxquels je m'intéresse , dans ce cadre :

• Les données : considérées habituellement comme indubitable, elles sont rarement des faits.  C'est, en général, le résultat d'un processus non pertinent ou inaccessible pour le problème considéré. Par exemple, pour calculer l’accélération d’un individu, en prenant uniquement les données issues du smartphone qu’il tient dans sa main. Le résultat est entaché d’au moins deux types d’incertitude, le premier est lié à la fonction de transfert du capteur qui ensuite calcule une valeur unique à partir des trois axes, le deuxième est lié à la relativité des données issues de la main par rapport à l’accélération du corps entier. Pourtant, beaucoup utilisent ces données de manière brute et en cas d’échec de l’apprentissage, cet échec est attribué exclusivement et donc injustement à l’algorithme utilisé. C’est ce type de problème que l’on traite à tous les niveaux. On s'intéresse aux divers biais liés aux données via la modélisation des métadonnées, à la relativité des données, à leur représentativité, au langage utilisé pour les décrire (symbolique, numérique), etc.

• Aux propriétés intrinsèques du problème et à la structure des solutions disponibles pour le résoudre. 

• A la structure des espaces de recherche incluant la recherche d'un bon langage de représentation, l'intégration de la connaissance a priori comme les invariants et les équivariants à travers certains prédicats issus de la connaissance du domaine, etc.

• L'étude de l'apprentissage dans les cas distribués. Beaucoup de modèles existent comme l'ensemble learning, federated learning. Dans notre cas, on s'intéresse aux cas de collectivités d'apprenants ou chacun à une représentation indépendante du monde via sa propre théorie qui répond à ses besoins locaux et une partie de la théorie partagée avec les autres membres de la communauté qui doit être cohérente avec eux. Dans l'un des travaux que nous avons réalisé, nous avons appelé la deuxième composante de l'apprentissage composante universelle. Cette dernière doit être cohérente avec les autres, alors que la composante locale reste indépendante. Ce principe permet de faire coexister des théories incohérentes globalement, mais compatible pour construire une communauté d'apprenants.

• La modélisation de la plupart des biais incluant les biais de la représentation (langage), environnement , par exemple, les biais de la segmentation, évolution, segmentation, etc. Par exemple, pour le cas de la segmentation, je traite ce problème comme un problème de décomposition des données nécessitant une phase de décomposition, une phase de résolution et une phase de reconstruction de la solution permettant ainsi d'inclure le processus de segmentation dans l'évaluation globale du problème d'apprentissage.

• L'évaluation. L'évaluation est très certainement l'un des problèmes les plus compliqués à définir pour les problèmes de métaapprentissage. Ce problème est relativement bien identifié dans le cas de l'apprentissage à partir des exemples. Il s'agit, en général, de minimiser la perte, à travers une distance, de choisir une théorie représentative des données (une fonction, une formule logique, etc.) à partir d'un espace d'hypothèses connu.  Dans le cas du métaapprentissage, cette quantification doit être faite pour toutes les composantes introduisant un biais dans le processus d'apprentissage. Celles-ci incluent les algorithmes d'apprentissage, les données, la structure de l'espace de recherche, l'architecture générale utilisée. Nous avons, par exemple, étudié cette problématique dans le cas de l'évaluation des données séquentielles liées au COVID ou nous avons montré la difficulté de définir une fonction d'évaluation de la qualité des résultats pour résoudre un besoin bien exprimé.