Groupe de travail IA

Résumé: Les Tiny Recursion Models sont des modèles de langage basés sur des architectures transformer qui, à l'aide de mécanismes de récursion, permettent d'obtenir des performances comparables à celles de modèles 1000 fois plus gros, sur des problèmes de type combinatoire/mathématique. Ils ont donc fait l'objet d'un intérêt marqué depuis leur introduction il y a quelques mois. Nous essaierons de présenter les mécanismes de base permettant de comprendre le fonctionnement de ces modèles.

Lien vers le repo officiel et une vidéo de présentation

09:30 -10:15 

Jérôme Bosche (UPJV)  :  Utilisation d’un réseau de neurones pour piloter un traitement de chimio-immunothérapie destiné à détruire les cellules tumorales.

Abstract: La littérature récente montre que la modélisation mathématique est essentielle pour optimiser les protocoles de chimio-immunothérapie, dont l’efficacité dépend fortement des doses, de la synchronisation et des interactions thérapeutiques. Divers modèles ont mis en évidence des dynamiques clés du système tumeur–immunité et des stratégies de contrôle optimales ou robustes. Parallèlement, les avancées en contrôle robuste, notamment via les techniques LMI, offrent un cadre unifié pour gérer l’incertitude biologique. Des approches récentes intègrent l’apprentissage profond pour encoder la loi de commande tout en respectant les principes du contrôle optimal. Dans ce contexte, notre travail proposera un procédé de chimio-immunothérapie dont la commande sera assurée par un réseau de neurones, intégré dans un cadre de contrôle robuste.

10:30 - 11:15

Nicolas Boutry (EPITA) :  Relating the contour tree to the tree of shapes

Abstract: Some works have shown these last years that topological data analysis (TDA) and mathematical morphology (MM) are strongly related. Indeed, it has been proven that dynamics, often used to determine seeds to compute watersheds, and the persistence, often used to filter Morse-Smale complexes in TDA, are finally equivalent. It has also been shown that Morse functions, very used in TDA and generally associated with a gradient vector field, are equivalent up to the sign to simplicial stacks used in MM. This allowed us to prove that a combinatorial optimization problem known as the Minimum Spanning Forest (MSF) on the dual graph of a simplicial stack is equivalent to compute the gradient vector field of the corresponding Morse function. Here, we present a new result: the contour tree, also known as Reeb graphs (on simply connected domains) in TDA, is equivalent to the tree of shapes coming from MM (up to a dual cell complex computation). This shows that applications using techniques from TDA could be used in MM and conversely. This new step reinforces the link between TDA and MM.

11:30 - 12:15

Sergei Grudinin (CNRS) :  Deep-learning approaches for EEG signal classification and detection

Abstract: Electroencephalography (EEG) signals contain rich multi-scale information, which is crucial for understanding brain states and has potential applications in diagnosing and advancing drug development. However, extracting meaningful features from raw EEG signals while handling noise and channel variability remains a major challenge. I will present our deep-learning frameworks for multiple applications, ranging from classifying the effects of treatments for various Central Nervous System disorders to diagnosing Parkinson's and Alzheimer's disease and detecting epileptic seizures. I will specifically mention the generalization by training our models on mouse EEGs and testing on human ones.

Résumé:  À l'aide de l'article de blog de Song je vais présenter les modèles génératifs basés sur la diffusion. Au-delà de l'intuition et de la justification pratique, ce sera l'occasion de parler d'équations différentielles stochastiques, de leurs solutions et de leur inversibilité en temps. Si le temps le permet, je parlerai aussi du lien entre solution exacte et solution approchée lors de la résolution numérique de ces équations.

Résumé:  Présentation des IA génératives (modèles de diffusion, GANs, etc...) suivie d'un focus sur trois axes développés autour de cette thématique durant ma thèse : 1. Une application à une problématique de traduction de signaux médicaux (EEG chez le nouveau-né prématuré - MEG fœtale) 2. Une exploration plus théorique autour du transport optimal 3. Une étude sur l'impact des méthodes numériques sur la metric de Negative Log-Likelihood dans les modèles de diffusion

Abstract: Inspired by the Kolmogorov-Arnold representation theorem, Kolmogorov-Arnold Networks (KANs) are promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. Seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs. 

arXiv:2404.19756 

Résumé:  Présentation des IA génératives (modèles de diffusion, GANs, etc...) suivie d'un focus sur trois axes développés autour de cette thématique durant ma thèse : 1. Une application à une problématique de traduction de signaux médicaux (EEG chez le nouveau-né prématuré - MEG fœtale) 2. Une exploration plus théorique autour du transport optimal 3. Une étude sur l'impact des méthodes numériques sur la metric de Negative Log-Likelihood dans les modèles de diffusion

Transparents

Origine du GRPO :  arXiv:2402.03300

Abstract:  We will present an AI-based open source Python library "CayleyPy" which can handle googol-size Cayley graphs and significantly outperforms classical computer algebra systems GAP/SAGE for several tasks. Hundreds conjectures and several results were obtained with its help. Classical group theory tasks e.g. decomposition of the group elements, can be rephrased as standard reinforcement learning tasks, and approached in a similar manner as Google Deepmind's AlphaGo/Zero. We will also give an overview of various recent achievements in "AI for math" emerging field of research.

The talk will be based on:  arXiv:2509.19162,  arXiv:2502.18663,  arXiv:2502.13266. 

Talk slides CayleyPy project

Abstract: Transformers are the essential backbone of today's AI systems. This talk investigates the theoretical mechanisms behind their success in training and adaptation. It will cover their optimization dynamics, domain adaptation, and in-context learning capabilities.

Personal webpage

Vision et discussion de la vidéo d'Andrej Karpathy "Let's build GPT: from scratch, in code, spelled out":

https://www.youtube.com/watch?v=kCc8FmEb1nY

Ressources :

https://github.com/karpathy/nanoGPT