Les projets
Course de robots avec une interface cerveau-machine
Tu as déjà rêvé de contrôler un robot rien qu'en pensant ? C'est ton moment !
Une interface cerveau-ordinateur (en anglais BCI - brain computer interface) utilise l'activité cérébrale mesurée par un électro-encéphalogramme pour extraire des commandes pouvant être transmises à un ordinateur via l'Intelligence Artificielle.
Pendant le hackathon, notre projet consistera à connecter plusieurs BCI à des robots pour organiser une course de robots contrôlée uniquement par la force de notre activité cérébrale.
Contact : david.trocellier (arobase) inria.fr
"Sonifier" les perceptions et les actions des robots
What is it like to be a bat? (lien vers la vidéo expliquant l'expérience de pensée) "Qu'est-ce que cela fait d'être une chauve-souris ?" ... ou question plus d'actualité : "What is it like to be ChatGPT?"
Quel est la différence entre ChatGPT et une chauve-souris ? On pense qu'une chauve-souris avec son écholocalisation est très différente de nous et que ChatGPT est plus proche car il imite notre langue ... mais il n'a pas de perceptions ... alors qu'une chauve-souris si !
Un robot aussi a des perceptions ! L'idée du projet est de rendre visible (sous forme de sons) les perceptions et les actions d'un robot, afin de mieux se mettre dans sa peau ! Savoir quand un robot perd l'équilibre est très compliqué. Grâce à la sonification on pourrait par exemple "entendre" lorsqu'un robot va bientôt chuter et ainsi corriger le tir !
Pistes potentielles : Ossia, Faust, Librosa, ...
Contact : xavier.hinaut (arobase) inria.fr
Découverte assistée par la curiosité en intelligence et vie artificielle
1024_1024.mp4Exemple de simulation en Vie Artificielle. Plus d'info
Image générée à partir de texte par Stable Diffusion
Un Ergo-Robot dessinant sur une feuille de papier (robot disponible pendant le hackathon)
Quelles sont les conditions ayant pu permettre l'émergence de la vie et de l'intelligence sur notre planète, ou ailleurs dans l'univers ? Cette question fascinante est en général abordée par des méthodes issues de la biologie, des sciences cognitives ou de la physique-chimie. Mais les machines ont certainement également leur mot à dire ...
Imaginez que vous soyiez dotés de super-pouvoirs vous permettant de pouvoir modifier à votre guise les lois physiques et la composition chimique de la planète Terre avant l'apparition de la vie, et que vous puissiez accélérer le temps pour pouvoir en observer les conséquences à long terme. Serez-vous à même de découvrir dans quelles conditions la vie et l'intelligence peuvent émerger à partir de ce substrat physique ?
Ce scénario parait être issu d'un livre de science-fiction et pourtant ... certaines méthodes informatiques peuvent permettre de s'en rapprocher. Un champ de recherche scientifique appelé "Vie Artificielle" s'intéresse justement à implémenter des programmes informatiques cherchant à simuler des mécanismes émergents et d'observer comment des macro-structures, analogues à de petits organismes vivants, peuvent s'auto-organiser à partir de règles simples, analogues à des lois physiques.
Dans ce projet, nous proposons d'utiliser la version beta d'un logiciel développé par l'équipe Flowers à Inria Bordeaux, appelé Automated Discovery Tool (adtool). Il fournit des outils pour assister et automatiser la découverte de phénomènes émergents dans des systèmes complexes, en s'aidant d'algorithmes de curiosité artificielle pour faciliter leur exploration. Nous utilisons par exemple ce type de méthodes pour explorer l'émergence de créatures artificielles à partir d'une soupe primitive simulée.
Le projet cherchera à interfacer ce logiciel avec un ou deux systèmes intéressants pour explorer l'étendue de leurs possibilités, par exemple (voir illustrations de ces systèmes sur la gauche) :
Des automates cellulaires, qui simulent comment des macro-structures complexes peuvent émerger, par auto-organisation, à partir de règles locales simples.
Des systèmes de générations d'images tels que Stable Diffusion, pour explorer l'espace des images pouvant être générées.
Des robots créatifs tel que l'Ergo Robot, par exemple pour explorer l'espace des dessins qui peuvent réaliser par un bras robotique muni d'un stylo.
Nous sommes bien sûr ouvert pour explorer d'autres types de systèmes. Vous avez des idées ? Ou des questions ? Contactez nous !
Contact : Jesse Lin & Clément Moulin-Frier. {prenom}.{nom}@inria.fr
Contrôle d'un réseau de neurones génératif musical
Le projet ReMi repousse les limites de la création musicale grâce aux nouvelles technologies d’intelligence artificielle. Il est le fruit de la collaboration entre des scientifiques et développeurs/développeuses d’horizons divers mais complémentaires : les neurosciences, l’IA et la production musicale. En intégrant des réservoirs de neurones artificiels dans une suite de plug-ins novatrice, nous offrons une expérience d’exploration artistique inédite, tout en veillant à la rendre accessible grâce à des retours sonores et visuels intuitifs. Librement, vous ajustez les paramètres et observez l’influence sur la dynamique du réseau et la génération sonore en temps réel. L’utilisation des réservoirs comme alternative au deep learning permet également de rendre le projet plus respectueux de l’environnement et de vos données personnelles. ReMi, c’est l’union raisonnée de la science et de l’art qui redéfinit la façon de concevoir la musique.
Contact : Hugo Chateau-Laurent {prenom}.{nom}@inria.fr
Github du projet créé pendant le week-end :
Aidez un robot à trouver son chemin
Comment modéliser de manière minimaliste et constructive le comportement observable apparemment complexe (et intelligent) d'un animal ? C'est le principe qui sous-tend le projet que nous proposons. En s'inspirant de l'idée du véhicule de Braitenberg (https://en.m.wikipedia.org/wiki/Braitenberg_vehicle), la première étape consiste à contrôler simplement le mouvement du robot (éviter les obstacles) en utilisant uniquement ses capteurs. Dans la deuxième partie, nous proposons d'utiliser une architecture de calcul à réservoir pour faire tracer au robot un motif en forme de huit dans un labyrinthe. Dès le départ, il semble que le robot dispose d'une "mémoire de travail" qui oriente son choix à chaque point du bras central, en fonction du choix qu'il a fait la dernière fois qu'il s'est trouvé à la même position.
Contact : Snigdha Dagar & Nicolas Rougier {prenom}.{nom}@inria.fr
RSK (robot soccer kit)
Avez vous déjà vu un robot qui marque des buts?
RSK (robot soccer kit) est un kit éducatif, facile à prendre en main permettant de programmer facilement des robots pour qu’ils jouent au foot de manière autonome. Ces petits joueurs sont capable de se repérer dans leur environnement grâce à une caméra fixée au dessus du terrain. Des déplacements peuvent alors être programmés pour amener le robot vers la balle. Ils ont ensuite la capacité de taper la balle avec le « kicker ».
Et si on tentait avec un autre sport?
Le projet serait de les convertir en joueur de billard ou de golf et de mener à bien un match entier. En utilisant la détection des placements des robots sur le terrain par la caméra, et le kicker à l’avant du robot, il serait possible d’appliquer ces fonctionnalités à de nouvelles mécaniques de jeu, mais ça sera à vous de le faire !
Contact : Cyprien Brocaire & Olivier Ly {prenom}.{nom}@u-bordeaux.fr
Modèle de Langage pour Reachy
Les LLM (Large Language Model) permettent de communiquer avec un ordinateur en utilisant du langage naturel. Ces réseaux de neurones ouvrent de nouvelles perspectives passionnantes dans le domaine de l’interaction Homme-Machine.
Notre objectif est d’entraîner notre propre LLM via l’API d’OpenAI, permettant ainsi au robot Reachy de Pollen Robotics de mener de véritables conversations avec ses utilisateurs. Imaginez pouvoir interagir directement avec un robot sans passer une seule fois par un clavier !
On pourrait aussi éventuellement exprimer le ton de la conversation par le mouvement des antennes de Reachy qui pourrait ainsi exprimer ses émotions par le langage corporel.
On pourra utiliser le modèle en jouant avec Reachy pour improviser des punchlines, jouer à ni oui ni non, faire deviner un mot … Il y a le choix !
Contact : geoffroy.keime (arobase) ensea.fr