Capteurs non-conventionnels en vision Modélisation et vision 3D avec des capteurs non conventionnels (Rolling Shutter, Plénoptiques, Event based)

Vision 3D avec caméras à acquisition spatio-temporelle (Rolling Shutter) 

Ces travaux portent sur la vision 3D avec des caméras à acquisition spatio-temporelle, en particulier les caméras Rolling Shutter, dont les capteurs sont exposés ligne par ligne et peuvent provoquer des distorsions lorsque la caméra ou la scène est en mouvement. Des modèles de projection spatio-temporelle ont été développés pour revisiter les méthodes classiques de vision 3D monoculaire et multi-vues. Ces modèles permettent non seulement d’estimer la pose, mais aussi la vitesse pendant l’acquisition, transformant ainsi une source de distorsion en information exploitable. Les travaux ont également conduit au développement de nouvelles méthodes de Structure-from-Motion, ainsi qu’à des approches de correction de l’effet Rolling Shutter. Cette thématique a donné lieu à 3 thèses de doctorat portant sur la modélisation géométrique (Thèse Ludovic Magerand), la reconstruction 3D (Thèse de Yizhen Lao) et même à l'asservissement de bars robotiques à très grande vitesse (Thèse de Redwane Dahmouche). Publications :(6) , (8), (9), (12), (25), (38), (43)

Vision 3D avec des caméras plénoptiques

Ces travaux portent sur la vision 3D avec des caméras plénoptiques (ou à champ de lumière), capables de capturer en une seule exposition les informations spatiales et angulaires d’une scène grâce à une matrice de micro-lentilles. Les recherches ont conduit à la proposition d’un modèle de projection spécifique, de méthodes de calibrage adaptées et d’une approche de reconstruction 3D à partir d’une seule image plénoptique brute. Dans le cadre de la thèse de Mathieu Labussière (2018–2021), réalisée en co-tutelle avec le Cerema, les travaux se sont concentrés sur la vision 3D en conditions météorologiques difficiles. L’approche exploite l’information de défocalisation pour estimer la profondeur de manière métrique directement à partir des images brutes, en combinant indices de correspondance et de flou. Cette méthode, généralisable à différentes configurations de caméras plénoptiques, dépasse les performances de l’état de l’art et ouvre la voie à leur utilisation dans des applications de vision par ordinateur. Publications : (5), (7), (23)

SLAM visuel avec un capteur event-based panoramique

Projet Européen Seamoves : Ce projet Eureka Euripides, en collaboration avec AIT (Austrian Institute of Technology), Thalès RT et Thalès Optotronique pour un montant total de 12M d’Euros (dont 1M d’Euros pour l’Institut Pascal), avait pour but de développer un système embarqué pour la navigation autonome par vision panoramique. L’idée était l’utilisation d’un imageur linéaire asynchrone bio-inspiré (événementiel) monté sur un système rotatif. L’intérêt de cet imageur développé par l’AIT (Autria Institue of Technology) réside dans sa grande dynamique et sa rapidité (pas de temps d’exposition). Il permet une vision panoramique haute définition et faible distorsion. Le work package dont j’étais responsable portait sur la modélisation géométrique, le calibrage et le SLAM visuel avec ce capteur particulier. Une particularité de ce projet consistait à exploiter les avantages d'un capteurs event-based (vitesse d'acquisition et dynamique) en intégrant le gradient induit par son mouvement de rotation pour créer une image panoramique très haute résolution. Publications : (11)

Perception et cartographie 3D par fusion caméra–radar hyperfréquence

Le projet HypOp (financé par le Centre International de Recherche) porte sur la perception et la cartographie 3D par fusion de données entre caméra optique et radar hyperfréquence (MMW) pour la navigation autonome. L’objectif est d’exploiter la complémentarité de ces capteurs afin d’obtenir une perception robuste dans des environnements où la vision ou le LiDAR sont limités (brouillard, fumée, poussière ou milieux peu structurés). Dans le cadre du projet HypOp du Labex IMobS3, des méthodes de calibrage, de mise en correspondance et de reconstruction 3D ont été développées à partir d’une modélisation géométrique précise du système caméra–radar (Thèse de G. El Natour). Ces travaux ont montré qu’il est possible d’aller au-delà de la simple détection d’obstacles fournie par le radar pour produire une représentation 3D structurée de l’environnement. Les recherches actuelles s’orientent vers l’exploitation de la fusion multimodale par apprentissage automatique afin de réaliser la segmentation sémantique et panoptique de scènes 3D, notamment pour les environnements routiers, agricoles ou ruraux (Thèse d'A. tête-Neuvy). Publications : (13), (27), (29)