Yoann Dupas

Résumé de la thèse : 

L’amélioration de la perception artificielle, et plus particulièrement de la détection des piétons et des véhicules, reste un enjeu majeur pour les systèmes avancés d'aide à la conduite (ADAS) afin de prévenir les accidents, notamment dans des conditions météorologiques défavorables (faible luminosité, pluie, neige ou brouillard). Pour répondre à ces défis, cette thèse mise sur la fusion multimodale d’images issues de capteurs complémentaires (caméras visibles, infrarouges et LiDAR), tout en capitalisant sur la robustesse des approches monomodales existantes sans altérer leur architecture. La première contribution introduit le module MEFA (Multimodal Early Fusion with Attention), qui, par l’intégration d’une attention globale et locale, permet de combiner efficacement les données issues des trois modalités et de générer une image intermédiaire directement exploitable par des détecteurs d’objets monomodaux de pointe (comme YOLO ou RT-DETR) sans nécessiter de réingénierie de leur architecture. Afin de pallier le surcoût computationnel de cette première approche, une deuxième contribution, appelée MEFA-MS a été développée pour concilier précision et latence. Cette approche repose sur une architecture encodeur–décodeur de type U-Net intégrant des mécanismes d’attention spatiale et par canal, ce qui permet de réduire significativement le temps d’inférence tout en maintenant, voire en améliorant, la précision de détection, même dans des conditions complexes telles que la pluie, le brouillard ou la neige. Enfin, des travaux préliminaires explorent l’intégration de mécanismes d’attention multi-tête croisée (MEFA-CMS) afin d’améliorer la robustesse et de mieux gérer le désalignement entre les modalités et renforcer la robustesse de la fusion des caractéristiques. Les expérimentations, réalisées sur la base de données DENSE, démontrent que les différents modules proposés dans cette thèse améliorent notablement la détection, notamment dans des conditions météorologiques difficiles, en améliorant la précision et en offrant un compromis optimal entre performance et rapidité. En somme, cette thèse allie une démarche innovante de fusion précoce avec l’utilisation dynamique de mécanismes d’attention pour adapter les approches monomodales à un contexte multimodal. Les résultats obtenus ouvrent ainsi la voie à des solutions de perception robustes et modulables, répondant aux exigences des systèmes de sécurité routière de prochaine génération et à la mobilité connectée, tout en posant les bases de développements futurs visant à optimiser encore davantage la prise en compte des contraintes temps réel et énergétiques.

Mot clés : 

Détection d’objets, Fusion multimodale, Apprentissage profond, Réseaux de neurones convolutionnels, Mécanismes d’attention, Transformers, Systèmes avancés d’aide à la conduite