Aller au contenu principal

Romain Xu-Darme

Algorithmes et métriques d'évaluation pour la confiance dans les systèmes utilisant l'apprentissage machine : application à la reconnaissance visuelle d'objets

Mercredi 29 Novembre 2023

Résumé:
   
L’intégration des algorithmes décisionnaires utilisant des réseaux de neurones dits « profonds » dans des applications à haut risques - tels que la santé ou l’automobile - dépend de leur capacité à susciter la confiance de l’utilisateur en leur décision, un enjeu majeur au centre de cette thèse. Plus précisement, ce travail porte sur trois propriétés qui conditionnent la confiance dans les modèles issus de l’apprentissage machine : la performance du modèle - sa capacité à accomplir la tâche demandée ; sa capacité à évaluer le niveau d’incertitude de sa décision ; et enfin son explicabilité, qui caractérise le niveau d’interaction possible entre l’utilisateur et le modèle en vue
d’obtenir des informations concernant son fonctionnement. Cette explicabilité est soit inhérente au modèle (modèle dit « explicable par construction »), ou bien le fruit de méthodes d’explications a posteriori - qui tentent d’expliquer le comportement d’un modèle préexistant. Dans le contexte d’applications de vision par ordinateur, les modèles explicables par construction cherchent tout d’abord à extraire une représentation intermédiaire de l’image, composée de variables sémantiques, puis bâtissent leur décision sur la base de ces variables selon un processus transparent pour l’utilisateur. Notre thèse démontre cependant certaines limites dans les représentations intermédiaires des modèles de l’état de l’art. Par conséquent, dans le but d’améliorer la qualité de cette représentation intermédiaire, notre première contribution porte sur la proposition d’un nouvel algorithme - appelé PARTICUL - pour la détection non supervisée de parties d’objets dans un ensemble d’images. Cet algorithme est enrichi d’une mesure d’incertitude qui sert également à inférer la visibilité de chaque partie. Enfin, l’explicabilité d’un modèle dépend également de la qualité de la méthode d’explication choisie, qualité qui est évaluée - à l’aide de métriques dédiées - selon plusieurs critères couvrant à la fois le fond et la forme de l’explication. Notre thèse démontre non seulement que certaines métriques existantes n’évaluent qu’imparfaitement le critère auquel elles sont associées - métriques pour lesquelles nous proposons des alternatives - mais également que dans le
cas d’un modèle complexe, ces critères correspondent en réalité à des attentes contradictoires de la part de l’utilisateur, de sorte qu’aucune méthode ne peut satisfaire simultanément à tous ces critères et est, de fait, le résultat d’un compromis. Ce constat nous pousse ainsi à réaffirmer l’importance primordiale de l’exactitude de l’information avant tout, afin que l’utilisateur puisse prendre une décision éclairée lorsqu’il choisit ou non d’accorder sa confiance au modèle.

Date et Lieu

Mercredi 29 novembre 2023 à 14:00
Bâtiment IMAG, salle 306

Composition du Jury

Georges QUENOT
Directeur de recherche, CNRS Délégation Alpes (Directeur de thèse)
Sara COLANTONIO
Institute of Information Science and Technologies of the National Research Council of Italy (Rapporteure)
Céline HUDELOT
Professeure, Centrale Supelec (Rapporteure)
Jenny BENOIS-PINEAU
Professeure, Université de Bordeaux (Examinatrice)
Massih-Reza AMINI
Professeur des Universités, Université Grenoble Alpes (Examinateur)
Marie-Christine ROUSSET
Professeure des Universités, Université Grenoble Alpes (Invitée)
Zakaria CHIHANI
Chercheur, CEA (Invité)

Publié le 13 novembre 2023

Mis à jour le 13 novembre 2023