Yannick Malot

Résumé 

Les modèles d’intelligence artificielle (IA) utilisant des réseaux de neurones profonds (Deep Neural Networks, DNN) ont vu leur complexité croître très fortement ces dernières années, et le champ de leurs applications s’élargir considérablement. Cependant, ces modèles nécessitent une phase d’entraînement qui requiert d’importantes ressources informatiques, en tête desquelles de la mémoire et des données d’entraînement. 

En parallèle, le développement de l’internet des objets (Internet of Things, IoT) pose la question du déploiement de solutions d’IA au plus proche du capteur. Ce concept, appelé IA à l’edge, cible des applications telles que l’industrie ou le domaine médical. Les appareils concernés vont typiquement des Micro Controller Units (MCUs) aux smartphones : ils sont peu puissants, et posent des contraintes fortes en termes de consommation d’énergie, d’utilisation de mémoire, et de latence. Les besoins des modèles basés sur des DNN dépassent couramment ces contraintes. L’IA à l’edge pose également un enjeu de confidentialité puisque les données traitées pendant le déploiement peuvent être sensibles. 

Cette thèse s’intéresse à la problématique de l’IA embarquée sous l’angle de la compression des modèles, et étudie des moyens de déployer - et possiblement, d’entraîner - un modèle dans un contexte où les ressources sont très limitées. Cela permet de faire en sorte que le modèle utilise les données localement et d’éviter de les faire transiter vers un serveur, résolvant ainsi le problème de confidentialité. Ce travail couvre des méthodes de compression par quantification de paramètres ainsi que des méthodes algorithmiques pour apprendre un réseau malgré de faibles ressources. Les contributions proposées sont :
• Une analyse comparative de méthodes de compression de modèles par quantification (Quantization Aware Training, QAT) qui visent à diminuer la précision numérique des modèles. Cette analyse suggère que des méthodes simples d’utilisation existent et ne sont pas toujours dépassées par d’autres plus complexes ;
• Une étude du compromis entre la taille d’un modèle et sa précision numérique, à empreinte mémoire constante, suggérant que de grands modèles en faible précision donnent de meilleures performances ;
• Des méthodes pour faire apprendre un modèle sous les contraintes imposées, que ce soit en utilisant les propriétés de matériel dédié utilisant du calcul analogique ou en proposant des astuces algorithmiques pour l’apprentissage, permettant de diviser la mémoire nécessaire à l’apprentissage d’un modèle par au moins dix.