Kihel Kaboubi

La combinaison de l’informatique en bordure de réseau (Edge Computing) et des techniques d’Intelligence Artificielle (IA) offre des perspectives supplémentaires pour créer des
applications innovantes et efficaces pour l’Internet des objets. Les réseaux de neurones convolutifs (CNNs) et les réseaux de neurones profonds sont utilisés dans de nombreuses
applications, en particulier pour l’analyse en temps quasi-réel pour des données telles que des images, des sons ou des vidéos. Pour adresser des problématiques de résilience, de confidentialité
et de réactivité, des modèles souvent volumineux, doivent alors être déployés en inférence sur les devices présents dans le Edge. Cependant, même en ce qui concerne uniquement la phase d’inférence, ces modèles consomment des ressources de mémoire et de calcul importantes qui peuvent être supérieures aux capacités de la plupart des devices du Edge. D’autre part, ces mêmes devices sont
sujets à des pannes et/ou des défauts matériels ce qui impacte négativement leur capacité à constituer une infrastructure digne de confiance. L’état de l’art montre que les solutions actuelles pour adapter l’inférence de modèles conséquents d’IA au Edge sont insuffisantes. Les solutions existantes peuvent effectivement nécessiter une nouvelle phase d'entraînement, la transmission de données vers le cloud et/ou entraîner une dégradation potentiellement significative de la précision.

Pour faire face à ces problèmes, les travaux présentés dans ce manuscrit proposent HyPS (Hybrid Partitioning System), une solution bâtie autour d’une stratégie de partitionnement hybride. Cette stratégie vise à identifier les meilleurs emplacements pour diviser la structure d’un CNN en un ensemble de partitions dont la taille est déterminée pour tenir compte des ressources contraintes des devices du Edge. HyPS permet de répartir, organiser et fiabiliser l’inférence de CNNs sur des devices dont les ressources sont trop contraintes. L’approche proposée a été validée expérimentalement grâce à un prototype permettant une preuve de concept de la stratégie utilisée ainsi que de l’architecture proposée pour HyPS. Plusieurs cas d’usage permettent de montrer l’intérêt de HyPS pour une inférence distribuée, embarquée et fiabilisée de CNNs dans le Edge.