Laboratoire d'Informatique de Grenoble

Abstract :

En raison de la prolifération des dispositifs IoT, le volume de données produites devient difficile à transférer, à stocker et à traiter dans des architectures centralisées à distance. Par conséquent, l’apprentissage automatique dans le Edge a récemment suscité un intérêt considérable. L’objectif est de traiter les données au plus près de leur source. En général, plusieurs agents collaborent via une communication de pair à pair pour optimiser un agrégat de fonctions de perte dont les composants sont répartis sur un réseau connecté. De nombreux algorithmes d’optimisation décentralisés, à la fois des algorithmes avec et sans projection avec des garanties théoriques, ont été proposés dans la littérature, en se concentrant principalement sur des approches offline. Cependant, pour la plupart des problèmes d’apprentissage automatique du monde réel, les données sont souvent révélées de manière online, par exemple, dans le cas des systèmes de recommandation. Par conséquent, nous étudions l’optimisation décentralisée dans des contextes online. Nous proposons des algorithmes de Frank-Wolfe décentralisés en ligne qui utilisent des estimations de gradient stochastiques et qui garantissent un regret asymptotiquement de O(√T),  où T est un horizon temporel donné.