DATAMOVE - Mouvement de données pour le calcul haute performance
Equipe-projet de recherche commune INRIA et CNRS, Grenoble INP, UGA
Responsable : 
Téléphone/Fax : 
04 57 42 15 49
Bâtiment : 

Aujourd'hui les plus grands supercalculateurs (classement du Top500) sont composés de centaines de milliers de coeurs de calcul, atteignant des performances de l'ordre du PetaFlops. Déplacer des données sur de telles machines devient un goulet d'étranglement majeur. La situation devrait empirer avec les machines exaflopiques, les capacités de transferts de données augmentant moins vite que celles de calcul. Les unités de calcul disponibles seront très probablement sous-utilisées, limitées par les capacités de transferts. La hiérarchie mémoire et le stockage sur ces machines devrait changer significativement avec l'avènement des mémoires non volatiles (NVRAM), nécessitant de nouvelles approches pour la gestion des données. Les mouvements de données sont par ailleurs une source importante de consommation d'énergie, et donc une cible pertinente pour améliorer le rendement énergétique des machines.

L'équipe DataMove se consacre à ces enjeux, menant des recherches sur l'optimisation des mouvements de données pour le calcul intensif. DataMove travaille sur quatre axes de recherche :

  • Intégration de l'analyses de données et du calcul intensif
  • Ordonnancement par lot (batch) prenant en compte les mouvements de données
  • Etude empirique des plateformes à grande échelle
  • Prédiction de la disponibilité des ressources.

Le gestionnaire de tâches et de ressources est en charge de l'allocation des ressources lors des demandes d'exécutions par les utilisateurs (quand et où exécuter une application parallèle). L'augmentation du coût des mouvements de données nécessite des politiques d'ordonnancement adaptées capables de prendre en compte l'influence des communications internes à l'application, les I/O ainsi que la congestion liée au trafic généré par les applications concurrentes. Modéliser le comportement des applications, typiquement par des techniques d'apprentissage, pour anticiper l'usage effectif des ressources sur ces architectures est un autre enjeux critique pour améliorer les performances (temps, énergie). L'ordonnanceur doit aussi gérer efficacement les nouveaux types d'applications. Les plateformes haute performance doivent supporter de plus en plus des tâches de traitements intensifs de données en plus des traditionnels calculs de simulation numérique. En particulier, la masse toujours croissante de données générées par les simulations numériques motive une intégration plus poussée entre la simulation et l'analyse de résultats. L'objectif est de réduire le trafic de données et d'accélérer l'analyse des résultats en effectuant le traitement des résultats (compression, indexation, analyse, visualisation, etc.) au plus proche de là ou elles sont créées. Cette approche, appelée analyse in-situ, nécessite de revisiter le workflow traditionnel (calcul en batch puis analyse postmortem). L'application devient un tout incluant la simulation numérique, les traitements in-situ et les I/O, motivant le développement de stratégies d'allocation de ressources adaptées, de nouvelles structures de données et d'algorithmes d'analyse massivement parallèles pour entrelacer efficacement l'exécution des différents composants de l'application et globalement en améliorer les performances.

Pour traiter ces problèmes, nous combinons recherche théorique et développements pratiques en mode agile, pour concevoir des solutions polyvalentes et efficaces répondant aux besoins du domaine d'application. Des algorithmes aux performances prouvées sont développés et expérimentés sur de grandes plateformes et mis en oeuvres dans des contextes d'usages réalistes construits à partir de logs de très grandes machines ou développés avec des utilisateurs d'autres domaines scientifiques. Réciproquement, notre forte expertise expérimentale nous permet d'alimenter les modèles avec des hypothèses réalistes, d'adapter les algorithmes prouvés avec des heuristiques pratiques qui pourront être réinjectées dans des modèles théoriques réajustés.

Mots clés : 

Membres permanents

Nom Prénom Statut Téléphone
DENNEULIN Yves Professeur 04 57421481
DUFOSSE Fanny Chargé de recherche
DUTOT Pierre Francois Maître de conférences 04 57421489
MOUNIE Gregory Maître de conférences 04 57421533
RAFFIN Bruno Chargé de recherche 04 57421549
RICHARD Olivier Maître de conférences 04 57421550
TRYSTRAM Denis Professeur 04 57421565
WAGNER Frederic Maître de conférences 04 57421571

Membres non permanents

Nom Prénom Statut Téléphone
BZEZNIK Bruno Chercheur associé 04 57421857
CARASTAN DOS SANTOS Danilo Doctorant
DIRAND Estelle Doctorant
EZEQUEL Tristan Ingénieur 04 57421665
FAURE Adrien Doctorant
KHATIRI Mohammed Doctorant
LUCARELLI Giorgio ATER
MERCIER Michael Doctorant
MICHON Nicolas Eric Ingénieur
MOMMESSIN Clément Doctorant
POQUET Millian Doctorant
REIS Valentin Doctorant 04 57421665
TERRAZ Théophile Ingénieur 04 57421665
ZRIGUI Salah Doctorant
S'abonner à RSS - DATAMOVE