Sites Inria

Inria & le HPC

Damaris : analyse de données et visualisation In-situ pour les simulations HPC

Damaris est un middleware pour gérer les entrées/sorties et la visualisation in situ pour des applications avec une forte charge sur le système de fichiers (goulot d'étranglement, crash, forte variabilité des performances) s'exécutant sur des plates-formes HPC multi-cœurs à très grande échelle (des centaines de miliers de coeurs) permettant d'accélérer les phases d'analyses de données,  supprimer les temps de transfert des informations pour le post-traitement, etc.

Damaris a pour vocation de répondre aux problématiques utilisateur suivantes

La plupart des simulations HPC sont basées sur des modèles itératifs qui à chaque étape vont générer un grand ensemble de données. Ce fonctionnement implique un certain nombre de conséquences :

  • A chaque itération il y a un gros flux d'I/O qui peut amener à une gestion innefficace des entrées/sorties et une variabilité non-prédictible du temps d'exécution (aka jitter)
  • Dans le cas classique, l'ensemble des données de résultat de la simulation est envoyé vers une plate-forme auxiliaire de post-processing dédiée à la visualisation ou à d'autres analyses

Ce transfert de données est très coûteux, et aucun résultat n'est disponible avant la fin des phases de post precessing.

Bénéfices utilisateurs

N'importe quelle simulation HPC peut bénéficier de Damaris pour l'optimisation de ses I/O :

  • Analyse de données et visualisation durant la simulation, sans post-processing externe de données
  • Usage efficace des coeurs disponibles, par le recouvrement du traitement des données et des I/O par le calcul
  • Aucun transfert massif de données vers une plate-forme externe pour le post-processing, mis à par pour les données qui auraient été analysées
  • Une intégration rapide et transparente avec des applications de simulation existante grâce à une API simple
  • La possibilité d'intégration avec des outils d'analyse de données et de visualisation grâce à l'utilisation de plug-ins

Domaines possibles d'utilisation

Les applications de simulation qui modélisent des structures, des phénomènes ou des comportements complexes et dynamiques peuvent être considérées comme pouvant tirer partie de Damaris. Certains exemples :

  • Computer aided engineering
  • Géophysique et Oil & Gas
  • Prédiction du climat et simulation de tornade
  • Analyse numérique
  • Etudes aérospatiales
  • Etudes de chimie et de pharmaceutique
  • Mécanique des fluides

Description technique de la solution

Damaris, un middleware pour la gestion de données à destination des infrastructures à large échelle et pour des simulations HPC basées sur le MPI, a été mise au point. Les fonctionnalités principales de Damaris inclues :

  • L'analyse de données et la visualisation "In-situ" par certains noeuds ou coeurs dédiés sur la plate-forme de simulation, en parallèle des calculs
  • Des transferts de données rapides et asynchrones depuis les applications de simulation HPC vers Damaris grâce à une API dédiée
  • La possibilité de réaliser un traitement d'ensemble de données spécifique aux caractéristiques de la simulation grâce à des plug-ins pour Damaris

Haut de page

Suivez Inria tout au long de son 50e anniversaire et au-delà !