Qu’est-ce que le stockage HPC ? Un guide définitif

Le stockage de calcul haute performance (HPC) comprend un réseau à faible latence avec un accès rapide aux données requis pour les projets HPC. Le HPC consiste à utiliser des ordinateurs et des superordinateurs en cluster et connectés pour effectuer des tâches complexes en parallèle. 

Mais ce n'est pas seulement la vitesse de calcul qui rend le HPC si important. C’est la capacité du HPC à analyser d’énormes ensembles de données à l’échelle de l’exaoctet qui le rend responsable de tant d’innovations modernes. Pour réaliser ces tâches complexes, les environnements HPC exigent des solutions de stockage modernes pour les clusters HPC . 

De plus, à mesure que l’intelligence artificielle (AI et le HPC convergent, les entreprises traditionnelles peuvent tirer encore plus profit de la compréhension et de l’architecture du HPC tout en adoptant l’AI Certains chefs d’entreprise choisissent même d’abandonner leurs équipes HPC traditionnelles au profit d’une infrastructure d’AI convergée plus stable et agile qu’ils déploient eux-mêmes ou par l’intermédiaire de partenaires intégrateurs système.

Voici un aperçu approfondi des exigences du HPC en matière de stockage et de la manière dont les infrastructures d’entreprise peuvent être conçues pour les prendre en charge.

Le HPC consiste à utiliser des systèmes informatiques avancés (par exemple, des superordinateurs ou des clusters d’ordinateurs haute performance) pour traiter des tâches complexes en parallèle, généralement dans des domaines tels que la recherche scientifique, l’ingénierie, la fabrication et l’informatique. Le HPC alimente les simulations scientifiques, la modélisation, les vérifications et l’AIgénérative, ce qui permet aux chercheurs et aux professionnels d’analyser des ensembles de données massifs et de résoudre efficacement des problèmes complexes. 

La portée est un aspect, l’autre la vitesse. Et plus l’infrastructure de données sous ces systèmes est rapide, plus les calculs sont rapides.

Découvrez comment l’écurie Mercedes-AMG Petronas F1 Team utilise un réseau de calcul haute performance pour transformer les simulations de soufflerie en prototypes. >>

Il existe différents types de calcul haute performance pour différents cas d’utilisation. Une chose qu’ils ont tous en commun : Elles génèrent et traitent d’énormes quantités de données. Les types de calcul haute performance les plus courants sont définis par la manière dont les ordinateurs fonctionnent ensemble et sur quoi ils travaillent ensemble, notamment :

• Supercalcul : Conçu pour les calculs numériques intensifs souvent utilisés dans les simulations scientifiques, la modélisation climatique, les jumeaux numériques, les environnements de réalité augmentée ou virtuelle et la recherche avancée.
• Cluster computing : Les ordinateurs en réseau fonctionnent en parallèle sur des tâches réparties sur plusieurs machines, souvent utilisées dans les établissements universitaires et de recherche. Les clusters de calcul haute performance (HPC) sont un ensemble d’ordinateurs hautes performances interconnectés conçus pour le traitement parallèle, souvent dans des applications scientifiques et d’ingénierie.
• Informatique distribuée : Plusieurs ordinateurs connectés via un réseau peuvent être exploités lorsque les systèmes sont inactifs, grâce à des logiciels téléchargés par des volontaires pour rendre leurs ordinateurs disponibles lorsqu’ils ne sont pas utilisés. Les projets HPC comme Folding@home exploitent ces systèmes. 
• Cloud computing : Les serveurs distants stockent, gèrent et traitent les données, offrant des ressources informatiques évolutives pour diverses applications. Les solutions HPC basées sur le cloud offrent un accès à la demande à des ressources de calcul haute performance afin que les utilisateurs puissent accéder à la puissance de calcul sans investissements initiaux importants.
• Informatique quantique : Bien qu’il s’agisse toujours d’un nouveau domaine de recherche et rarement utilisé dans l’entreprise, l’informatique quantique a le potentiel d’effectuer des calculs à grande échelle pour résoudre des problèmes complexes plus rapidement que les ordinateurs classiques.
• Informatique accélérée : Utilisation d’accélérateurs matériels spécialisés comme les unités de traitement graphique (GPU) et les unités de traitement neuronal (NPU) pour améliorer les performances de calcul, en particulier dans les tâches liées à l’AI et également dans les simulations réelles comme les jumeaux numériques et l’omniverse. 

Découvrez comment Folding@home exploite une puissance de superinformatique sur FlashBlade ®. >>

Oui et non. Bien que les projets d’AI exploitent presque toujours les ressources HPC, la plupart des projets HPC ne sont pas strictement liés à l’AI.

Alors que les entreprises cherchent à repenser leurs infrastructures informatiques pour prendre en charge de nouveaux projets d’AI, les infrastructures HPC sont souvent perçues comme des modèles pour les infrastructures d’AI, même parce qu’elles ont une portée et une évolutivité similaires. Le HPC est aussi proche que de nombreuses entreprises ont réussi à construire des datacenters conçus pour des projets de cette envergure, du matériel spécialisé comme les GPU, les puces et la puissance de calcul ; cependant, les deux ne sont pas synonymes.

Les projets d’AI nécessitent beaucoup de puissance de calcul, d’accélérateurs matériels et d’architectures de traitement parallèles, ainsi que de cluster computing pendant la transformation des données et l’entraînement des modèles, comme le HPC. Ils utilisent également diverses technologies et méthodes, notamment le HPC. (D'autres incluent deep learning, la vision par ordinateur, l'apprentissage machine et le traitement du langage naturel.) 

Le HPC peut prendre en charge AI, mais il est également plus large. Alors que l’AI se concentre sur des modèles et des algorithmes pour faciliter la prise de décision, la reconnaissance des schémas et le traitement du langage (comme nous le voyons avec l’AIgénérative), les projets HPC peuvent être appliqués à un plus large éventail de tâches, au-delà de l’AI, notamment la science, les simulations, la recherche, l’ingénierie, l’analyse de données et la modélisation numérique.

Elles diffèrent également par leur façon de gérer les données. AI fonctionne avec des ensembles de données volumineux, nécessaires pour entraîner des modèles. Le HPC peut et gère des ensembles de données volumineux, mais il se concentre davantage sur les calculs qu’il réalise. 

« HPC a rarement été dans le domaine de l’informatique d’entreprise, en restant généralement dans les limites du monde universitaire et de la recherche. La plupart des entreprises n’ont même pas hésité dans le HPC, mais même pour celles qui l’ont fait, il ne s’associe pas souvent à d’autres flux de travail ; il est traité comme un silos et géré comme une autre bête. » - Podcast Gestalt IT

Le cloud computing est-il identique au HPC ?

Non, le cloud computing n’est pas synonyme de HPC. Comme mentionné ci-dessus, le cloud computing est plutôt un « comment » qui fournit des ressources pouvant être exploitées pour les projets HPC. En général, le cloud computing est un concept qui définit la manière dont les services et les infrastructures sont hébergés et fournis, et cela peut inclure le HPC.

Quels sont les secteurs qui s’appuient sur le HPC ?

Comme nous l’avons mentionné plus haut, les organisations les plus susceptibles d’exploiter les grilles HPC et les environnements de stockage HPC sont celles des domaines de la recherche scientifique, de la science environnementale, des prévisions météorologiques, de l’ingénierie aéronautique et automobile, des services financiers, du pétrole et du gaz, de la fabrication et de la santé, y compris la recherche génomique et les tests pharmaceutiques.

Cependant, le HPC ne se limite pas à ces domaines et peut profiter à toute entreprise qui a besoin d’effectuer des calculs complexes, d’exécuter des simulations gourmandes en données, de traiter des graphiques, des animations et des effets visuels haute définition, ou d’effectuer une analyse du Big Data.

Les environnements HPC se composent généralement de trois composants principaux : processeurs informatiques, réseau et stockage. Les projets HPC exigent principalement un accès rapide aux données, ce qui fait du stockage un élément essentiel de la réussite de ces environnements. 

Pour fonctionner rapidement et à grande échelle, les environnements HPC nécessitent des architectures de systèmes de fichiers modernes avec des niveaux chauds et froids et des serveurs de métadonnées haute disponibilité. L’intégration du stockage NVMe et d’objets permet au système HPC de répondre aux exigences des charges de travail modernes avec une latence faible et une bande passante élevée.

Le stockage de données HPC consiste à décharger les données des processeurs, de la mémoire et des contrôleurs de stockage rapidement et efficacement, ce qui permet aux processeurs de poursuivre leur traitement sans interruption. La plateforme de données d’un système HPC doit également être accessible et hiérarchisée, ce qui permet de maintenir les données chaudes à proximité des nœuds et d’y accéder.

Architecture de stockage HPC : Traitement parallèle, clustering et interconnexions haute vitesse

Dans le domaine du calcul haute performance, trois concepts fondamentaux expliquent comment les tâches sont réalisées :

• Traitement parallèle : Cela décrit comment les ordinateurs (ou nœuds) fonctionnent ensemble pour exécuter une tâche. Dans le HPC, les problèmes importants peuvent être divisés en tâches plus petites, puis résolus par plusieurs processeurs ou cœurs de calcul à la fois, ce qui permet au HPC de gérer à la fois des ensembles de données massifs et des calculs si rapidement. Les tâches peuvent être gérées indépendamment par des processeurs ou les processeurs peuvent collaborer sur une seule tâche. Quelle que soit la façon dont elles se divisent et conquièrent, il est essentiel que cela se produise en parallèle.
• Clustering : Le clustering est une architecture exploitée par le HPC, où plusieurs nœuds fonctionnent ensemble, ce qui permet à nouveau d’effectuer des travaux parallèles, à plus grande échelle. C'est également un moyen d'intégrer la fiabilité dans un environnement HPC. Comme les nœuds sont connectés par un réseau dans un système unifié et unique, les tâches peuvent être divisées et exécutées, même en cas de défaillance d’un nœud du réseau. Cela inclut l’orchestration et la planification, où le logiciel gère les ressources disponibles du cluster et délègue intelligemment le travail au cluster le mieux adapté. 
• Interconnexions haut débit : Cela décrit la communication entre les nœuds d’un cluster, et ces liaisons (par exemple, Ethernet haut débit) sont le pilier de la puissance et de la vitesse collaboratives du HPC. Les interconnexions haut débit permettent une communication rapide et un traitement parallèle rapides et efficaces entre les ordinateurs du cluster et entre les nœuds de stockage et les nœuds de calcul.

Fonctionnalités à rechercher dans le stockage HPC

Le stockage devient de plus en plus important à l’ère des applications, du Big Data et du HPC. Il faut une nouvelle architecture innovante pour prendre en charge les applications avancées tout en offrant des performances de pointe dans tous les aspects de la simultanéité : IOPS, débit, latence et capacité. Idéalement, le stockage HPC offre :

• Une solution de stockage flash dotée d’un système scale-out élastique capable d’offrir des performances 100 % flash à des ensembles de données à l’échelle du pétaoctet, idéale pour l’analytique du Big Data
• Évolutivité horizontale massive pour permettre des opérations de lecture/écriture simultanées tandis que plusieurs nœuds accèdent au stockage en même temps
• Efficacité et simplicité pour les architectes de stockage
• Accès rapide aux données. Le stockage doit être capable de gérer des demandes rapides et fréquentes.
• Redondance et tolérance aux pannes
• NVMe pour un accès à faible latence
• Stockage d’objets pour plus de simplicité et répondre aux besoins des applications cloud natives

Outils avancés de gestion des données, comme la réduction des données, qui facilitent la compression et la déduplication

Bien que le stockage HPC et le stockage cloud gèrent les données, ils présentent des différences majeures.

• Le cloud est général, le HPC est spécifique. Le stockage HPC est conçu pour les applications de calcul haute performance, optimisé pour un traitement parallèle efficace et un accès rapide aux données. Le stockage cloud offre un stockage à la demande général pour un large éventail d’applications (y compris le HPC).
• Le cloud est un modèle opérationnel. Le stockage cloud est un modèle de service pour le stockage et la gestion des données à distance. 
• Le HPC est conçu pour offrir des performances optimales. Les services de stockage cloud peuvent limiter le nombre de projets de personnalisation granulaire nécessaires pour des performances optimales. Le stockage HPC sera optimisé pour la vitesse et l’accès, tandis que le cloud privilégie davantage la flexibilité et l’évolutivité.
• Les modèles de coût du stockage cloud vous obligent à « acheter » plus de capacité pour obtenir plus de performances, même si vous n’avez pas besoin d’espace de stockage supplémentaire.

Il convient de noter que les charges de travail HPC des universités et des centres de recherche se déplacent de plus en plus vers le cloud, tandis que les charges de travail HPC commerciales et d’entreprise ont tendance à se trouver sur site. Cependant, le coût total de possession (TCO) est élevé pour les charges de travail HPC basées sur le cloud, et le rapatriement des ensembles de données HPC sur site ou leur transfert vers un autre fournisseur de cloud est également coûteux.

Le calcul haute performance est déjà complexe et difficile, il n’est donc pas surprenant que l’environnement de stockage nécessaire pour le prendre en charge puisse également l’être. Les charges de travail complexes, le volume de données élevé dans la plage des exaoctets, les exigences en matière de sécurité des données, les intégrations et la hiérarchisation des données compliquent la gestion des activités HPC. Cependant, les solutions qui offrent à la fois des fonctionnalités robustes et une grande facilité d’utilisation, comme Pure Storage ® FlashBlade , peuvent gérer et même compenser cette complexité sans ajouter de goulets d’étranglement ou de retards.

Le stockage HPC n’est pas toujours la solution la plus économique pour chaque système ou réseau, car toutes les charges de travail ne nécessitent pas un stockage spécialement adapté aux défis du HPC. Cependant, à mesure que de plus en plus de charges de travail telles que l’AI deviennent courantes dans l’entreprise, les mêmes performances et l’évolutivité exigées par le stockage HPC pourraient se révéler plus avantageuses sur le plan universel.

Le stockage HPC est conçu pour répondre aux exigences uniques des tâches de calcul à grande échelle, des simulations et des applications gourmandes en données, mais toutes les charges de travail ne nécessitent pas cette vitesse et cette évolutivité, et elles peuvent avoir d’autres exigences uniques. Il est important de peser les avantages et les inconvénients, mais en général, le stockage HPC est bon pour :

• Ensembles de données massifs et charges de travail complexes
• Performances pour prendre en charge le traitement parallèle et un accès rapide aux données
• Croissance des données attendue
• Intégrations étroites avec les clusters de calcul

FlashBlade est utilisé par plus de 25 % des entreprises du Fortune 100 pour sa simplicité, son agilité et sa capacité à :

• Optimisez l’utilisation des processeurs graphiques et des processeurs.
• Bénéficiez IOPS seconde massives, d’un débit élevé et d’une faible latence sans compromettre les performances multidimensionnelles.
• Prenez en charge des dizaines de milliards de fichiers et d’objets avec des performances maximales et des services de données enrichis.
• Tirez parti des API automatisées et de la prise en charge native haute performance des protocoles NFS, SMB et S3 pour simplifier les déploiements, la gestion et les mises à niveau.

Découvrez comment FlashBlade contribue à alimenter le calcul haute performance pour ces trois organisations innovantes. >>