Skip to Content
Leitfaden

Was ist HPC-Storage? Ein definitiver Leitfaden

Hochleistungs-Computing-Storage (oder HPC-Storage) beschreibt die Netzwerke, Systeme und Storage-Architekturen, die die einzigartigen Anforderungen von Hochleistungs-Computing-Umgebungen unterstützen.

Was ist HPC-Storage? Ein definitiver Leitfaden

High-Performance-Computing-Storage (HPC) umfasst das Netzwerk mit niedriger Latenz und Hochgeschwindigkeitsdatenzugriff, der für HPC-Projekte erforderlich ist. HPC ist die Verwendung von Computern und Supercomputern, die geclustert und verbunden sind, um komplexe Aufgaben parallel auszuführen. 

Aber es ist mehr als nur die Rechengeschwindigkeit, die HPC so wichtig macht. HPC ist in der Lage, riesige Datensätze im Exabyte-Bereich zu analysieren, wodurch es für so viele moderne Durchbrüche verantwortlich ist. Um diese komplexen Aufgaben auszuführen, benötigen HPC-Umgebungen moderne Storage-Lösungen für HPC-Cluster. 

Da künstliche Intelligenz (AI und HPC zusammenkommen, können herkömmliche Unternehmen noch mehr von dem Verständnis und der Architektur für HPC profitieren und gleichzeitig AI nutzen. Einige Führungskräfte entscheiden sich sogar dafür, ihre herkömmlichen HPC-Teams für eine stabilere und agilere konvergente AI-Infrastruktur aufzugeben, die sie selbst oder über Systemintegratorpartner bereitstellen.

Hier erfahren Sie mehr über die Anforderungen von HPC an Storage und darüber, wie Unternehmensinfrastrukturen so konzipiert werden können, dass sie sie unterstützen.

Verwandte Artikel

Knowledge-Artikel
Was ist Hochleistungs-Computing?

Was ist Hochleistungs-Computing?

HPC ist die Verwendung fortschrittlicher Rechensysteme (z. B. Supercomputer oder Cluster von Hochleistungscomputern), um komplexe Aufgaben parallel zu verarbeiten, in der Regel in Bereichen wie wissenschaftlicher Forschung, Engineering, Fertigung und Informatik. HPC unterstützt wissenschaftliche Simulationen, Modellierung, Verifizierungen und generative AI und ermöglicht es Forschern und Fachleuten, riesige Datensätze effizient zu analysieren und komplexe Probleme zu lösen. 

Der Umfang ist ein Aspekt, der andere die Geschwindigkeit. Und je schneller die Dateninfrastruktur unter diesen Systemen ist, desto schneller sind die Berechnungen.

Erfahren Sie, wie das F1-Team von Mercedes-AMG Petronas ein Hochleistungs-Computing-Gitter verwendet, um Windkanalsimulationen in Prototypen zu verwandeln. >>

Was sind die Arten von HPC?

Es gibt verschiedene Arten von Hochleistungs-Computing für verschiedene Anwendungsfälle. Eines haben sie alle gemeinsam: Sie generieren und verarbeiten riesige Datenmengen. Die häufigsten Arten von Hochleistungs-Computing werden dadurch definiert, wie die Computer zusammenarbeiten und woran sie zusammenarbeiten, darunter:

  • Supercomputing: Entwickelt für intensive numerische Berechnungen, die häufig in wissenschaftlichen Simulationen, Klimamodellierung, digitalen Zwillingen, Augmented- oder Virtual-Reality-Umgebungen und fortschrittlicher Forschung verwendet werden.
  • Cluster-Computing: Vernetzte Computer, die parallel an Aufgaben arbeiten, die auf mehrere Maschinen verteilt sind und häufig in akademischen und Forschungseinrichtungen verwendet werden. High-Performance-Computing-Cluster (HPC) sind eine Sammlung miteinander verbundener High-Performance-Computer, die für die parallele Verarbeitung entwickelt wurden, oft in wissenschaftlichen und technischen Anwendungen.
  • Verteiltes Computing: Mehrere Computer, die über ein Netzwerk verbunden sind, können genutzt werden, wenn Systeme im Leerlauf sind, dank Software, die Freiwillige herunterladen, um ihre Computer verfügbar zu machen, wenn sie nicht verwendet werden. HPC-Projekte wie Folding@home nutzen diese Systeme. 
  • Cloud-Computing: Remote-Server speichern, verwalten und verarbeiten Daten und bieten skalierbare Rechenressourcen für verschiedene Anwendungen. Cloud-basierte HPC-Lösungen bieten On-Demand-Zugriff auf leistungsstarke Rechenressourcen, sodass Benutzer ohne große Vorabinvestitionen auf Rechenleistung zugreifen können.
  • Quantum Computing: Obwohl Quanten-Computing immer noch ein neuer Forschungsbereich ist und nur selten im Unternehmen eingesetzt wird, hat es das Potenzial, Berechnungen in großem Umfang durchzuführen, um komplexe Probleme schneller zu lösen als herkömmliche Computer.
  • Beschleunigtes Computing: Einsatz spezialisierter Hardware-Beschleuniger wie GPUs (Graphics Processing Units) und NPUs (Neural Processing Units), um die Rechenleistung zu verbessern, insbesondere bei Aufgaben im Zusammenhang mit AI und auch bei realen Simulationen wie digitalen Zwillingen und dem Omniverse. 

Erfahren Sie, wie Folding@home ein Supercomputing-Kraftpaket auf FlashBlade ® betreibt. >>

Sind AI-Projekte vergleichbar mit HPC-Projekten?

Ja und Nein. Während AI-Projekte fast immer HPC-Ressourcen nutzen, sind die meisten HPC-Projekte nicht ausschließlich AI verbunden.

Während Unternehmen versuchen, ihre IT-Infrastrukturen neu zu gestalten, um neue AI-Projekte zu unterstützen, werden HPC-Infrastrukturen oft als Modelle für AI-Infrastrukturen angesehen, wenn auch nur, weil sie in Umfang und Umfang ähnlich sind. HPC ist so nah wie viele Unternehmen an der Entwicklung von Rechenzentren, die für Projekte dieses Umfangs entwickelt wurden, spezialisierte Hardware wie GPUs, Chips und Rechenleistung; diese beiden sind jedoch nicht gleichbedeutend.

AIProjekte erfordern viel Rechenleistung, Hardwarebeschleuniger und parallele Verarbeitungsarchitekturen sowie Cluster-Computing während der Datentransformation und des Modelltrainings, ähnlich wie bei HPC. Sie nutzen auch eine Vielzahl von Technologien und Methoden, einschließlich HPC. (Andere sind Deep Learning, Computer Vision, maschinelles Lernen und Verarbeitung natürlicher Sprache.) 

HPC kann AI unterstützen, ist aber auch breiter. Während sich AI auf Modelle und Algorithmen konzentriert, die bei der Entscheidungsfindung, Mustererkennung und Sprachverarbeitung helfen (wie wir es bei generativer AI sehen), können HPC-Projekte auf ein breiteres Aufgabenspektrum über AI hinaus angewendet werden, einschließlich Wissenschaft, Simulationen, Forschung, Engineering, Datenanalyse und numerische Modellierung.

Sie unterscheiden sich auch darin, wie sie mit Daten umgehen. AI funktioniert mit großen Datensätzen, die zum Trainieren von Modellen erforderlich sind. HPC kann und verarbeitet große Datensätze, aber sein Fokus liegt mehr auf den Berechnungen, die es durchführt. 

„HPC war selten im Bereich der Unternehmens-IT und blieb in der Regel innerhalb der Grenzen von Wissenschaft und Forschung. Die meisten Unternehmen haben sich noch nicht einmal in HPC niedergeschlagen, aber selbst für diejenigen, die dies getan haben, vermischen sie sich nicht oft mit anderen Workflows; sie werden wie ein Silos behandelt und als ein anderes Tier verwaltet.“ – IT-Podcast gestalten

Ist Cloud-Computing dasselbe wie HPC?

Nein, Cloud-Computing ist nicht gleichbedeutend mit HPC. Cloud-Computing ist, wie oben erwähnt, eher ein „Wie“ und stellt Ressourcen bereit, die für HPC-Projekte genutzt werden können. Im Allgemeinen ist Cloud-Computing ein Konzept, das definiert, wie Services und Infrastrukturen gehostet und bereitgestellt werden. Dies kann HPC umfassen.

Welche Branchen verlassen sich auf HPC?

Wie bereits erwähnt, sind die Unternehmen, die am wahrscheinlichsten HPC-Gitter und HPC-Storage-Umgebungen nutzen, diejenigen in den Bereichen wissenschaftliche Forschung, Umweltwissenschaft, Wettervorhersage, Luft- und Raumfahrt und Automobiltechnik, Finanzdienstleistungen, Öl und Gas, Fertigung und Gesundheitswesen, einschließlich Genomforschung und pharmazeutische Tests.

HPC ist jedoch nicht auf diese Bereiche beschränkt und kann jedem Unternehmen zugutekommen, das komplexe Berechnungen durchführen, datenlastige Simulationen durchführen, hochauflösende Grafiken, Animationen und visuelle Effekte verarbeiten oder Big-Data-Analyse durchführen muss.

Was ist HPC-Storage?

HPC-Umgebungen bestehen in der Regel aus drei Kernkomponenten: Computerprozessoren, Netzwerk und Storage. Eine zentrale Anforderung von HPC-Projekten ist der schnelle Zugriff auf Daten, was Storage zu einer entscheidenden Komponente für den Erfolg dieser Umgebungen macht. 

Um schnell und skalierbar zu arbeiten, benötigen HPC-Umgebungen moderne Dateisystemarchitekturen mit Hot- und Cold Tiers und hochverfügbaren Metadaten. Durch die Integration von NVMe und Objekt-Storage kann das HPC-System moderne Workload-Anforderungen mit geringer Latenz und hoher Bandbreite erfüllen.

Wie funktioniert HPC-Daten-Storage?

HPC-Daten-Storage funktioniert, indem er Daten schnell und effizient von CPUs, Speicher und Storage-Controllern entlastet, sodass CPUs die Verarbeitung ohne Unterbrechung fortsetzen können. Die Datenplattform für ein HPC-System muss auch zugänglich und abgestuft sein und heiße Daten nahe an den Knoten und für diese zugänglich halten.

HPC-Storage-Architektur: Parallele Verarbeitung, Clustering und Hochgeschwindigkeitsverbindungen

Bei High-Performance-Computing gibt es drei wichtige grundlegende Konzepte, die erklären, wie Aufgaben ausgeführt werden:

  • Parallele Verarbeitung: Dies beschreibt, wie Computer (oder Knoten) zusammenarbeiten, um eine Aufgabe auszuführen. Bei HPC können große Probleme in kleinere Aufgaben unterteilt und dann von mehreren Prozessoren oder Rechenkernen gleichzeitig gelöst werden, sodass HPC sowohl massive Datensätze als auch Berechnungen so schnell verarbeiten kann. Aufgaben können unabhängig von Auftragsverarbeitern bearbeitet werden oder Auftragsverarbeiter können an einer einzigen Aufgabe zusammenarbeiten. Unabhängig davon, wie sie sich aufteilen und erobern, ist es von entscheidender Bedeutung, dass dies parallel geschieht.
  • Clustering: Clustering ist eine Architektur, die von HPC genutzt wird, bei der mehrere Knoten als ein Knoten zusammenarbeiten und wieder parallele Arbeit ermöglichen, nur in größerem Umfang. Es ist auch eine Möglichkeit, Zuverlässigkeit in eine HPC-Umgebung zu integrieren. Da die Knoten über ein Netzwerk zu einem einheitlichen, einzigen System verbunden sind, können Aufgaben aufgeteilt und ausgeführt werden, selbst wenn ein Knoten im Netzwerk ausfällt. Dazu gehören Orchestrierung und Terminplanung, bei der Software die verfügbaren Cluster-Ressourcen verwaltet und die Arbeit intelligent an den am besten geeigneten Cluster delegiert. 
  • Hochgeschwindigkeitsverbindungen: Dies beschreibt die Kommunikation zwischen Knoten in einem Cluster, und diese Verbindungen (z. B. Hochgeschwindigkeits-Ethernet) sind das Rückgrat der kollaborativen Leistung und Geschwindigkeit von HPC. Hochgeschwindigkeitsverbindungen ermöglichen eine schnelle Kommunikation und parallele Verarbeitung zwischen Computern im Cluster und zwischen Storage-Knoten und Rechenknoten.

Funktionen, auf die Sie bei HPC-Storage achten sollten

Storage wird im Zeitalter von Anwendungen, Big Data und HPC immer wichtiger. Benötigt wird eine neue, innovative Architektur, die fortschrittliche Anwendungen unterstützt und gleichzeitig eine erstklassige Performance in allen Dimensionen der Parallelität bietet: IOPS, Durchsatz, Latenz und Kapazität. Im Idealfall bietet HPC-Storage:

  • Eine Flash-Storage-Lösung mit einem elastischen Scale-out-System, das All-Flash-Performance für Datensätze im Petabyte-Bereich bereitstellen kann, ideal für Big-Data-Analysen
  • Massive horizontale Skalierung, um gleichzeitige Lese-/Schreibvorgänge zu ermöglichen, während mehrere Knoten gleichzeitig auf Storage zugreifen
  • Effizienz und Einfachheit für Storage-Architekten
  • Hochgeschwindigkeits-Datenzugriff. Storage muss in der Lage sein, schnelle und häufige Anfragen zu bewältigen.
  • Redundanz und Fehlertoleranz
  • NVMe für Zugriff mit geringer Latenz
  • Objekt-Storage für Einfachheit und Erfüllung der Anforderungen von Cloud-nativen Anwendungen

Fortschrittliche Datenmanagement-Tools wie Datenreduktion, die Komprimierung und Deduplizierung unterstützen

Ist HPC-Storage derselbe wie Cloud-Storage?

Während sowohl HPC-Storage als auch Cloud-Storage Daten verwalten, haben sie wichtige Unterschiede.

  • Cloud ist allgemein, HPC ist spezifisch. HPC-Storage ist auf Hochleistungs-Computing-Anwendungen zugeschnitten und für eine effiziente parallele Verarbeitung und einen schnellen Datenzugriff optimiert. Cloud-Storage bietet allgemeinen Storage-as-a-Service für eine Vielzahl von Anwendungen (einschließlich HPC).
  • Cloud ist ein Betriebsmodell. Cloud-Storage ist ein Servicemodell zum Speichern und Verwalten von Daten aus der Ferne. 
  • HPC ist auf Performance abgestimmt. Cloud-Storage-Services können die Menge an granularen Anpassungsprojekten einschränken, die für eine optimale Performance erforderlich sind. HPC-Storage wird für Geschwindigkeit und Zugriff optimiert, während die Cloud mehr Flexibilität und Skalierbarkeit bevorzugt.
  • Cloud-Storage-Kostenmodelle zwingen Sie dazu, mehr Kapazität zu „kaufen“, um mehr Performance zu erhalten, selbst wenn Sie nicht den zusätzlichen Storage-Platz benötigen.

Beachtenswert ist, dass HPC-Workloads von Universitäten und Forschungszentren zunehmend in die Cloud verlagert werden, während kommerzielle und Unternehmens-HPC-Workloads in der Regel immer noch lokal sind. Die Gesamtbetriebskosten (TCO ) sind jedoch für Cloud-basierte HPC-Workloads hoch, und die Rückführung von HPC-Datensätzen in lokale Umgebungen oder die Verlagerung auf einen anderen Cloud-Anbieter ist ebenfalls teuer.

Was macht HPC-Storage komplex?

High-Performance-Computing ist bereits komplex und herausfordernd, daher ist es nicht überraschend, dass die Storage-Umgebung, die für die Unterstützung erforderlich ist, auch dies sein kann. Komplexe Workloads, ein hohes Datenvolumen im Exabyte-Bereich, Datensicherheitsanforderungen, Integrationen und Daten-Tiering machen das Navigieren durch HPC zu einem komplizierten Unternehmen. Lösungen, die sowohl robuste Funktionen als auch eine einfache Nutzung bieten, wie Pure Storage ® FlashBlade, können diese Komplexität jedoch bewältigen und sogar ausgleichen, ohne Engpässe oder Verzögerungen hinzuzufügen.

Ist Hochleistungs-Computing-Storage für jedes System oder Netzwerk geeignet?

HPC-Storage ist möglicherweise nicht immer die kostengünstigste Lösung für jedes System oder Netzwerk, da nicht alle Workloads Storage erfordern, der speziell auf HPC-Herausforderungen abgestimmt ist. Da jedoch immer mehr Workloads wie AI im Unternehmen üblich werden, könnte die gleiche Performance und Skalierbarkeit, die für HPC-Storage erforderlich sind, letztendlich universell vorteilhafter sein.

HPC-Storage ist dafür gedacht, die einzigartigen Anforderungen von großen Rechenaufgaben, Simulationen und datenintensiven Anwendungen zu erfüllen, aber nicht alle Workloads erfordern diese Geschwindigkeit und Skalierbarkeit und sie können andere einzigartige Anforderungen haben. Es ist wichtig, Vor- und Nachteile abzuwägen, aber im Allgemeinen ist HPC-Storage gut für:

  • Massive Datensätze und komplexe Workloads
  • Performance für parallele Verarbeitung und schnellen Datenzugriff
  • Erwartetes Datenwachstum
  • Enge Integrationen mit Rechenclustern

Warum FlashBlade für HPC-Storage?

FlashBlade wird von mehr als 25 % der Fortune-100-Unternehmen aufgrund seiner Einfachheit, Agilität und Fähigkeit verwendet,

  • Maximieren Sie die Auslastung von GPUs und CPUs.
  • Erzielen Sie massive IOPS, Durchsatz mit hoher Parallelität und geringer Latenz, ohne die mehrdimensionale Performance zu beeinträchtigen.
  • Unterstützen Sie mehrere Milliarden Dateien und Objekte mit maximaler Performance und umfassenden Datenservices.
  • Nutzen Sie automatisierte APIs und nativen NFS-, SMB- und S3-Protokoll-Support mit hoher Performance, um Implementierungen, Management und Upgrades problemlos durchzuführen.

Erfahren Sie, wie FlashBlade diese drei innovativen Unternehmen dabei unterstützt, Hochleistungs-Computing zu betreiben. >>

09/2024
Maximizing SAP HANA Performance and Reliability with Pure Storage
A reference architecture for SAP bundled application suites on SAP HANA with Pure Storage.
Referenzarchitektur
28 Seiten
KONTAKTIEREN SIE UNS
Fragen, Kommentare?

Haben Sie eine Frage oder einen Kommentar zu Produkten oder Zertifizierungen von Pure?  Wir helfen Ihnen gerne!

Termin für Demo vereinbaren

Vereinbaren Sie einen Termin für eine Live-Demo und sehen Sie selbst, wie Pure Ihnen helfen kann, Ihre Daten in überzeugende Ergebnisse zu verwandeln. 

Rufen Sie uns an: +49 89 26200662
Presse:
 pr@purestorage.com

 

Pure Storage Germany GmbH

Mies-van-der-Rohe-Straße 6

80807 München

Deutschland

info@purestorage.com

SCHLIESSEN
Ihr Browser wird nicht mehr unterstützt!

Ältere Browser stellen häufig ein Sicherheitsrisiko dar. Um die bestmögliche Erfahrung bei der Nutzung unserer Website zu ermöglichen, führen Sie bitte ein Update auf einen dieser aktuellen Browser durch.