Wat is HPC Storage? Een Definitieve Gids

High-performance computing (HPC)-opslag omvat het low-latency netwerk met snelle datatoegang die nodig is voor HPC-projecten. HPC is het gebruik van computers en supercomputers die geclusterd en verbonden zijn om complexe taken parallel uit te voeren. 

Maar het is meer dan alleen rekensnelheid die HPC zo belangrijk maakt. HPC is in staat om enorme datasets van exabyte-schaal te analyseren, waardoor het verantwoordelijk is voor zoveel moderne doorbraken. Om deze complexe taken uit te voeren, vereisen HPC-omgevingen moderne opslagoplossingen voor HPC-clusters. 

Omdat artificiële intelligentie (AI) en HPC samenkomen, kunnen traditionele ondernemingen ook nog meer profiteren van het begrijpen en ontwerpen van HPC terwijl ze AI omarmen. Sommige bedrijfsleiders kiezen er zelfs voor om hun traditionele HPC-teams te verlaten ten gunste van een stabielere en flexibelere geconvergeerde AI-infrastructuur die ze zelf of via systeemintegratorpartners implementeren.

Hier is een diepgaande duik in de eisen van HPC aan opslag en hoe bedrijfsinfrastructuren kunnen worden ontworpen om ze te ondersteunen.

HPC is het gebruik van geavanceerde computersystemen (bijv. supercomputers of clusters van high-performance computers) om complexe taken parallel te verwerken, meestal op gebieden zoals wetenschappelijk onderzoek, engineering, productie en computerwetenschap. HPC ondersteunt wetenschappelijke simulaties, modellering, verificaties en generatieve AI, waardoor onderzoekers en professionals enorme datasets kunnen analyseren en complexe problemen efficiënt kunnen ontrafelen. 

Reikwijdte is één aspect; het andere is snelheid. En hoe sneller de data-infrastructuur onder deze systemen, hoe sneller de berekeningen.

Ontdek hoe het Mercedes-AMG Petronas F1-team een high-performance computerraster gebruikt om windtunnelsimulaties om te zetten in prototypes. >>

Er zijn verschillende soorten high-performance computing voor verschillende gebruikssituaties. Eén ding dat ze allemaal gemeen hebben: Ze genereren en verwerken enorme hoeveelheden data. De meest voorkomende soorten high-performance computing worden gedefinieerd door hoe de computers samenwerken en waar ze aan samenwerken, waaronder:

• Supercomputers: Ontworpen voor intensieve numerieke berekeningen die vaak worden gebruikt in wetenschappelijke simulaties, klimaatmodellering, digital twins, augmented of virtual reality-omgevingen en geavanceerd onderzoek.
• Cluster computing: Netwerkcomputers die parallel werken aan taken verdeeld over meerdere machines, vaak gebruikt in academische en onderzoeksinstellingen. High-performance computing (HPC)-clusters zijn een verzameling onderling verbonden high-performance computers die zijn ontworpen voor parallelle verwerking, vaak in wetenschappelijke en technische toepassingen.
• Gedistribueerd computergebruik: Meerdere computers die via een netwerk zijn aangesloten, kunnen worden gebruikt wanneer systemen inactief zijn, dankzij software die vrijwilligers downloaden om hun computers beschikbaar te stellen wanneer ze niet in gebruik zijn. HPC-projecten zoals Folding@home maken gebruik van deze systemen. 
• Cloudcomputing: Externe servers slaan data op, beheren en verwerken deze en bieden schaalbare computerresources voor verschillende toepassingen. Cloud-gebaseerde HPC-oplossingen bieden on-demand toegang tot high-performance computerresources, zodat gebruikers toegang hebben tot rekenkracht zonder grote investeringen vooraf.
• Quantum computing: Hoewel het nog steeds een nieuw onderzoeksgebied is en zelden in de onderneming wordt gebruikt, heeft kwantumcomputing het potentieel om berekeningen op enorme schaal uit te voeren om complexe problemen sneller op te lossen dan klassieke computers.
• Versneld computergebruik: Het gebruik van gespecialiseerde hardwareversnellers zoals grafische verwerkingseenheden (GPU's) en neurale verwerkingseenheden (NPU's) om de rekenprestaties te verbeteren, vooral bij taken met betrekking tot AI en ook praktijksimulaties zoals digital twins en de omniverse. 

Ontdek hoe Folding@home een supercomputerkrachtpatser op FLASHBLADE ® draait. >>

Ja en nee. Hoewel AI-projecten bijna altijd gebruikmaken van HPC-resources, zijn de meeste HPC-projecten niet strikt AI-gerelateerd.

Terwijl bedrijven hun IT-infrastructuren willen herstructureren om nieuwe AI-projecten te ondersteunen, worden HPC-infrastructuren vaak gezien als modellen voor AI-infrastructuren, al is het maar omdat ze vergelijkbaar zijn in reikwijdte en schaal. HPC is zo dicht als veel bedrijven zijn begonnen met het uitbouwen van datacenters die zijn ontworpen voor projecten van deze omvang, gespecialiseerde hardware zoals GPU's, chips en rekenkracht; de twee zijn echter niet synoniem.

AI-projecten vereisen veel rekenkracht, hardwareversnellers en parallelle verwerkingsarchitecturen, en cluster computing tijdens datatransformatie en modeltraining, vergelijkbaar met HPC. Ze maken ook gebruik van een verscheidenheid aan technologieën en methoden, waaronder HPC. (Andere omvatten Deep learning, computervisie, machine learning en natuurlijke taalverwerking.) 

HPC kan AI ondersteunen, maar het is ook breder. Hoewel AI zich richt op modellen en algoritmen om te helpen bij besluitvorming, patroonherkenning en taalverwerking (zoals we zien bij generatieve AI), kunnen HPC-projecten worden toegepast op een breder scala aan taken buiten AI, waaronder wetenschap, simulaties, onderzoek, engineering, data-analyse en numerieke modellering.

Ze verschillen ook in de manier waarop ze met data omgaan. AI werkt met grote datasets, die nodig zijn om modellen te trainen. HPC kan en verwerkt grote datasets, maar de focus ligt meer op de berekeningen die het uitvoert. 

"HPC is zelden op het gebied van bedrijfs-IT geweest, en blijft meestal binnen de grenzen van de academische wereld en onderzoek. De meeste ondernemingen hebben niet eens geschaad in HPC, maar zelfs voor bedrijven die dat wel hebben gedaan, vermengt het zich niet vaak met andere workflows; het wordt behandeld als een silo en beheerd als een ander beest.” - Gestalt IT Podcast

Is cloud computing hetzelfde als HPC?

Nee, cloud computing is niet synoniem met HPC. Cloudcomputing is, zoals hierboven vermeld, meer een "hoe" en biedt middelen die kunnen worden ingezet voor HPC-projecten. Over het algemeen is cloud computing een concept dat definieert hoe diensten en infrastructuren worden gehost en geleverd, en dit kan HPC omvatten.

Welke industrieën vertrouwen op HPC?

Zoals we eerder hebben gezegd, zijn de organisaties die het meest waarschijnlijk gebruikmaken van HPC-netwerken en HPC-opslagomgevingen die op het gebied van wetenschappelijk onderzoek, milieuwetenschappen, weersvoorspellingen, lucht- en ruimtevaart en automotive engineering, financiële diensten, olie en gas, productie en gezondheidszorg, waaronder genomicaonderzoek en farmaceutische tests.

HPC is echter niet beperkt tot deze velden en kan elke onderneming ten goede komen die complexe berekeningen moet uitvoeren; simulaties met veel data moet uitvoeren; high-definition graphics, animaties en visuele effecten moet verwerken; of Big data-analyse moet uitvoeren.

HPC-omgevingen hebben doorgaans drie kerncomponenten: computerprocessors, netwerken en opslag. Een kernvraag van HPC-projecten is snelle toegang tot data, waardoor opslag een cruciaal onderdeel is van het succes van deze omgevingen. 

Om snel en schaalbaar te kunnen werken, hebben HPC-omgevingen moderne bestandssysteemarchitecturen nodig met hot- en cold tiers en Metadata serversmet hoge beschikbaarheid. Het integreren van NVMe en object storage geeft het HPC-systeem de mogelijkheid om te voldoen aan de eisen van moderne workload met lage latency en hoge bandbreedte.

HPC-dataopslag werkt door snel en efficiënt data uit CPU's, geheugen en opslagcontrollers te kopiëren, zodat CPU's zonder onderbreking kunnen doorgaan met de verwerking. Het dataplatform voor een HPC-systeem moet ook toegankelijk en gelaagd zijn, zodat hot data dicht bij en toegankelijk voor de nodes blijven.

HPC Storage Architecture: Parallelle verwerking, clustering en snelle interconnecties

Binnen high-performance computing zijn er drie belangrijke fundamentele concepten die uitleggen hoe taken worden uitgevoerd:

• Parallelle verwerking: Dit beschrijft hoe computers (of nodes) samenwerken om een taak uit te voeren. Bij HPC kunnen grote problemen worden onderverdeeld in kleinere taken en vervolgens worden opgelost door meerdere processors of compute cores tegelijk, wat de manier is waarop HPC zowel enorme datasets als berekeningen zo snel kan verwerken. Taken kunnen onafhankelijk worden afgehandeld door verwerkers of verwerkers kunnen samenwerken aan één taak. Hoe ze zich ook verdelen en overwinnen, dat het parallel gebeurt, is cruciaal.
• Clustering: Clustering is een architectuur die door HPC wordt gebruikt, waarbij meerdere nodes als één geheel samenwerken, waardoor parallel werk kan worden uitgevoerd, gewoon op een grotere schaal. Het is ook een manier om betrouwbaarheid in een HPC-omgeving in te bouwen. Omdat de nodes door een netwerk zijn verbonden met een uniform, enkel systeem, kunnen taken worden verdeeld en uitgevoerd, zelfs als één node op het netwerk uitvalt. Dit omvat orkestratie en planning, waarbij software de beschikbare clusterresources beheert en het werk op intelligente wijze delegeert aan het meest geschikte cluster. 
• Snelle interconnecties: Dit beschrijft de communicatie tussen nodes op een cluster, en deze links (bijv. high-speed Ethernet) zijn de ruggengraat van de samenwerkingskracht en -snelheid van HPC. Dankzij snelle interconnecties kan snelle communicatie en parallelle verwerking snel en efficiënt plaatsvinden tussen computers in het cluster en tussen opslagknooppunten en Rekennodes

Functies om naar te zoeken in HPC Storage

Storage wordt steeds belangrijker in het tijdperk van applicaties, big data en HPC. Wat nodig is, is een nieuwe, innovatieve architectuur om geavanceerde toepassingen te ondersteunen en tegelijkertijd de beste prestaties in alle dimensies van gelijktijdigheid te bieden: IOPS , verwerkingscapaciteit, latency en capaciteit. Idealiter biedt HPC-opslag:

• Een flashopslagoplossing met een elastisch scale-out-systeem dat all-flash prestaties kan leveren aan datasets op petabyte-schaal, ideaal voor big data-analytics
• Enorme horizontale schaal om gelijktijdige lees-/schrijfbewerkingen mogelijk te maken, terwijl meerdere nodes tegelijkertijd toegang hebben tot opslag
• Efficiëntie en eenvoud voor opslagarchitecten
• Snelle datatoegang. Opslag moet in staat zijn om snelle en frequente verzoeken af te handelen.
• Redundantie en fouttolerantie
• NVMe voor toegang met lage latency
• Objectopslag voor eenvoud en het voldoen aan cloud-native applicatiebehoeften

Geavanceerde datamanagementtools zoals datareductie die compressie en deduplicatie ondersteunen

Hoewel zowel HPC-storage als cloud-storage data beheren, hebben ze belangrijke verschillen.

• Cloud is algemeen; HPC is specifiek . HPC-opslag is op maat gemaakt voor high-performance computertoepassingen, geoptimaliseerd voor efficiënte parallelle verwerking en snelle datatoegang. Cloud-storage biedt algemene storage-as-a-service voor een breed scala aan applicaties (inclusief HPC).
• Cloud is een operationeel model. Cloudopslag is een servicemodel voor het op afstand opslaan en beheren van data. 
• HPC is afgestemd op prestaties. Cloud-storageservices kunnen de hoeveelheid granulaire aanpassingsprojecten beperken die nodig zijn voor optimale prestaties. HPC-opslag zal worden geoptimaliseerd voor snelheid en toegang, terwijl de cloud meer voorkeur geeft aan flexibiliteit en schaal.
• Kostenmodellen voor cloudopslag dwingen u om meer capaciteit te "kopen" om meer prestaties te krijgen, zelfs als u niet de extra opslagruimte nodig hebt.

Let op: de HPC-workloads van de universiteit en het onderzoekscentrum gaan steeds meer naar de cloud, terwijl de HPC-workloads van commerciële bedrijven nog steeds on-premises zijn. De totale eigendomskosten (TCO ) zijn echter hoog voor cloudgebaseerde HPC-workloads, en repatriëring van HPC-datasets naar on-premises of het verplaatsen ervan naar een andere cloudprovider is ook duur.

High-performance computing is al complex en uitdagend, dus het is geen verrassing dat de opslagomgeving die nodig is om het te ondersteunen dat ook kan zijn. Complexe workloads, een hoog datavolume in het exabyte-bereik, vereisten voor databeveiliging, integraties en data tiering maken het navigeren door HPC gecompliceerd. Oplossingen die zowel robuuste mogelijkheden als gebruiksgemak bieden, zoals Pure Storage ® FLASHBLADE, kunnen die complexiteit echter aan en zelfs compenseren zonder knelpunten of vertragingen toe te voegen.

HPC-storage is niet altijd de meest kosteneffectieve oplossing voor elk systeem of netwerk, omdat niet alle workloads opslag vereisen die speciaal is afgestemd op HPC-uitdagingen. Maar naarmate meer workloads zoals AI gemeengoed worden in de onderneming, kunnen dezelfde prestaties en schaalbaarheid die van HPC-opslag worden geëist universeel voordeliger worden.

HPC-storage is bedoeld om te voldoen aan de unieke eisen van grootschalige computertaken, simulaties en data-intensieve toepassingen, maar niet alle workloads vereisen die snelheid en schaal, en ze kunnen andere unieke eisen hebben. Het is belangrijk om de voor- en nadelen te wegen, maar over het algemeen is HPC-opslag goed voor:

• Enorme datasets en complexe workloads
• Prestaties ter ondersteuning van parallelle verwerking en snelle datatoegang
• Verwachte datagroei
• Strakke integraties met computeclusters

FLASHBLADE wordt door meer dan 25% van de Fortune 100-bedrijven gebruikt vanwege de eenvoud, flexibiliteit en het vermogen om:

• Maximaliseer het gebruik van GPU's en CPU's.
• Stimuleer enorme IOPS, doorvoer met hoge gelijktijdigheid en lage latency zonder afbreuk te doen aan multidimensionale prestaties.
• Ondersteun tientallen miljarden bestanden en objecten met maximale prestaties en uitgebreide dataservices.
• Maak gebruik van geautomatiseerde API's en high-performance native NFS-, SMB- en S3-protocolondersteuning om implementaties, beheer en upgrades probleemloos te maken.

Ontdek hoe FLASHBLADE helpt bij het aandrijven van high-performance computing voor deze drie innovatieve organisaties. >>