HPC ストレージとは？

高性能コンピューティング（HPC）ストレージは、HPC プロジェクトに必要な高速データアクセスを備えた低遅延ネットワークで構成されています。HPC は、クラスタ化され接続されたコンピュータとスーパーコンピュータを使用して、複雑なタスクを並行して実行します。

しかし、HPC を非常に重要なものにしているのは、単なる計算速度ではありません。HPC は、エクサバイト規模の大規模なデータセットを分析する能力を備えているため、多くの近代的なブレークスルーの要因となっています。これらの複雑なタスクを実行するために、HPC 環境では、HPC クラスタのためのモダンなストレージ・ソリューションが必要です。

また、人工知能（AI）と HPC が収束するにつれ、従来の企業は AI を活用しながら HPC の理解と設計により、さらに多くのメリットを得ることができます。一部のビジネス・リーダーは、従来の HPC チームを放棄し、自身またはシステム・インテグレーター・パートナーを通じて展開する、より安定性と俊敏性を備えたコンバージド AI インフラを選択しています。

ここでは、HPC のストレージに対する要求と、それらをサポートするエンタープライズ・インフラの設計方法について詳しく説明します。

HPC は、高度な計算システム（スーパーコンピュータや高性能コンピュータのクラスタなど）を使用して、複雑なタスクを並行して処理します。通常は、科学研究、エンジニアリング、製造、コンピュータ・サイエンスなどの分野で行われます。HPC は、科学的シミュレーション、モデリング、検証、生成 AI を支え、研究者や専門家が大規模なデータセットを分析し、複雑な問題を効率的に解決できるようにします。

スコープは 1 つの側面で、もう 1 つはスピードです。また、これらのシステムのデータ・インフラが高速であればあるほど、計算も高速になります。

メルセデス AMG ペトロナス F1 チームは、高性能コンピューティング・グリッドを使用して風洞シミュレーションをプロトタイプに変えています。>>

さまざまなユースケースに対応する高性能コンピューティングには、さまざまな種類があります。共通点が 1 つあります。膨大な量のデータを生成し、処理します。高性能コンピューティングの最も一般的なタイプは、コンピュータの連携方法と、コンピュータの連携によって定義されます。

• スーパーコンピューティング：科学シミュレーション、気候モデリング、デジタルツイン、拡張現実または仮想現実環境、高度な研究でよく使用される集中的な数値計算用に設計されています。
• クラスタ・コンピューティング：複数のマシンに分散されたタスクに並行して動作するネットワーク・コンピュータで、学術機関や研究機関でよく使用されます。高性能コンピューティング（HPC）クラスタは、並列処理用に設計された相互接続された高性能コンピュータの集合です。多くの場合、科学およびエンジニアリング・アプリケーションで使用されます。
• 分散コンピューティング：システムがアイドル状態のときは、ネットワークを介して接続された複数のコンピュータを利用できます。ソフトウェアは、コンピュータを使用しないときにコンピュータを使用可能にするために自発的にダウンロードされます。Folding@home のような HPC プロジェクトは、これらのシステムを活用します。 
• クラウド・コンピューティング：リモート・サーバーは、データを保存、管理、処理し、さまざまなアプリケーションにスケーラブルなコンピューティング・リソースを提供します。クラウドベースの HPC ソリューションは、高性能コンピューティング・リソースへのオンデマンド・アクセスを提供し、ユーザーは大規模な先行投資なしで計算能力にアクセスできます。
• 量子コンピューティング：量子コンピューティングは、依然として新しい研究分野であり、企業ではほとんど使用されていませんが、従来のコンピュータよりも複雑な問題を解決するために大規模な計算を実行する可能性があります。
• 高速コンピューティング：グラフィックス処理ユニット（GPU）やニューラル処理ユニット（NPU）などの特殊なハードウェア・アクセラレータを使用して、特に AI に関連するタスクや、デジタルツインやオムニバースなどの実世界のシミュレーションにおいて、計算性能を向上させます。 

Folding@home が FlashBlade でスーパーコンピューティングのパワーハウスを稼働させる方法をご覧ください。>>

イエスであり、ノーとも言えます。AI プロジェクトはほとんどの場合、HPC リソースを活用しますが、ほとんどの HPC プロジェクトは AI に厳密に関連するものではありません。

企業が新しい AI プロジェクトをサポートするために IT インフラを再構築しようとする中で、HPC インフラは AI インフラのモデルと見なされることが多いです。これには、範囲や規模が似ているという理由があるからです。HPC は、多くの企業がこの規模のプロジェクトに対応するために設計されたデータセンターを構築する際に最も近いものです。GPU やチップ、計算能力といった特殊なハードウェアが使用されます。しかし、両者は同義ではありません。

AI プロジェクトには、HPC と同様に、多くの計算能力、ハードウェア・アクセラレータ、並列処理アーキテクチャ、データ変換やモデル・トレーニング中のクラスタ・コンピューティングが必要です。また、HPC を含むさまざまな技術や手法も活用しています。（深層学習、コンピュータ・ビジョン、機械学習、自然言語処理など）

HPC は AI をサポートできますが、それも広範囲に及びます。AI は、意思決定、パターン認識、言語処理（生成 AI のように）を支援するモデルやアルゴリズムに焦点を当てていますが、HPC プロジェクトは、科学、シミュレーション、研究、エンジニアリング、データ分析、数値モデリングなど、AI 以外の広範なタスクに適用できます。

また、データの扱い方も異なります。AI は、モデルのトレーニングに必要な大規模なデータセットで動作します。HPC は大規模なデータセットを処理することができますが、その焦点は、実行する計算に当てられています。

「HPC は企業 IT の領域にはほとんど存在せず、通常は学界や研究の領域に留まっています。 ほとんどの企業は HPC に手を出していませんが、関わった企業であっても、他のワークフローと混ざり合うことはあまりなく、サイロのように扱われ、別物として管理されています。」 - Gestalt IT ポッドキャスト

クラウド・コンピューティングは HPC と同じですか？

いいえ。クラウド・コンピューティングは HPC と同義ではありません。クラウド・コンピューティングは、前述のように、HPC プロジェクトに活用できるリソースを提供する単なる方法ではありません。一般的に、クラウド・コンピューティングは、サービスとインフラのホスティングと提供方法を定義する概念であり、これには HPC が含まれます。

HPC に依存する業界

前述のように、HPC グリッドや HPC ストレージ環境を活用する組織は、科学研究、環境科学、天気予報、航空宇宙・自動車工学、金融サービス、石油・ガス、製造、およびゲノミクス研究や医薬品試験を含む医療の分野に属しています。

ただし、HPC はこれらの分野に限定されず、複雑な計算の実行、データ量の多いシミュレーションの実行、高精細なグラフィック、アニメーション、視覚効果の処理、ビッグデータの分析の実行を必要とするあらゆる企業にメリットをもたらします。

HPC 環境には、コンピュータ・プロセッサ、ネットワーク、ストレージの 3 つのコア・コンポーネントがあります。HPC プロジェクトの中心的な需要は、データへの高速アクセスです。そのため、ストレージは、これらの環境の成功に欠かせない要素となっています。

HPC 環境は、高速性と拡張性を備えた運用のために、ホットティアとコールドティア、高可用性メタデータ・サーバーを備えたモダンなファイル・システム・アーキテクチャを必要とします。NVMe とオブジェクト・ストレージを統合することで、HPC システムは低遅延と高帯域幅でモダンなワークロードの需要を満たすことができます。

HPC データ・ストレージは、CPU、メモリ、ストレージ・コントローラからデータを迅速かつ効率的にオフロードすることで動作するため、CPU は中断することなく処理を継続できます。HPC システムのデータ・プラットフォームは、アクセス可能で階層化されており、ホット・データをノードの近くに保ち、ノードからアクセス可能にする必要があります。

HPC ストレージ・アーキテクチャ：並列処理、クラスタリング、高速相互接続

高性能コンピューティングには、タスクの実行方法を説明する 3 つの重要な基本概念があります。

• 並列処理：ここでは、コンピュータ（ノード）が連携してタスクを実行する方法について説明します。HPC では、大きな問題は小さなタスクに分割され、複数のプロセッサまたはコンピューティング・コアによって一度に解決されます。HPC は、大規模なデータセットと計算の両方を迅速に処理できます。タスクはプロセッサによって個別に処理することができ、プロセッサは単一のタスクで共同作業することができます。しかし、それらが分断し、征服するとしても、並行して起こっていることが鍵となります。
• クラスタリング：クラスタリングは、HPC が活用するアーキテクチャです。複数のノードが 1 つに連携し、大規模な並列作業を可能にします。また、HPC 環境に信頼性を組み込む方法でもあります。ノードは、ネットワークによって単一のシステムに接続されるため、ネットワーク上の 1 つのノードに障害が発生しても、タスクを分割して実行できます。これには、オーケストレーションとスケジューリングが含まれます。ソフトウェアが利用可能なクラスタ・リソースを管理し、最適なクラスタに作業をインテリジェントに委任します。
• 高速相互接続：これはクラスタ上のノード間の通信について説明しており、これらのリンク（高速イーサネットなど）は、HPC の協調的なパワーとスピードのバックボーンです。高速相互接続により、クラスタ内のコンピュータ間、ストレージ・ノードとコンピューティング・ノード間で高速かつ効率的に通信と並列処理を行うことができます。

HPC ストレージで求められる機能

ストレージは、アプリケーション、ビッグデータ、HPC の時代においてますます重要になっています。必要なのは、高度なアプリケーションをサポートすると同時に、並行性のあらゆる側面（IOPS、スループット、遅延、容量）で最高の性能を提供する新しい革新的なアーキテクチャです。HPC ストレージは、理想的には次のような機能を提供します。

• ペタバイト規模のデータセットにオールフラッシュ性能を提供する柔軟なスケールアウト・システムを備えたフラッシュ・ストレージ・ソリューションで、ビッグデータ分析に最適
• 大規模な水平スケールにより、複数のノードが同時にストレージにアクセスしながら、同時に読み取り／書き込み操作が可能
• ストレージ・アーキテクトのための効率性とシンプルさ
• 高速データ・アクセス：ストレージは、迅速かつ頻繁な要求に対応できなければなりません。
• 冗長性と耐障害性
• NVMe による低遅延アクセス
• オブジェクト・ストレージによるシンプルさとクラウドネイティブなアプリケーション・ニーズに対応

圧縮や重複排除を支援するデータ削減などの高度なデータ管理ツール

HPC ストレージとクラウド・ストレージの両方がデータを管理しますが、主な違いがあります。

• クラウドは一般的で、HPC は特殊なものです。HPC ストレージは、高性能コンピューティング・アプリケーション向けにカスタマイズされており、効率的な並列処理と高速データ・アクセスのために最適化されています。クラウド・ストレージは、幅広いアプリケーション（HPC を含む）のためのサービスとしての一般的なストレージを提供します。
• クラウドは運用モデルです。クラウド・ストレージは、データをリモートで保存・管理するためのサービス・モデルです。
• HPC は、性能にあわせて調整されています。クラウド・ストレージ・サービスは、最適な性能を得るために必要なきめ細かなカスタマイズ・プロジェクトの量を制限する場合があります。HPC ストレージは、スピードとアクセスのために最適化され、クラウドは柔軟性と拡張性を重視しています。
• クラウド・ストレージのコスト・モデルは、余分なストレージ・スペースがなくても、性能を向上させるために容量を増やすことを余儀なくされます。

注目すべき点は、大学や研究センターの HPC ワークロードがクラウドに移行する傾向が増している一方で、商用および企業の HPC ワークロードは依然としてオンプレミスである傾向があることです。しかし、クラウドベースの HPC ワークロードでは総所有コスト（TCO）が高く、HPC データセットをオンプレミスに再送したり、別のクラウド・プロバイダに移動したりすることも高価です。

高性能コンピューティングは、既に複雑で困難なものであるため、それをサポートするために必要なストレージ環境もまた複雑であることは驚くことではありません。複雑なワークロード、エクサバイト範囲の大量のデータ、データ・セキュリティ要件、統合、データ階層化など、HPC の操作は複雑です。しかし、ピュア・ストレージの FlashBlade のように、堅牢な機能と使いやすさの両方を提供するソリューションは、ボトルネックや遅延を伴わずに複雑さに対処し、さらには相殺することができます。

HPC ストレージは、全てのシステムやネットワークにとって最も費用対効果の高いソリューションとは限らない場合があります。全てのワークロードが HPC の課題に特化して調整されたストレージを必要とするわけではありません。しかし、AI などのワークロードが企業内で一般的になるにつれて、HPC ストレージに求められる性能とスケーラビリティは、より普遍的に有益になる可能性があります。

HPC ストレージは、大規模な計算タスク、シミュレーション、データ集約型アプリケーションの固有の要求を満たすことを意図していますが、全てのワークロードに速度とスケールが必要なわけではありません。また、他の固有の要件がある場合もあります。長所と短所を比較検討することが重要ですが、一般的に HPC ストレージは次のようなメリットがあります。

• 大規模なデータセットと複雑なワークロード
• 並列処理と高速データ・アクセスをサポートする性能
• 予想されるデータの増加
• コンピューティング・クラスタとの緊密な統合

FlashBlade は、そのシンプルさ、敏捷性、および以下の能力により、フォーチュン 100企業の 25％ 以上に採用されています。

• GPU と CPU を最大限に活用
• 多次元性能を損なうことなく、大規模な IOPS 、高並列性、低遅延のスループットを実現
• 性能とリッチ・データ・サービスを最大化し、数千億のファイルやオブジェクトをサポート
• 自動化された API と高性能ネイティブ NFS、SMB、S3 プロトコルのサポートを活用して、導入、管理、アップグレードが手間いらず

FlashBlade が、これら 3 つの革新的な組織における高性能コンピューティングの推進にどのように役立っているかをご覧ください。>>