ピュア・ナレッジ
Amazon FSx for Lustre とは

Amazon FSx for Lustre とは

Amazon FSx for Lustre は、高速処理、スケーラビリティ、コスト効率を提供するコンピューティング集約型ワークロードのための、完全に管理された高性能ファイル・システムです。

「FSx」は「完全に管理されたファイル・システム」を意味し、Amazon は現在、オープンソースの Lustre ファイル・システムを含む、広く使用されているいくつかのファイル・システムに FSx サービスを提供しています。

Lustre ファイル・システムとは

「Linux」と「クラスタ」の組み合わせから生まれた名前を持つ Lustre は、並列で分散されたファイル・システムです。クラスタ・コンピューティングに非常に大規模に使用されることが最も一般的です。実際、Lustre は、2022 年 11 月の時点で、世界最速のスーパーコンピュータのトップ 10 のうち少なくとも 5 つでファイル・システムとして選ばれています。

Lustre は、数万ノード、数百台のサーバーにわたる数十ペタバイトのストレージ、1 テラバイト／秒（TB/s）を超える平均スループットを持つ多くのクラスタを運用できる優れたスケーラビリティと能力により、スーパーコンピュータ、大規模なデータセンター、シミュレータ、その他の高性能コンピューティング組織の間で人気のある選択肢となっています。

FSx for Lustre の活用方法

Amazon FSx for Lustre は、完全マネージド・サービスであるため、組織の Lustre システムの運用と管理を簡素化します。このサービスは、Lustre のセットアップ、構成、管理の手間を省きます。必要な高性能ファイル・システムを数分で簡単に入手できます。また、複数の導入オプションにより、ニーズに最も費用対効果の高いモデルを選択できます。

EFS、EBS、FSx の違い

FSx に加えて、AWS は、Elastic File System（EFS）や Elastic Block Store（EBS）などのデータ・ストレージ・オプションを提供しています。これらの製品の違いや、企業の独自のニーズに最適なオプションを理解するのは、少し混乱することもあります。

AWS は、ファイル、ブロック、オブジェクト・ストレージなど、さまざまなタイプのストレージのオプション AWS を提供しています。これらのストレージ・タイプはそれぞれ、データの保存方法が異なるだけです。EFS と EBS を FSx と比較する前に、EFS と EBS を個別に詳しく見てみましょう。

Elastic File System（EFS）

EFS は、ファイル・ストレージ・システムです。つまり、データは階層（ほとんどの PC のディレクトリ、フォルダ、ファイル・システム・ストレージのように）に保存されます。高度にスケーラブルで完全に管理された EFS は、Mac または Linux オペレーティング・システムで EC2 インスタンスに接続でき、オンプレミスのデータセンターのコンピューティング・リソースにも接続できます。ストレージはペタバイトの容量に拡張でき、数千のインスタンスにわたって低遅延を提供します。低遅延とスケーラビリティにより、多くの組織が EFS を使用してオンプレミスのアプリケーションやワークロードを直接クラウドに移行しています。

EFS には、手頃な価格でスケーラブルでアクセスしやすい集中型ファイル・ストレージが含まれています。共有ストレージはクラウドと互換性があり、再コーディングを行わなくても簡単に統合できます。

EFS には、Windows では動作しないという事実や、ファイル・ストレージは、1 秒あたりの入出力操作（IOPS）に関してブロック・ストレージの高性能を提供することができないという事実が含まれます。ファイル・ストレージは、データ・ボリュームが十分に大きくなると管理が難しくなり、特定のファイルを見つけるには、特定のファイルへのパスを知る必要があります。

Elastic Block Store（EBS）

これは、AWS のブロック・ストレージ・オプションです。ブロック・ストレージは、高速で安定していることで知られています。主に、メタデータが含まれておらず、オペレーティング・システムに関係なく、ブロックを最も効率的な場所に格納したり、複数のサーバーに分散させたりできるためです。EBS ストレージは、Amazon Elastic Compute Cloud（EC2）のインスタンス、特にトランザクションが多く、容易に拡張する必要があるインスタンスに接続されています。たとえば、EBS を使用して、非構造化 NoSQL データベースや、自己管理型のリレーショナル・データベースを保存している組織もあります。

EBS の長所には、スピード、柔軟性、信頼性があります。そのため、低遅延を必要とするトランザクション量の多いユースケースに最適です。また、個々のブロック（オブジェクト・ストレージのようにオブジェクト全体ではなく）を上書きすることでブロック・ストレージを更新できるため、更新や変更は迅速かつ効率的に行われます。

EBS にはメタデータの欠如が含まれており、保存は高速ですが、検索は遅くなります。EBS ストレージは、一度に 1 台のサーバーにしか接続できません（ただし、EBS マルチアタッチ機能がある場合もあります）。

FSx と EFS および EBS の比較

Amazon FSx for Lustre は、超高性能を提供します。EFS に似たファイル・ストレージ・システムですが、大きな違いの 1 つは、FSx が Windows で動作できることです。FSx の性能は、AI や機械学習、大規模なデータ分析プロジェクト、ビデオ処理やデジタル効果、財務分析などの高負荷ワークロードにおいて EFS や EBS の性能を上回ります。

FSx は EFS や EBS よりも TCO が低く、短期および長期のストレージに柔軟なデータ処理オプションを提供します。また、FSx は、システムをホストするファイル・サーバーがファイル・データを提供し、EFS や EBS よりも高レベルのスループットを提供できる速度を決定できます。IOPS のレベルが高く、キャッシュ用のメモリも多くなります。

Amazon FSx for Lustre の仕組み

Amazon FSx for Lustre は、Lustre ファイル・システムへの容易なアクセスを可能にします。これらのシステムは、複数のサーバーやストレージ・ディスクに必要に応じて拡張できます。そのため、FSx は、ユーザーが他のファイル・システムで直面する従来のボトルネックの多くを排除できます。

Amazon FSx for Lustre ファイル・システムは、一元化されたファイルサーバーと、データを保持する多数のストレージディスクで構成されています。クライアントはファイル・サーバーと通信し、高速なインメモリ・キャッシュを使用して最も定期的にアクセスされるデータの性能を最適化できます。クライアントがインメモリ・キャッシュや SSD に格納された情報にアクセスしたい場合、サーバーがディスクから情報を読み取る必要がないというのが、高速な理由です。したがって、遅延は小さく、スループットも高くなります。

また、FSx は、ソリッドステート・ドライブ（SSD）またはハードディスク・ドライブ（HDD）のどちらを使用するかに基づいて、2 つのストレージ・オプションを提供します。組織のニーズに応じた最適な選択肢は、次のとおりです。

SSD ストレージは、遅延に敏感なワークロードや、最高のスループットや IOPS を必要とするワークロードに最適です。
HDD ストレージは、高スループットを必要とするワークロードに最適ですが、超低遅延には大きく依存しません。

Lustre 用に Amazon FSx を設定するには：

AWS 管理コンソールを使用して、ファイル・システムを作成します。コマンドライン・インターフェース（CLI）、またはソフトウェア開発キット（SDK）を使用することもできます。ここでは、スクラッチまたは永続の展開オプションを指定することもできます（以下を参照）。
Amazon S3 ストレージを使用している場合は、新しく作成したファイル・システムを S3 バケットにリンクし、S3 に格納された全てのデータセットを処理してアクセスできるようにします。
EC2、EKS、オンプレミス・クライアントなどの Linux クライアントを使用して、ファイル・システムにアクセスします。
機械学習から高性能コンピューティング、メディア・レンダリングまで、アプリケーションの実行に必要な高性能を提供する共有ファイル・ストレージを提供します。

FSx のスクラッチ・モードと永続・モードの違い

組織は、Amazon FSx for Lustre を使用する際に、スクラッチと永続の 2 つの展開オプションを選択できます。どちらを選択するかは、データの保存期間によって異なります。

スクラッチ・ファイル・システムは、より短期的なデータ処理や一時的なデータ・ストレージのために使用することを目的としています。システムはスクラッチ・データを複製しないため、ファイル・サーバーが故障するとデータが失われる可能性があります。スクラッチ・ファイル・システムの利点は、優れたスループットを提供することです。これは、ストレージ容量の 1 TiB あたり 200 MBps（1 TB 強に相当）の標準ベースラインの最大 6 倍に相当します。

スクラッチ・ファイル・システムに最適なユースケースには、処理に手間がかかり、短期間でしか必要とされないワークロードのためのコスト効率の高いストレージが含まれます。

永続ファイル・システムは、長期間保存する必要があるワークロードに使用することを目的としています。このストレージ・タイプは、可用性が高く、保存されている場合、ファイル・システムが存在する AWS 可用性ゾーンに自動的にレプリケートされます。ここでの利点は、サーバーに障害が発生した場合、わずか数分で格納されたデータが置き換えられることです。

永続ファイル・システムの一般的なユースケースには、コンテナ用の永続ストレージ、S3 に格納されたデータレイク、長期ストレージを必要とする高性能コンピューティング、無期限に実行する必要があるスループット重視のワークロード、可用性の中断に敏感なワークロードなどがあります。

Lustre のための Amazon FSx のメリット

Lustre に Amazon FSx を使用するメリットには、次のようなものがあります。

柔軟な高性能：拡張性、一貫性、予測性に優れた高速性能を提供します。
高可用性と耐久性：展開オプションにより、適切なレベルの可用性とデータの耐久性を確保できます。
使いやすさ： 完全に管理されたサービスにより、バックアップ、更新、消費を気にすることなく、ファイル・システムを数分で簡単にスピンアップできます。
コスト効率：FSx は、コストと性能の適切なバランスを見つけるための多くのストレージ・オプションと選択肢を提供します。さらに、セットアップ料金や最低料金は不要で、使用するリソースのみを支払う責任があります。
セキュリティとコンプライアンス： 転送中および保存中のデータの暗号化は自動的に行われ、必要に応じてネットワーク・アクセスを制御できます。
AWS サービスとのシンプルな統合：FSx は、他の全ての AWS サービスで簡単に使用できます。

ファイル・システムのための高性能永続ストレージ

FSx と EFS は、Amazon Elastic Kubernetes Service ベースのファイル・システムに対して実行可能な永続的ストレージ・オプションですが、ピュア・ストレージの Portworx は、その両方に勝る重要なメリットを提供します。Portworx は、クラウドネイティブなデータ・サービスを、あらゆるクラウドで、あらゆる Kubernetes プラットフォームを使用して実行することを可能にします。高可用性、データ保護、データ・セキュリティ、ハイブリッド・クラウドのモビリティが組み込まれています。Portwox は、これら全てにより、次のような大きなメリットをもたらします。