ピュア・ナレッジ
What Is A Data Pipeline

データ・パイプラインとは？

データ・パイプラインとは、組織の技術スタック内のある場所から別の場所へデータを移動する手段です。これには、データを一端からもう一端へ移動させる際に役立つ、あらゆる構築や処理のブロックが含まれます。

データ・パイプラインは通常、以下で構成されます。

ソース: SaaSアプリケーションやデータベースなど
処理: データがパイプラインを通じて移動する際に行われる操作。変換（例: 標準化、並べ替え、重複排除、検証）や、検証、拡張、フィルタリング、グループ化、集計などが含まれます。
送信先：データウェアハウスやデータレイクなどのデータストアが最も一般的

一般的なデータ・パイプラインのユースケースには、次のようなものがあります。

予測分析
リアルタイムのダッシュボードとレポート
データの保存、強化、移動、変換

データ・パイプラインは社内で構築できますが、弾力性と柔軟性を備えたクラウドで構築されることがより一般的になりました。

データ・パイプラインのメリット

データ・パイプラインは、ビジネスにメリットをもたらす方法でデータを操作し、データを最適化し、その価値を最大化します。例えば、大都市の信号機を自動化するアプリケーションを開発・販売する企業は、データ・パイプラインを使用して機械学習用のデータセットをトレーニングし、そのアプリケーションを都市に最適に動作させることで、信号機が効率的に道路を通過できるようにするかもしれません。

データ・パイプラインの主なメリット：

データ分析：データ・パイプラインは、複数のソースからデータを収集し、全てを単一の場所に配置することで、データを分析することを可能にします。理想的には、この分析は、データから最大値を引き出すためにリアルタイムで行われます。
ボトルネックの解消：データ・パイプラインは、ある場所から別の場所へのデータのスムーズな流れを保証するため、データ・サイロの問題を回避し、データの価値を急速に失ったり、何らかの形で破損したりするボトルネックを排除します。
ビジネス上の意思決定の改善：データ分析を可能にし、ボトルネックを排除することで、データ・パイプラインは、迅速かつ強力なビジネス・インサイトを得るためにデータを使用する能力を提供します。

データ・パイプラインにおける自動化とオーケストレーションの重要性

自動化とオーケストレーションは、データ・パイプラインの重要な側面です。データ・パイプラインの自動化とは、データ・パイプラインのコンポーネントを、必要なタイミングと速度で実行することです。データ・パイプラインのオーケストレーションとは、全てのコンポーネントを連携して実行するプロセスです。

完全なデータ・パイプラインの自動化により、さまざまなソースからのデータをシームレスに統合し、ビジネス・アプリケーションやデータ分析を促進し、リアルタイム・データを迅速に計算し、より良いビジネス上の意思決定を推進し、クラウドベースのソリューションを容易に拡張できます。

オーケストレーションにより、DataOps チームはエンドツーエンドのデータ・パイプラインの管理と制御を一元化できます。これにより、監視とレポートを実行し、プロアクティブなアラートを得ることができます。

データ・パイプラインと ETL の比較

データ・パイプラインと同様に、ETL パイプラインとしても知られる ETL（抽出、変換、ロード）システムは、データをある場所から別の場所へと移動させます。

しかし、データ・パイプラインとは異なり、ETL パイプラインは、定義上、以下のような特徴があります。

ETL パイプラインは常に何らかの方法でデータを変換することを伴いますが、データ・パイプラインには必ずしもデータの変換が伴うとは限りません。
ETL パイプラインはバッチ処理でデータを一度に移動させるのに対し、データ・パイプラインはリアルタイムで動作します。
データをデータベースやデータウェアハウスにロードすることで終了するのに対し、データ・パイプラインは必ずしもデータをロードすることで終了する必要はありません。代わりに、Webhook をトリガーすることで、新しいプロセスやフローをアクティブにすることができます。

ETL システムは、通常、データ・パイプラインのサブセットですが、必ずしもそうではありません。

データ・パイプラインを最大限に活用する方法

データ・パイプラインは、その構成要素と同じくらい効率的で効果的です。1 つのリンクが脆弱または壊れると、パイプライン全体が破壊され、多額の投資や時間の損失につながります。

そのため、今日の企業は、膨大なコストをかけずにデータを最大限に活用できるソリューションを求めています。

統合型高速ファイル／オブジェクト（UFFO）ストレージ・プラットフォームなどのデータ・ストレージ・ソリューションは、構造化データと非構造化データの両方を含む全てのデータを、アクセス可能な中央のデータ・レイヤーに統合します。データ・ウェアハウスとは対照的に、運用データを処理でき、データ・レイクとは異なり、複数の形式でデータを処理できます。

UFFO ストレージ・プラットフォームは、データ・レイクとデータ・ウェアハウスを単一のアクセス・レイヤーに統合し、多様なエンドポイント間のデータ共有を合理化するために必要なデータ・ガバナンスを提供します。データハブにより、データ処理が抽象化され、ビジネス・インテリジェンス（BI）の知見を引き出すための一元化された場所を提供します。

ピュア・ストレージの FlashBlade は、業界をリードする UFFO ストレージ・プラットフォームです。FlashBlade は、データ・ウェアハウスの分析やレポート・ワークロードを処理するだけでなく、以下の機能を提供します。