データ・パイプラインのバックアップ(No.2) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

目次
概要
詳細

概要 †

データ・パイプライン...まさに配管。

イメージ

詳細 †

データ収集（データ転送） †

バルク型（bulk） †

分散（バッチ）処理

ストリーミング型（streaming） †

ストリーム処理

データレイク → データマート †

複雑化したETLプロセスに追加された概念。

単なるストレージで、
- 前述のデータ収集（データ転送）の後、
- 分散（バッチ）処理で、データマートに切り出される。

データマート †

データレイク †

ワークフロー管理ツール †

前述の、データレイク → データマートの処理をワークフロー化する。

データ集約プロセス †

データ検索
データ加工

可視化プロセス †

データ可視化

データエンジニア、データアナリスト †

データエンジニア †

データ収集・蓄積のシステムの構築・運用、自動化などを担当

データアナリスト †

データから価値ある情報を引き出す