データ・パイプラインのバックアップ(No.1) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

目次
概要
詳細

概要 †

詳細 †

データ収集（データ転送） †

バルク型（bulk）
- 分散（バッチ）処理

ストリーミング型（streaming）
- ストリーム処理

データレイク → データマート †

複雑化したETLプロセスに追加された概念。

単なるストレージで、
- 前述のデータ収集（データ転送）の後、
- 分散（バッチ）処理で、データマートに切り出される。

ワークフロー管理ツール †

前述の、データレイク → データマートの処理をワークフロー化する。

データ集約プロセス
- データ検索
- データ加工

可視化プロセス
- データ可視化

データエンジニア、データアナリスト †

データエンジニア
データ収集・蓄積のシステムの構築・運用、自動化などを担当