「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
データ・パイプライン...まさに配管。
詳細 †
データ収集（データ転送） †
バルク型（bulk） †
分散（バッチ）処理
ストリーミング型（streaming） †
ストリーム処理
ワークフロー管理ツール †
前述の、データレイク → データマートの処理をワークフロー化する。
データ集約プロセス †
可視化プロセス †
データ エンジニア、データ アナリスト †
データ エンジニア †
データ収集・蓄積のシステムの構築・運用、自動化などを担当
データ アナリスト †
データから価値ある情報を引き出す
事例 †
- Nifi + Kafka + Strom を用いたデータ処理ハンズオン
- 事例の理解には、先ず、ココの理解が重要になりそう。
- 「"こう言う業務"だから、"こう言うプロダクト"が選定されているのか。」的な。
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
