「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
時代はビッグデータのハズ?
3V †
以下の増加。
量(Volume) †
- テクノロジー
- 超並列処理(Massively Parallel Processing)
- 分散処理
処理速度(Velocity) †
- テクノロジー
- CEP(Complex Event Processing)
- ストリーム処理
多様性(Variety) †
- テクノロジー
- 現実的な難題の多い分野
- まだテクノロジーが問題を解決していない分野
4V †
Veracity †
- テクノロジー
Varietyと同様に、まだテクノロジーが問題を解決していない分野
詳細 †
データパイプライン †
データ収集(データ転送) †
データレイク → データマート †
ワークフロー管理ツール †
前述の、データレイク → データマートの処理をワークフロー化する。
データ エンジニア、データ アナリスト †
- データ エンジニア
データ収集・蓄積のシステムの構築・運用、自動化などを担当
- データ アナリスト
データから価値ある情報を引き出す
サービス、ツール †
サービス †
ビッグデータ基盤を含めてのモノが多い。
- Azure SQL Data Warehouse
- Google BigQuery?
- Amazon Redshift
ビッグデータ基盤のウワモノとなるデータ解析ツール
参考 †
関連 †
ゼッタテクノロジー株式会社 †
データ活用塾
https://www.zetta.co.jp/bigdata/
ビッグデータ活用講座 †
https://www.zetta.co.jp/bigdata/l_000_top.shtml
- 始めに ビッグデータとは
- 第1回 問題解決方法
- 第2回 データクレンジング
- 第3回 単純集計とカテゴライズ
- 第4回 Excelを使ったクロス集計
- 第5回 多重クロス集計1
- 第6回 多重クロス集計2
- 第7回 アソシエーション分析1
- 第8回 アソシエーション分析2
特別講座 †
https://www.zetta.co.jp/bigdata/sl_101.shtml
- 杉浦先生基調講演:前編
- 杉浦先生基調講演:中編
- 杉浦先生基調講演:後編