ビッグデータのバックアップ(No.16) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

概要 †

時代はビッグデータのハズ？

3V †

以下の増加。

量（Volume） †

データ量

テクノロジー
- 超並列処理（Massively Parallel Processing）
- 分散処理

処理速度（Velocity） †

データの生成される速度

テクノロジー
- CEP（Complex Event Processing）
- ストリーム処理

多様性（Variety） †

扱うデータの多様性

テクノロジー
- 現実的な難題の多い分野
- まだテクノロジーが問題を解決していない分野

4V †

3V †

Veracity †

データの正確さ

テクノロジー
Varietyと同様に、まだテクノロジーが問題を解決していない分野

詳細 †

データパイプライン †

データ収集（データ転送） †

バルク型（bulk）
- 分散（バッチ）処理

ストリーミング型（streaming）
- ストリーム処理

データレイク → データマート †

複雑化したETLプロセスに追加された概念。

単なるストレージで、
- 前述のデータ収集（データ転送）の後、
- 分散（バッチ）処理で、データマートに切り出される。

ワークフロー管理ツール †

前述の、データレイク → データマートの処理をワークフロー化する。

データ集約プロセス
- データ検索
- データ加工

可視化プロセス
- データ可視化

データエンジニア、データアナリスト †

データエンジニア
データ収集・蓄積のシステムの構築・運用、自動化などを担当

データアナリスト
データから価値ある情報を引き出す

サービス、ツール †

サービス †

ビッグデータ基盤を含めてのモノが多い。

Azure SQL Data Warehouse
Google BigQuery?
Amazon Redshift

ツール †

ビッグデータ基盤のウワモノとなるデータ解析ツール

参考 †

関連 †

ストレージ †

NoSQL †

EAI/ETL †

分散処理 †

IoT †

ゼッタテクノロジー株式会社 †

データ活用塾
https://www.zetta.co.jp/bigdata/

ビッグデータ活用講座 †

https://www.zetta.co.jp/bigdata/l_000_top.shtml

始めに　ビッグデータとは
第１回　問題解決方法
第２回　データクレンジング
第３回　単純集計とカテゴライズ
第４回　Excelを使ったクロス集計
第５回　多重クロス集計1
第６回　多重クロス集計2
第７回　アソシエーション分析１
第８回　アソシエーション分析２

特別講座 †

https://www.zetta.co.jp/bigdata/sl_101.shtml

杉浦先生基調講演：前編
杉浦先生基調講演：中編
杉浦先生基調講演：後編