ビッグデータ

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る

目次 †

概要 †

時代はビッグデータのハズ？

3V †

以下の増加。

量（Volume） †

• データ量

• テクノロジー
  • 超並列処理（Massively Parallel Processing）
  • 分散処理

処理速度（Velocity） †

• データの生成される速度

• テクノロジー
  • CEP（Complex Event Processing）
  • ストリーム処理

多様性（Variety） †

• 扱うデータの多様性

• テクノロジー
  • 現実的な難題の多い分野
  • まだテクノロジーが問題を解決していない分野

4V †

3V †

Veracity †

• データの正確さ

• テクノロジー
  Varietyと同様に、まだテクノロジーが問題を解決していない分野

詳細 †

データパイプライン †

データ収集（データ転送） †

• バルク型（bulk）
  • 分散（バッチ）処理

• ストリーミング型（streaming）
  • ストリーム処理

データレイク → データマート †

• 複雑化したETLプロセスに追加された概念。

• 単なるストレージで、
  • 前述のデータ収集（データ転送）の後、
  • 分散（バッチ）処理で、データマートに切り出される。

ワークフロー管理ツール †

前述の、データレイク → データマートの処理をワークフロー化する。

• データ集約プロセス
  • データ検索
  • データ加工

• 可視化プロセス
  • データ可視化

データ エンジニア、データ アナリスト †

• データ エンジニア
  データ収集・蓄積のシステムの構築・運用、自動化などを担当

• データ アナリスト
  データから価値ある情報を引き出す

サービス、ツール †

サービス †

ビッグデータ基盤を含めてのモノが多い。

• Azure SQL Data Warehouse
• Google BigQuery?
• Amazon Redshift

ツール †

ビッグデータ基盤のウワモノとなるデータ解析ツール

参考 †

関連 †

ストレージ †

NoSQL †

EAI/ETL †

分散処理 †

IoT †

ゼッタテクノロジー株式会社 †

データ活用塾
https://www.zetta.co.jp/bigdata/

ビッグデータ活用講座 †

https://www.zetta.co.jp/bigdata/l_000_top.shtml

• 始めに　ビッグデータとは
• 第１回　問題解決方法
• 第２回　データクレンジング
• 第３回　単純集計とカテゴライズ
• 第４回　Excelを使ったクロス集計
• 第５回　多重クロス集計1
• 第６回　多重クロス集計2
• 第７回　アソシエーション分析１
• 第８回　アソシエーション分析２

特別講座 †

https://www.zetta.co.jp/bigdata/sl_101.shtml

• 杉浦先生基調講演：前編
• 杉浦先生基調講演：中編
• 杉浦先生基調講演：後編