ビッグデータ

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • 要素技術
  • DXのポイント

目次 †

概要 †

時代はビッグデータのハズ？

3V †

以下の増加。

量（Volume） †

• データ量

• テクノロジー
  • 超並列処理（Massively Parallel Processing）
  • 分散処理

処理速度（Velocity） †

• データの生成される速度

• テクノロジー
  • ストリーム処理
    • データ収集(DC)系
    • シングル・イベント・プロセッサ(SEP)系
    • 複雑イベントプロセッサ(CEP)、
      イベントストリームプロセッサエンジン(ESP)系

多様性（Variety） †

• 扱うデータの多様性

• テクノロジー
  • 現実的な難題の多い分野
  • まだテクノロジーが問題を解決していない分野

4V †

3V †

Veracity †

• データの正確さ

• テクノロジー
  Varietyと同様に、まだテクノロジーが問題を解決していない分野

詳細 †

基盤部分 †

スタック＆コラボレーション †

• IoT → ビッグデータ → 人工知能（AI）

• プロダクトの組み合わせ（Azure IoT）

データ・パイプライン †

• フロントエンドからバックエンドまでの流れ
• Device、Edge、Cloud（データストア、分析など）

サービス、ツール †

≒ 上モノ

サービス †

基盤部分の共通部をサービス化したもので、
業務内容に合わせて、前後の部分はコンパチ可能になっている。

• Azure
  • Synapse
  • HDInsight

• Google BigQuery?
• Amazon Redshift

ツール †

ビッグデータ基盤のウワモノとなるデータ解析ツール

分散処理（ビッグデータ・ソリューション） †

参考 †

関連 †

ストレージ †

NoSQL †

EAI/ETL †

分散処理 †

ゼッタテクノロジー株式会社 †

データ活用塾
https://www.zetta.co.jp/bigdata/

ビッグデータ活用講座 †

https://www.zetta.co.jp/bigdata/l_000_top.shtml

• 始めに　ビッグデータとは
• 第１回　問題解決方法
• 第２回　データクレンジング
• 第３回　単純集計とカテゴライズ
• 第４回　Excelを使ったクロス集計
• 第５回　多重クロス集計1
• 第６回　多重クロス集計2
• 第７回　アソシエーション分析１
• 第８回　アソシエーション分析２

特別講座 †

https://www.zetta.co.jp/bigdata/sl_101.shtml

• 杉浦先生基調講演：前編
• 杉浦先生基調講演：中編
• 杉浦先生基調講演：後編