ビッグデータのバックアップ(No.25) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- 要素技術
- DXのポイント

目次 †

概要 †

時代はビッグデータのハズ？

3V †

以下の増加。

量（Volume） †

データ量

テクノロジー
- 超並列処理（Massively Parallel Processing）
- 分散処理

処理速度（Velocity） †

データの生成される速度

テクノロジー
- ストリーム処理
  - データ収集(DC)系
  - シングル・イベント・プロセッサ(SEP)系
  - 複雑イベントプロセッサ(CEP)、
    イベントストリームプロセッサエンジン(ESP)系

多様性（Variety） †

扱うデータの多様性

テクノロジー
- 現実的な難題の多い分野
- まだテクノロジーが問題を解決していない分野

4V †

3V †

Veracity †

データの正確さ

テクノロジー
Varietyと同様に、まだテクノロジーが問題を解決していない分野

詳細 †

基盤部分 †

スタック＆コラボレーション †

IoT → ビッグデータ → 人工知能（AI）

プロダクトの組み合わせ（Azure IoT）

データ・パイプライン †

フロントエンドからバックエンドまでの流れ
Device、Edge、Cloud（データストア、分析など）

サービス、ツール †

≒ 上モノ

サービス †

基盤部分の共通部をサービス化したもので、
業務内容に合わせて、前後の部分はコンパチ可能になっている。

Azure
- Synapse
- HDInsight

Google BigQuery?
Amazon Redshift

ツール †

ビッグデータ基盤のウワモノとなるデータ解析ツール

分散処理（ビッグデータ・ソリューション） †

参考 †

関連 †

ストレージ †

NoSQL †

EAI/ETL †

分散処理 †

ゼッタテクノロジー株式会社 †

データ活用塾
https://www.zetta.co.jp/bigdata/

ビッグデータ活用講座 †

https://www.zetta.co.jp/bigdata/l_000_top.shtml

始めに　ビッグデータとは
第１回　問題解決方法
第２回　データクレンジング
第３回　単純集計とカテゴライズ
第４回　Excelを使ったクロス集計
第５回　多重クロス集計1
第６回　多重クロス集計2
第７回　アソシエーション分析１
第８回　アソシエーション分析２

特別講座 †

https://www.zetta.co.jp/bigdata/sl_101.shtml

杉浦先生基調講演：前編
杉浦先生基調講演：中編
杉浦先生基調講演：後編

ビッグデータ | Coursera †

https://www.coursera.org/specializations/big-data

Introduction to Big Data †

https://www.coursera.org/learn/big-data-introduction?specialization=big-data

Big Data Modeling and Management Systems †

https://www.coursera.org/learn/big-data-management?specialization=big-data

Big Data Integration and Processing †

https://www.coursera.org/learn/big-data-integration-processing?specialization=big-data

Machine Learning With Big Data †

https://www.coursera.org/learn/big-data-machine-learning?specialization=big-data