.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

時代はビッグデータのハズ?

3V

以下の増加。

量(Volume)

  • データ量
  • テクノロジー
    • 超並列処理(Massively Parallel Processing)
    • 分散処理

処理速度(Velocity)

  • データの生成される速度

多様性(Variety)

  • 扱うデータの多様性
  • テクノロジー
    • 現実的な難題の多い分野
    • まだテクノロジーが問題を解決していない分野

4V

3V

Veracity

  • データの正確さ
  • テクノロジー
    Varietyと同様に、まだテクノロジーが問題を解決していない分野

詳細

データパイプライン

データ収集(データ転送)

データレイク → データマート

ワークフロー管理ツール

前述の、データレイク → データマートの処理をワークフロー化する。

  • データ集約プロセス
    • データ検索
    • データ加工
  • 可視化プロセス
    • データ可視化

データ エンジニア、データ アナリスト

  • データ エンジニア
    データ収集・蓄積のシステムの構築・運用、自動化などを担当
  • データ アナリスト
    データから価値ある情報を引き出す

サービス、ツール

サービス

ビッグデータ基盤を含めてのモノが多い。

  • Azure SQL Data Warehouse
  • Google BigQuery?
  • Amazon Redshift

ツール

ビッグデータ基盤のウワモノとなるデータ解析ツール

参考

関連

ストレージ

NoSQL

EAI/ETL

分散処理

IoT

ゼッタテクノロジー株式会社

データ活用塾
https://www.zetta.co.jp/bigdata/

ビッグデータ活用講座

https://www.zetta.co.jp/bigdata/l_000_top.shtml

  • 始めに ビッグデータとは
  • 第1回 問題解決方法
  • 第2回 データクレンジング
  • 第3回 単純集計とカテゴライズ
  • 第4回 Excelを使ったクロス集計
  • 第5回 多重クロス集計1
  • 第6回 多重クロス集計2
  • 第7回 アソシエーション分析1
  • 第8回 アソシエーション分析2

特別講座

https://www.zetta.co.jp/bigdata/sl_101.shtml

  • 杉浦先生基調講演:前編
  • 杉浦先生基調講演:中編
  • 杉浦先生基調講演:後編

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2019-05-16 (木) 11:16:59 (99d)