.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

時代はビッグデータのハズ?

3V

以下の増加。

量(Volume)

  • データ量
  • テクノロジー
    • 超並列処理(Massively Parallel Processing)
    • 分散処理

処理速度(Velocity)

  • データの生成される速度
  • テクノロジー
    • ストリーム処理
      • データ収集(DC)系
      • シングル・イベント・プロセッサ(SEP)系
      • 複雑イベントプロセッサ(CEP)、
        イベントストリームプロセッサエンジン(ESP)系

多様性(Variety)

  • 扱うデータの多様性
  • テクノロジー
    • 現実的な難題の多い分野
    • まだテクノロジーが問題を解決していない分野

4V

3V

Veracity

  • データの正確さ
  • テクノロジー
    Varietyと同様に、まだテクノロジーが問題を解決していない分野

詳細

基盤部分

スタック&コラボレーション

プロダクトの組み合わせ

データ・パイプライン

  • フロントエンドからバックエンドまでの流れ
  • Device、Edge、Cloud(データストア、分析など)

サービス、ツール

≒ 上モノ

サービス

基盤部分の共通部をサービス化したもので、
業務内容に合わせて、前後の部分はコンパチ可能になっている。

  • Google BigQuery?
  • Amazon Redshift

ツール

ビッグデータ基盤のウワモノとなるデータ解析ツール

参考

関連

ストレージ

NoSQL

EAI/ETL

分散処理

IoT

人工知能(AI)

ゼッタテクノロジー株式会社

データ活用塾
https://www.zetta.co.jp/bigdata/

ビッグデータ活用講座

https://www.zetta.co.jp/bigdata/l_000_top.shtml

  • 始めに ビッグデータとは
  • 第1回 問題解決方法
  • 第2回 データクレンジング
  • 第3回 単純集計とカテゴライズ
  • 第4回 Excelを使ったクロス集計
  • 第5回 多重クロス集計1
  • 第6回 多重クロス集計2
  • 第7回 アソシエーション分析1
  • 第8回 アソシエーション分析2

特別講座

https://www.zetta.co.jp/bigdata/sl_101.shtml

  • 杉浦先生基調講演:前編
  • 杉浦先生基調講演:中編
  • 杉浦先生基調講演:後編

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2020-10-27 (火) 15:53:10 (4d)