「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfrastructure.osscons.jp]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。

-[[戻る>要素技術]]

*目次 [#r80c7cf2]
#contents

*概要 [#m631e009]
時代はビッグデータのハズ？

**3V [#wecdc89e]
以下の増加。

***量（Volume） [#xb79de4b]
-データ量

-テクノロジー
--超並列処理（Massively Parallel Processing）
--[[分散処理>分散処理#o97a1890]]

***処理速度（Velocity） [#o4888c69]
-データの生成される速度

-テクノロジー
--CEP（Complex Event Processing）
--[[ストリーム処理>分散処理#m55c61c3]]

***多様性（Variety） [#nd370c2d]
-扱うデータの多様性

-テクノロジー
--現実的な難題の多い分野
--まだテクノロジーが問題を解決していない分野

**4V [#bb64edc2]

***[[3V>#wecdc89e]] [#wf048a7e]

***Veracity [#n2133a56]
-データの正確さ

-テクノロジー~
[[Variety>#nd370c2d]]と同様に、まだテクノロジーが問題を解決していない分野

*詳細 [#s76f01c6]

**データパイプライン [#t482d866]

***データ収集（データ転送） [#va54b85c]
-バルク型（bulk）
--[[分散（バッチ）処理>分散処理#o97a1890]]

-ストリーミング型（streaming）
--[[ストリーム処理>分散処理#m55c61c3]]

***データレイク → データマート [#o2e72d99]
-複雑化した[[ETLプロセス>EAI/ETL#eed58b6f]]に追加された概念。

-単なるストレージで、
--前述の[[データ収集（データ転送）>#va54b85c]]の後、
--[[分散（バッチ）処理>分散処理#o97a1890]]で、データマートに切り出される。

***ワークフロー管理ツール [#t0d27b60]
前述の、[[データレイク → データマート>#o2e72d99]]の処理をワークフロー化する。

-データ集約プロセス
--データ検索
--データ加工

-可視化プロセス
--データ可視化

***データ エンジニア、データ アナリスト [#d3d4e3ad]
-データ エンジニア~
データ収集・蓄積のシステムの構築・運用、自動化などを担当

-データ アナリスト~
データから価値ある情報を引き出す

**サービス、ツール [#md66f3c3]

***サービス [#x13117f1]
ビッグデータ基盤を含めてのモノが多い。
-Azure SQL Data Warehouse
-Google BigQuery 
-Amazon Redshift

***[[ツール>データ解析#nf68b131]] [#lef81f7d]
ビッグデータ基盤のウワモノとなるデータ解析ツール

*参考 [#w2525607]

**関連 [#c93a3ff8]

***[[ストレージ]] [#a1e97de1]

***[[NoSQL]] [#p8268acb]

***[[EAI/ETL]] [#a9f2c209]

***[[分散処理]] [#v361b883]

***[[IoT]] [#c0a7abae]
***[[人工知能（AI）]] [#v907c536]

**ゼッタテクノロジー株式会社 [#a2b10807]
データ活用塾~
https://www.zetta.co.jp/bigdata/

***ビッグデータ活用講座 [#gef858d5]
https://www.zetta.co.jp/bigdata/l_000_top.shtml

-始めに　ビッグデータとは
-第１回　問題解決方法
-第２回　データクレンジング
-第３回　単純集計とカテゴライズ
-第４回　Excelを使ったクロス集計
-第５回　多重クロス集計1
-第６回　多重クロス集計2
-第７回　アソシエーション分析１
-第８回　アソシエーション分析２

***特別講座 [#ac6863e0]
https://www.zetta.co.jp/bigdata/sl_101.shtml

-杉浦先生基調講演：前編
-杉浦先生基調講演：中編
-杉浦先生基調講演：後編
トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS