- 追加された行はこの色です。
- 削除された行はこの色です。
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfrastructure.osscons.jp]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。
-[[戻る>要素技術]]
*目次 [#r80c7cf2]
#contents
*概要 [#m631e009]
時代はビッグデータのハズ?
**3V [#wecdc89e]
以下の増加。
***量(Volume) [#xb79de4b]
-データ量
-テクノロジー
--超並列処理(Massively Parallel Processing)
--[[分散処理>分散処理#o97a1890]]
***処理速度(Velocity) [#o4888c69]
-データの生成される速度
-テクノロジー
--CEP(Complex Event Processing)
--[[ストリーム処理>分散処理#m55c61c3]]
---データ収集(DC)系
---シングル・イベント・プロセッサ(SEP)系
---複雑イベントプロセッサ(CEP)、~
イベントストリームプロセッサエンジン(ESP)系
***多様性(Variety) [#nd370c2d]
-扱うデータの多様性
-テクノロジー
--現実的な難題の多い分野
--まだテクノロジーが問題を解決していない分野
**4V [#bb64edc2]
***[[3V>#wecdc89e]] [#wf048a7e]
***Veracity [#n2133a56]
-データの正確さ
-テクノロジー~
[[Variety>#nd370c2d]]と同様に、まだテクノロジーが問題を解決していない分野
*詳細 [#s76f01c6]
**基盤部分 [#s4293680]
***スタック&コラボレーション [#bf7181f3]
プロダクトの組み合わせ
-[[Elastic Stack>Elasticsearch#r521f91b]]
-, etc.
***[[データ・パイプライン]] [#t482d866]
-フロントエンドからバックエンドまでの流れ
-Device、Edge、Cloud(データストア、分析など)
**サービス、ツール [#md66f3c3]
≒ 上モノ
***サービス [#x13117f1]
[[基盤部分>#s4293680]]の共通部をサービス化したもので、~
業務内容に合わせて、前後の部分はコンパチ可能になっている。
-[[Azure>https://techinfoofmicrosofttech.osscons.jp/index.php?Azure#p21693dd]]
--[[Synapse>https://techinfoofmicrosofttech.osscons.jp/index.php?Azure%20Synapse]]
--[[HDInsight>https://techinfoofmicrosofttech.osscons.jp/index.php?Azure%20HDInsight]]
-Google BigQuery
-Amazon Redshift
***[[ツール>データ解析#nf68b131]] [#lef81f7d]
ビッグデータ基盤のウワモノとなるデータ解析ツール
*参考 [#w2525607]
**関連 [#c93a3ff8]
***[[ストレージ]] [#a1e97de1]
***[[NoSQL]] [#p8268acb]
***[[EAI/ETL]] [#a9f2c209]
***[[分散処理]] [#v361b883]
***[[IoT]] [#c0a7abae]
***[[人工知能(AI)]] [#v907c536]
**ゼッタテクノロジー株式会社 [#a2b10807]
データ活用塾~
https://www.zetta.co.jp/bigdata/
***ビッグデータ活用講座 [#gef858d5]
https://www.zetta.co.jp/bigdata/l_000_top.shtml
-始めに ビッグデータとは
-第1回 問題解決方法
-第2回 データクレンジング
-第3回 単純集計とカテゴライズ
-第4回 Excelを使ったクロス集計
-第5回 多重クロス集計1
-第6回 多重クロス集計2
-第7回 アソシエーション分析1
-第8回 アソシエーション分析2
***特別講座 [#ac6863e0]
https://www.zetta.co.jp/bigdata/sl_101.shtml
-杉浦先生基調講演:前編
-杉浦先生基調講演:中編
-杉浦先生基調講演:後編