「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfrastructure.osscons.jp]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。 -[[戻る>要素技術]] *目次 [#r80c7cf2] #contents *概要 [#m631e009] 時代はビッグデータのハズ? **3V [#wecdc89e] 以下の増加。 ***量(Volume) [#xb79de4b] -データ量 -テクノロジー --超並列処理(Massively Parallel Processing) --[[分散処理>分散処理#o97a1890]] ***処理速度(Velocity) [#o4888c69] -データの生成される速度 -テクノロジー --CEP(Complex Event Processing) --[[ストリーム処理>分散処理#m55c61c3]] ***多様性(Variety) [#nd370c2d] -扱うデータの多様性 -テクノロジー --現実的な難題の多い分野 --まだテクノロジーが問題を解決していない分野 **4V [#bb64edc2] ***[[3V>#wecdc89e]] [#wf048a7e] ***Veracity [#n2133a56] -データの正確さ -テクノロジー~ [[Variety>#nd370c2d]]と同様に、まだテクノロジーが問題を解決していない分野 *詳細 [#s76f01c6] **データパイプライン [#t482d866] ***データ収集(データ転送) [#va54b85c] -バルク型(bulk) --[[分散(バッチ)処理>分散処理#o97a1890]] -ストリーミング型(streaming) --[[ストリーム処理>分散処理#m55c61c3]] ***データレイク → データマート [#o2e72d99] -複雑化した[[ETLプロセス>EAI/ETL#eed58b6f]]に追加された概念。 -単なるストレージで、 --前述の[[データ収集(データ転送)>#va54b85c]]の後、 --[[分散(バッチ)処理>分散処理#o97a1890]]で、データマートに切り出される。 ***ワークフロー管理ツール [#t0d27b60] 前述の、[[データレイク → データマート>#o2e72d99]]の処理をワークフロー化する。 -データ集約プロセス --データ検索 --データ加工 -可視化プロセス --データ可視化 ***ダッシュボード・ツールとアドホック分析 [#edaac400] データ可視化する際の方法。 -ダッシュボード・ツール~ 定型レポートを参照するエンドユーザ的な人向け -アドホック分析~ アドホック・クエリを投げるパワーユーザ的な人向け ***モニタリング [#e02e4838] -KPI -月次レポート -データドリブンな意思決定 ***データ エンジニア、データ アナリスト [#d3d4e3ad] -データ エンジニア~ データ収集・蓄積のシステムの構築・運用、自動化などを担当 -データ アナリスト~ データから価値ある情報を引き出す **ツール、サービス [#md66f3c3] ***ツール [#lef81f7d] -MotionBoard -Tableau -QlikView -PowerBI ***サービス [#x13117f1] -Azure SQL Data Warehouse -Google BigQuery -Amazon Redshift *参考 [#w2525607] **関連 [#c93a3ff8] ***[[ストレージ]] [#a1e97de1] ***[[NoSQL]] [#p8268acb] ***[[EAI/ETL]] [#a9f2c209] ***[[分散処理]] [#v361b883] ***[[IoT]] [#c0a7abae] **ゼッタテクノロジー株式会社 [#a2b10807] データ活用塾~ https://www.zetta.co.jp/bigdata/ ***ビッグデータ活用講座 [#gef858d5] https://www.zetta.co.jp/bigdata/l_000_top.shtml -始めに ビッグデータとは -第1回 問題解決方法 -第2回 データクレンジング -第3回 単純集計とカテゴライズ -第4回 Excelを使ったクロス集計 -第5回 多重クロス集計1 -第6回 多重クロス集計2 -第7回 アソシエーション分析1 -第8回 アソシエーション分析2 ***特別講座 [#ac6863e0] https://www.zetta.co.jp/bigdata/sl_101.shtml -杉浦先生基調講演:前編 -杉浦先生基調講演:中編 -杉浦先生基調講演:後編