「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
確証的データ解析 †
仮説を立てて、それを検証する。
探索的データ 解析 †
データを見ながら、その意味を読み取ろうとする。
詳細 †
解析方法 †
ロジスティック回帰分析 †
ある事象の発生確率を予測する手法。
- ある質問に対する答えを「はい」または「いいえ」の形で集計
- 結果は確率なので、0-1, (0-100%) の間の数値で表わされる。
- 以下で利用される。
- 病気の発生する確率の予測
- ターゲット顧客の商品購入率の予測
アソシエーション分析 †
相関関係を分析する手法
- 一見関連性がなさそうでも、
- 共起性（同時に起こる項目）を分析し、隠れた関連性を発見する。
- ...。
- 以下で利用される。
- マーケットバスケット分析（バスケット分析）
- 実店舗とECサイトでの行動の違いを発見する。
- 同時に購入されることが多いものを発見する。
（レコメンドエンジンシステム）
クラスター分析 †
いろいろな性質のものが混じり合って存在しているなかで、
対象を類似性によりグループに分類し、その属性を分析する手法。
- 作成したグループを「クラスタ」と言う。
- ポイントは、対象をどういう要因でグループに分類するか。
- 表面に表れた事象や属性でクラスタに分け、その要因を分析します。
決定木分析 †
ひとつの原因をもとに、仮説を何回も繰り返し、その結果から何通りもの予測を行う手法。
- 仮説を繰り返すことで経過が樹木状に枝分かれしたモデル図になる。
- 「回帰木」「分類木」「ディシジョンツリー」などとも呼ばれる。
- 複雑かつ多様な要因を整理、要因や属性を分析、分岐毎の確率計算も可能。
主成分分析 †
多次元のデータを次元圧縮（データは減らない）する方法
- 座標で考えると，例えば３次元データを２次元データに要約（圧縮）するようなもの
- 100次元から10次元への圧縮も可能（空間を面に、面を直線にと言うわけではない）。
アドホック分析、ダッシュボード、モニタリング †
アドホック分析 †
ダッシュボード †
モニタリング †
- 以下の様にモニタリングする。
- 対象 : KPIなど。
- 目的 : データドリブンな意思決定を行う。
- 出力 : 月次レポートなど
- 特徴 : 長期的なデータの推移を可視化、集計の条件の変更。
ツール †
各種、可視化ツール †
以下の様に分類可能
- スプレッドシート
大量のデータを扱えない。
複雑なダッシュボードを作るのが難しい。
- アドホック分析・ツール
- Jupyter Notebook
- 通常はローカル・ホストで起動するWebアプリケーション
- PythonやRuby、R言語などのスクリプト言語を実行する。
- pandasでアドホック分析し、matplotlibで可視化する。
- ダッシュボード・ツール
- Redash
- Python製のダッシュボード・ツール
- 多数のデータソースに対応
- SQLクエリの実行結果を可視化
- Superset
- 対話的ダッシュボードを作るためのPython製のWebアプリケーション
- 画面上でマウス操作によってグラフを作るのが基本
- 時系列データに対応した列指向ストレージ（Druid）を標準でサポート
- リアルタイムなダッシュボードを作る目的でよく利用される。
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
