ベイズ統計のバックアップ(No.8)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- データ解析
- 統計解析
- ベイズ統計

目次 †

↑

概要 †

↑

ベイズ主義と頻度主義 †

ベイズ主義（ベイズ統計）と
頻度主義（一般的に扱われる統計）
ベイズ主義頻度主義
母数確率定数変数
データ変数確率定数

	ベイズ主義	頻度主義
母数	確率定数	変数
データ	変数	確率定数

主観確率を扱う統計学
- 得られたデータから確率を更新していく（ベイズ更新）
- 主観確率の数値に根拠データを要求しない。

↑

ベイズの定理 †

同時確率と条件付き確率
- 独立：P(X, Y) = P(X) P(Y)
- 非独立：P(X, Y) = P(X|Y) P(Y) = P(Y|X) P(X)
- ベイズの定理：P(X|Y) = P(Y|X) P(X) / P(Y)

事前確率と事後確率
- 事前確率：最初に主観で確率を設定する。
- 事後確率：実際の観測データで補正した結果。

式

                       ある状況でそのデータが得られる確率
事後確率 ＝ 事前確率 * ----------------------------------
                        平均してそのデータが得られる確率

事後確率 ＝ 事前確率 * データの尤度（ゆうど）

↑

詳細 †

↑

ビッグデータ時代 †

ビッグデータ時代の統計学（ビッグデータの法則

客観性が高いと言われてきた有意性検定の限界と破綻
- データ数が極端に多くなると、すべて有意になる。
- ρ値<5％の基準を使っている点にある。
- ベイズ統計では、データ数が増えるほど
  研究仮説が正しい確率が0か1に収束する。

主観的な考えで条件を設定し、
不安定な全体から抽出した安定したデータ群に、
専門家が条件を付けながら答えを求めていく。

“不確かさ”“あいまいさ”を受け入れやすい素地を持っている。
仮説を立てデータを収集し解析ではなく、
データが先にあるというケースに対応できる。

条件が複数になっていけば積分計算が必要になる。
- より多くのコンピューター資源を使う。
- 最近はITが飛躍的に進化し、ベイズ推定を応用できる環境が整ってきた。

エビデンス・ベースドをビッグデータでやる。
- ただし、因果関係などが解らない事がある（説明性の欠如）
- ベイズ系の機械学習は因果関係が解るものが多い感じ。

↑

フィルタ、モデル等 †

↑

ベイジアンフィルタ †

単純ベイズ分類器を応用し、対象となるデータを解析・学習し分類する為のフィルタ。
学習量が増えるとフィルタの分類精度が上昇するという特徴をもつ。
個々の判定を間違えた場合、ユーザが正しい内容に判定し直すことで再学習を行う。

現状では迷惑メールを振り分ける機能を持つソフトウェアで利用されることが多い。

↑

ベイズモデル †

統計モデルのパラダイムシフトとして
記述能力と汎化能力のトレードオフを回避するパラメタθ
自体にも統計モデルを想定するような統計モデルの一種

さまざまな情報を分布の形で表現する統計モデル
データを与えたもとでのパラメタの確率分布を推定する

単純なモデルでは現実にそぐわない。
多くのパラメタが必要な非線形モデルにおいて、
様々な潜在変数を統一的に解析できる枠組。

顕在変数と潜在変数
潜在変数（観測できないデータ）を観測モデルにプラグインして
潜在変数も説明しながらデータが観測されるメカニズムを表現できる。
（潜在変数を無視した解析は本質的な理解とは遠い解析になるリスクを有する）
- 顕在変数：観測データとして取得できる。
- 潜在変数：観測データとして取得できない。

構造
以下のような統計モデルを有機的に結合
（軸（t）毎のパラメタが出てくる）
- パラメタaの不確実性を表す統計モデル
- パラメタθtの不確実性を表す統計モデル
- パラメタytの不確実性を表す統計モデル

枠組（モデル統合）
理論だけではなくドメイン知識も利用できる。
- 観測モデル
- 階層モデル
- 事前分布
- 潜在変数 1,2,...w

マルコフ連鎖モンテカルロ法（MCMC）
- ベイズ階層モデルを推定する枠組み
- ベイズの定理を使ったデータ解析技術が飛躍的に進歩
- R、Pythonで比較的簡単に実装可能
- 二つのステップ
  - マルコフ連鎖シミュレーションを通じたサンプリング
  - モンテカルロ積分による期待値の計算

プロセス
- 複数のモデルを立てる。
- 全てのモデルを推定・比較する。
- 最も妥当と考えられる構造を特定する。
- 情報の変換と活用。
- 上記を繰り返す。

↑

ベイジアンネットワーク（BN） †

特徴
- 非線形で分布の密度関数を特定できない場合、
- 複数の離散的な変数間の依存関係を考慮し、
- 幅広い範囲の確率分布を表現出来る。

理論面
条件付き確率表で不確実な現象を確率モデルで表現
（背景の条件付き確率で等価なため、決定木に変形も可能）

「データによる機械学習」と「事前知識の利用」ができる（データ・知識融合）
確率推論（ベイズの定理に基づいた確率伝播法）が実行可能で
エキスパート・システムで利用可能、機械学習で学習可能

応用面
現象を複数の確率変数として近似するノンパラメトリック・モデル
- 関係のある変数間に条件付き確率表があり、
- 現象は各確率変数の同時分布として表現
- その変数でも入力・出力にできる。
- 知りたい対象の変数の事後確率分布を計算する。
- 依存関係を絞ることで記述量・計算量を劇的に削減可能。

確率的構造モデル（確率的グラフィカル・モデルとも呼ばれる）
確率的な因果構造（依存関係）をモデル化（構造化）して表現するグラフィカル・モデルの特性をもつ。

確率推論のモデル

複雑な因果関係の推論を有向非巡回グラフ構造により表す

個々の変数の関係を条件つき確率で表す

ネットワーク
重み付けグラフのこと。

ノード
・離散的な確率変数
・観測ノード、未観測ノード、隠れノード

有効リンク
・定性的依存性：グラフ構造
・定量的依存性：条件付き確率（表 / パラメトリック・モデル）

条件付独立
変数間の関係（相互依存関係）を表す。

条件付き確率表

条件付き確率の表

条件付き確率表の作成

完全データの場合
クロス集計表を正規化し条件付き確率表に変換

不完全データの場合
・事前確率分布を考慮し補完
・初期モデルを使って確率推論を行い
　EMアルゴリズムにより欠損部を推定
・連続分布による近似で欠損データを補完

学習と推論

学習

確率変数の選択
情報量の高い重要な変数の抽出

条件付き確率の学習
・離散確率変数：条件付き確率表を学習により作成（頻度分布から確率化）
・連続確率変数：パラメトリック・モデルのパタメータ学習 or 離散化

グラフ構造の学習
BNで使う条件付き確率表では（離散確率変数の場合）
・クロス集計表ではカイ二乗検定により変数間の独立・従属性を判定
・条件付き独立性に基づく構造学習の判定は計算コストが大きいので
　モデルの情報量基準を局所的に繰り返し変数間の独立・従属性を判定
　（モデルを選択（ノードの探索戦略や制約条件で計算量を抑える

推論
確率伝播法（Belief Propagation
- Junction Tree アルゴリズム
- Loopy Belief Propagation

↑

その他、グラフ構造の確率モデル †

HMM（隠れマルコフモデル）
パターン認識に使われる。
- ナイーブベイズ
- ベイジアンクラシファイア

↑

活用例 †

↑

陽性時罹患率 †

病気Xが原因で、検査薬Yが結果
- 病気Xには、10万人に20人の割合で罹患する。
- 罹患者に検査薬Yを投与すると、80%の確率で陽性
- 健康な人に検査薬Yを投与すると、95%の確率で陰性
  合計陽性(Y1) 陰性(Y2)
  罹患者(X1) 20/100,000 = 0.0002 0.0002*0.8 0.0002*0.2
  健康な人(X2) 1 - 20/10,000 = 0.9998 0.9998*0.05 0.9998*0.95

	合計	陽性(Y1)	陰性(Y2)
罹患者(X1)	20/100,000 = 0.0002	0.0002*0.8	0.0002*0.2
健康な人(X2)	1 - 20/10,000 = 0.9998	0.9998*0.05	0.9998*0.95

陽性で実際に罹患者となる確率

P(X1|Y1)=｛P(Y1|X1)・P(X1)｝/｛P(Y1|X1) * P(X1) + P(Y1|X2) * P(X2)｝

P(罹患|陽性) = P(陽性|罹患) * P(罹患) / P(陽性)

= 病気に罹患している確率 * (実際に罹患している人が検査で陽性となる確率 / 陽性になる確率)
= (0.0002*0.8) / ((0.0002*0.8) + (0.9998*0.05))
= 0.00319042871385842472582253240279 ≒ 0.0032 ≒ 0.32%

↑

迷惑メール †

（ベイジアンフィルタ）

迷惑メールのXが原因で、URL付きのYが結果
- 事前確率：迷惑メールは全体の30%（主観による設定）
- 迷惑メールの中でURL付きである確率は60%（観測による結果）
- 正常メールの中でURL付きである確率は10%（観測による結果）
  合計 URL有り(Y1) URL無し(Y2)
  迷惑メール(X1) 0.3 0.3*0.6 0.3*0.4
  正常なメール(X2) 1 - 0.3 = 0.7 0.7*0.1 0.7*0.9

	合計	URL有り(Y1)	URL無し(Y2)
迷惑メール(X1)	0.3	0.3*0.6	0.3*0.4
正常なメール(X2)	1 - 0.3 = 0.7	0.7*0.1	0.7*0.9

URL付きで迷惑メールである事後確率

= 迷惑メールの確率 * (迷惑メールの中でURL付きである確率 / 全メールの中でURL付きである確率)
= 0.3 * ( 0.6 / (0.3*0.6) + (0.7*0.1) ) = 0.72

事後確率：URL付きメールは72%で迷惑メール
- 72 = 30 * 尤度
- 尤度 = 72 / 30 = 2.4

事前確率は不明でも事後確率（尤度）を上げていけば良い。
- タイトル、本文に含まれる語句ごとの出現確率（＝特徴）を抽出、
- 点数をつけ、スパムと正常なメールを判別するための閾値を導き出す。

↑

診断・コールセンター †

（ベイジアンネットワーク）

医者の診断の効率化
コールセンター効率化
ソフトウェアのAIアシスタント

↑

レコメンド †

（ベイジアンネットワーク）

EC/金融の商品の推薦

優良顧客の推薦

対話的ナビゲーション

マッチング・ビジネス

出先でのレコメンド
（ユーザ適用型カーナビ）

↑

社会現象・データ †

（ベイジアンネットワーク）

行動の予測（シミュレート
確率的行動モデリング
- 事故防止
- 子供の事故防止（デンバーⅡ行動モデル＋事故履歴の相互作用結果

価値創出のための循環型アプローチ
サービスシステムの価値構造モデリング

製造系DXをサービス分野で応用
サービス間の動線を横断的に分析してマーケティング的に利用する。

※ ステークホルダー・マネジメントが重要である模様

↑

顧客行動理解 †

ベイズモデルのマルコフ連鎖モンテカルロ法（MCMC）を使用して、
消費者の行動の結果データで観測されている変数だけでなく、
その背後に存在する観測できない潜在変数までも含めて因果性を評価する。

異質性
- ★消費者の異質性
- 時間的異質性
- 店舗の異質性
- 製品の異質性
- 地域の異質性
- 銘柄の異質性
- 企業の異質性

潜在変数
- ブランドロイヤルティ
- 家庭内の在庫量・消費量
- 消費者の経験
- 消費者の将来を予知する能力
- 消費者の嗜好性、好き嫌い、興味の有無

潜在変数の評価
- 在庫量弾力性
- 心理的財布の閾値
- , etc.

↑

推論・経験モデル †

コンピュータの性能向上による機械学習、深層学習の進展

クラシックな機械学習（ベイジアンフィルタ、ベイズモデル）

２つの段階で推論モデルを構築する。
- １つが学習する段階
  推論モデルを試行錯誤により「逆問題」で構築していく。
- もう１つが“推論”する段階
  学習段階で作られた推論モデルから「順問題」で解いていく。

※ データ分析 > 順問題と逆問題

↑

参考 †

あの病気にかかる確率は? ベイズの定理 | システム開発部Blog
https://enjoyworks.jp/tech-blog/4013

ベイズ統計とは？普通の統計と何が違う？徹底解説！｜Udemy メディア
https://udemy.benesse.co.jp/data-science/data-analysis/bayesian-statistics.html

統計解析とは？統計解析と機械学習の違い、
統計解析の使いどころ｜NTTデータ数理システム
https://www.msiism.jp/article/what-is-statistics-analysis.html

迷惑メールの判別
http://www.stat.go.jp/naruhodo/15_episode/toukeigaku/meiwaku.html

↑

Qiita †

本当に知的なAIを作りたいなら、「原因と結果」を教えなさい
https://qiita.com/KanNishida/items/3a1df02ed869b0555cc1

全てのプロダクトマネージャーが
知っておくべき５つの機械学習の限界と対策
https://qiita.com/KanNishida/items/c265a9510d7b8ae8f775

クラシフィケーション（分類）と確率的思考の違い
https://qiita.com/KanNishida/items/e64d13ec5dc0d3dff503

↑

ビッグデータ関連 †

「統計的有意」、「信頼区間」は本当に禁止されるべきなのか
https://qiita.com/KanNishida/items/1d6e2aeb3662e566a5bd

大量のデータを持つことが競争優位になるというのはただの勘違いだ
https://qiita.com/KanNishida/items/69df90408e1f16762489

↑

統計と機械学習 †

結局、機械学習と統計学は何が違うのか？
https://qiita.com/KanNishida/items/8ab8553b17cb57e772d6
統計のモデルと機械学習のモデル、どう使い分ければよいのか
https://qiita.com/KanNishida/items/39bee9723c589e669b1e

言語学の世界でも統計と機械学習という2つの文化が対立
https://qiita.com/KanNishida/items/4ed44360a0b07e9b3bd6

ベイズ統計 のバックアップ(No.8)

目次 †

概要 †

ベイズ主義と頻度主義 †

ベイズの定理 †

詳細 †

ビッグデータ時代 †

フィルタ、モデル等 †

ベイジアンフィルタ †

ベイズモデル †

ベイジアンネットワーク（BN） †

その他、グラフ構造の確率モデル †

活用例 †

陽性時罹患率 †

迷惑メール †

診断・コールセンター †

レコメンド †

社会現象・データ †

顧客行動理解 †

推論・経験モデル †

参考 †

人工知能（AI） †

機械学習（machine learning） †

深層学習（deep learning） †

Qiita †

ビッグデータ関連 †

統計と機械学習 †