ベイズ統計のバックアップ(No.27)

検査薬陽性で病気Xとなる確率
- 病気Xには、10万人に20人の割合で罹患する。
- 罹患者に検査薬Yを投与すると、80%の確率で陽性
- 健康な人に検査薬Yを投与すると、95%の確率で陰性
  合計陽性(Y1) 陰性(Y2)
  罹患者(X1) 20/100,000 = 0.0002 0.0002*0.8 0.0002*0.2
  健康な人(X2) 1 - 20/10,000 = 0.9998 0.9998*0.05 0.9998*0.95

	合計	陽性(Y1)	陰性(Y2)
罹患者(X1)	20/100,000 = 0.0002	0.0002*0.8	0.0002*0.2
健康な人(X2)	1 - 20/10,000 = 0.9998	0.9998*0.05	0.9998*0.95

検査薬陽性で実際に病気Xの罹患者となる確率

P(X1|Y1)=｛P(Y1|X1)・P(X1)｝/｛P(Y1|X1) * P(X1) + P(Y1|X2) * P(X2)｝

P(罹患|陽性) = P(陽性|罹患) * P(罹患) / P(陽性)

= 病気に罹患している確率 * (実際に罹患している人が検査で陽性となる確率 / 陽性になる確率)
= (0.0002*0.8) / ((0.0002*0.8) + (0.9998*0.05))
= 0.00319042871385842472582253240279 ≒ 0.0032 ≒ 0.32%

↑

例：学校ABと男女 †

学校Aの生徒X人・男女比a:b、学校Bの生徒Y人・男女比c:dで、
入力データについて女子の時、学校A/Bに属する確率、的な問題。

P(H∣D) = (P(H) * P(D∣H)) / ∑i P(Hi) * P(D∣Hi)
- この場合の全ケースは学校になる。Hi = C_sa, C_sb
- P(C_sa∣W) = (P(C_sa) * P(W∣C_sa) ) / ( (P(C_sa) * P(W∣C_sa) ) + (P(C_sb) * P(W∣C_sb) ) )

p(C_sa)：学校Aの生徒 = (X/X+Y)
- p(M|C_sa)：学校Aの生徒場合で、男子生徒 = (a/(a+b))
- p(W|C_sa)：学校Aの生徒場合で、女子生徒 = (b/(a+b))

p(C_sb)：学校Bの生徒 = (Y/X+Y)
- p(M|C_sb)：学校Bの男子生徒 = (c/(c+d))
- p(W|C_sb)：学校Bの女子生徒 = (d/(c+d)

学校Aの生徒1000人・男女比7:3、学校Bの生徒250人・男女比2:8で、
ある入力データxiについて性別が女子であった時、学校Aに属する確率を求めよ。

p(C_sa)：学校Aの生徒(1000/1000+250)=100/125=4/5
- p(M|C_sa)：学校Aの生徒場合で、男子生徒(7/10)
- p(W|C_sa)：学校Aの生徒場合で、女子生徒(3/10)

p(C_sb)：学校Bの生徒(250/1250)=1/5
- p(M|C_sb)：学校Bの生徒場合で、男子生徒(1/5)
- p(W|C_sb)：学校Bの生徒場合で、女子生徒(4/5)

P(H∣D) = (P(H) * P(D∣H)) / ∑i P(Hi) * P(D∣Hi)
- P(C_sa∣W) = (P(C_sa) * P(W∣C_sa) ) / ( (P(C_sa) * P(W∣C_sa) ) + (P(C_sb) * P(W∣C_sb) ) )
- P(C_sa∣W) = ( (4/5) * (3/10) ) / ( (4/5) * (3/10) ) + ( (1/5) * (4/5) ) )
- P(C_sa∣W) = (12/50) / ( (12/50) + (4/25) ) = (12/50) / ( (12/50) + (8/50) ) = 12/20 = 6/10 = 0.6

↑

例：工場ABCと不良品の確率 †

工場ABCの生産量と各工場の不良品の確率から、不良品の場合、どの工場で生産された確率が最も高いか？

P(H∣D) = (P(H) * P(D∣H)) / ∑i P(Hi) * P(D∣Hi)
- この場合の全ケースは工場になる。Hi = C_fa, C_fb, C_fc
- P(C_fa∣F) = (P(C_fa) * P(F∣C_fa) ) / ( (P(C_fa) * P(F∣C_fa) ) + (P(C_fb) * P(F∣C_fb) ) + (P(C_fc) * P(F∣C_fc) ) )
- P(C_fb∣F) = (P(C_fb) * P(F∣C_fb) ) / ( (P(C_fa) * P(F∣C_fa) ) + (P(C_fb) * P(F∣C_fb) ) + (P(C_fc) * P(F∣C_fc) ) )
- P(C_fc∣F) = (P(C_fc) * P(F∣C_fc) ) / ( (P(C_fa) * P(F∣C_fa) ) + (P(C_fb) * P(F∣C_fb) ) + (P(C_fc) * P(F∣C_fc) ) )

工場の確率（製造比率）
- A : 1/3
- B : 1/9
- C : 5/9

各工場の不良品の確率
- AF : 1/8
- BF : 1/2
- CF : 3/8

不良品が工場Aの確率、Bの確率、Cの確率
分母は同じなので分子が最大のものが最大になる。

ちなみに分母は、

= (1/3 * 1/8) + (1/9 * 1/2) + (5/9 * 3/8)
= (1/24) + (1/18) + (5/24) = (3+4+15)/72 = 22/72

分子は

不良品が工場A：
```
((1/3)*(1/8))=1/24
```

不良品が工場B：
```
((1/9)*(1/2))=1/18
```

不良品が工場C：
```
((5/9)*(3/8))=15/72=5/24
```

↑

例：迷惑メール †

（ベイジアンフィルタ）

迷惑メールのXが原因で、URL付きのYが結果
- 事前確率：迷惑メールは全体の30%（主観による設定）
- 迷惑メールの中でURL付きである確率は60%（観測による結果）
- 正常メールの中でURL付きである確率は10%（観測による結果）
  合計 URL有り(Y1) URL無し(Y2)
  迷惑メール(X1) 0.3 0.3*0.6 0.3*0.4
  正常なメール(X2) 1 - 0.3 = 0.7 0.7*0.1 0.7*0.9

	合計	URL有り(Y1)	URL無し(Y2)
迷惑メール(X1)	0.3	0.3*0.6	0.3*0.4
正常なメール(X2)	1 - 0.3 = 0.7	0.7*0.1	0.7*0.9

URL付きで迷惑メールである事後確率：P(H∣D)
- P(H∣D) = (P(H) * P(D∣H)) / ∑i P(Hi) * P(D∣Hi)
- P(H∣D) = (迷惑メールの確率（事前確率） * 迷惑メールの中でURL付きである確率（尤度）) / 全メールの中でURL付きである確率（周辺尤度）
- P(H∣D) = (0.3*0.6) / (0.3*0.6) + (0.7*0.1) = 0.18 / 0.18 + 0.07 = 18/25 = 0.72

新たな事象を追加する際、事前確率を計算した事後確率で更新して計算する。
（多変数の場合のベイズの定理というものが有るらしいので、それを使って計算する）
- タイトルに「出会い」が含まれていた場合の事後確率。
- 本文に「出会い」が含まれていた場合の事後確率。
- 初めは事前確率は不明でも、新たな事象を追加して事後確率を上げていけば良い。
- タイトル、本文に含まれる語句ごとの出現確率（＝特徴）を抽出、
- 点数をつけ、スパムと正常なメールを判別するための閾値を導き出す。

↑

フィルタ、モデル等 †

↑

ベイジアンフィルタ †

ナイーブベイズ・アルゴリズムを利用した
単純ベイズ（ナイーブベイズ）分類器（クラシファイア）を応用し、
対象となるデータを解析・学習し分類する為のフィルタの総称。

学習量が増えるとフィルタの分類精度が上昇するという特徴をもつ。
個々の判定を間違えた場合、ユーザが正しい内容に判定し直すことで再学習を行う。

↑

ベイズモデル †

統計モデルのパラダイムシフトとして
記述能力と汎化能力のトレードオフを回避するパラメタθ
自体にも統計モデルを想定するような統計モデルの一種

さまざまな情報を分布の形で表現する統計モデル
データを与えたもとでのパラメタの確率分布を推定する

単純なモデルでは現実にそぐわない。
多くのパラメタが必要な非線形モデルにおいて、
様々な潜在変数を統一的に解析できる枠組。

顕在変数と潜在変数
潜在変数（観測できないデータ）を観測モデルにプラグインして
潜在変数も説明しながらデータが観測されるメカニズムを表現できる。
（潜在変数を無視した解析は本質的な理解とは遠い解析になるリスクを有する）
- 顕在変数：観測データとして取得できる。
- 潜在変数：観測データとして取得できない。

構造
以下のような統計モデルを有機的に結合
（軸（t）毎のパラメタが出てくる）
- パラメタaの不確実性を表す統計モデル
- パラメタθtの不確実性を表す統計モデル
- パラメタytの不確実性を表す統計モデル

枠組（モデル統合）
理論だけではなくドメイン知識も利用できる。
- 観測モデル
- 階層モデル
- 事前分布
- 潜在変数 1,2,...w

マルコフ連鎖モンテカルロ法（MCMC）
- ベイズ階層モデルを推定する枠組み
- ベイズの定理を使ったデータ解析技術が飛躍的に進歩
- R、Pythonで比較的簡単に実装可能
- 二つのステップ
  - マルコフ連鎖シミュレーションを通じたサンプリング
  - モンテカルロ積分による期待値の計算

プロセス
- 複数のモデルを立てる。
- 全てのモデルを推定・比較する。
- 最も妥当と考えられる構造を特定する。
- 情報の変換と活用。
- 上記を繰り返す。

↑

ベイジアンネットワーク（BN） †

特徴
- 非線形で分布の密度関数を特定できない場合、
- 複数の離散的な変数間の依存関係を考慮し、
- 幅広い範囲の確率分布を表現出来る。

理論面

現象を複数の確率変数として近似するノンパラメトリック・モデル

確率的構造モデル（確率的グラフィカル・モデルとも呼ばれる）
確率的な因果構造（依存関係）をモデル化（構造化）して表現する。

条件付き確率表で不確実な現象を確率モデルで表現
（背景の条件付き確率で等価なため、決定木に変形も可能）

「データによる機械学習」と「事前知識の利用」ができる（データ・知識融合）
確率推論（ベイズの定理に基づいた確率伝播法）が実行可能で
エキスパート・システムで利用可能、機械学習で学習可能

応用面
目的：知りたい対象の変数の事後確率分布を計算する。
- 関係のある変数間に条件付き確率表があり、
- 現象は各確率変数の同時分布として表現
- その変数でも入力・出力にできる。
- 依存関係を絞ることで記述量・計算量を劇的に削減可能。

確率的構造モデル

確率推論のモデル

複雑な因果関係の推論を有向非巡回グラフ構造により表す

個々の変数の関係を条件つき確率で表す

ネットワーク
重み付けグラフのこと。

ノード
・離散的な確率変数
・観測ノード、未観測ノード、隠れノード

有向リンク
・定性的依存性：グラフ構造
・定量的依存性：条件付き確率（表 / パラメトリック・モデル）

条件付独立
変数間の関係（相互依存関係）を表す。

条件付き確率表

条件付き確率の表

条件付き確率表の作成

完全データの場合
クロス集計表を正規化し条件付き確率表に変換

不完全データの場合
・事前確率分布を考慮し補完
・初期モデルを使って確率推論を行い
　EMアルゴリズムにより欠損部を推定
・連続分布による近似で欠損データを補完

学習と推論

学習

確率変数の選択
情報量の高い重要な変数の抽出

条件付き確率の学習
・離散確率変数：条件付き確率表を学習により作成（頻度分布から確率化）
・連続確率変数：パラメトリック・モデルのパタメタ学習（最小二乗法、最尤法） or 離散化

グラフ構造の学習
BNで使う条件付き確率表では（離散確率変数の場合）
・クロス集計表ではカイ二乗検定により変数間の独立・従属性を判定
・条件付き独立性に基づく構造学習の判定は計算コストが大きいので
　モデルの情報量基準を局所的に繰り返し変数間の独立・従属性を判定
　・情報量基準：AIC、BIC/MDL、C4.5
　　（データの適合度とモデルの自由度による評価基準
　・モデルを選択（ベイズ比検定
　　（ノードの探索戦略や制約条件で計算量を抑える

推論
- 確率伝播法（Belief Propagation
  上流からのBeliefと下流からのBeliefをベイズの定理で統合
- ネットワーク構造によっては厳密な確率にならない問題
  Junction Tree アルゴリズム（１本の順方向の構造へ変換）
  Loopy Belief Propagation（近似計算）

↑