ベイズ統計のバックアップ(No.21)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- データ解析
- 統計解析
- ベイズ統計

目次 †

目次
概要
詳細
参考

↑

概要 †

標本を必ずしも必要としない、母数が確率的に動くとみなす。
手元のデータが不十分であることを前提に新たに情報が得られるたびに考え方を更新する。
ベイズの定理というものを中心に主観的に条件付き確率を考えるという特徴がある｡

↑

ベイズ主義と頻度主義 †

ベイズ主義（ベイズ統計）と
頻度主義（一般的に扱われる統計）

	ベイズ主義	頻度主義
母数	確率定数	変数
データ	変数	確率定数

↑

主観確率と客観確率 †

主観確率を扱う統計学

得られたデータから確率を更新していく（ベイズ更新）
主観確率の数値に根拠データを要求しない。

↑

同時確率と条件付き確率 †

↑

同時確率 †

とある前提条件と、とある事象が同時に起こる確率
同時確率P(事象∩前提条件)
P(A, B) = P(A∩B)

↑

条件付き確率 †

とある前提条件があったとき、とある事象が起こる確率
条件付き確率P(事象|前提条件)

↑

同時確率と条件付き確率の関連 †

独立の場合

同時確率
- P(A∩B) = P(A) * P(B)

条件付き確率
- P(B∣A) = P(B)
- P(A∣B) = P(A)

非独立の場合
- 条件付き確率
  - P(B∣A) = P(A∩B) / P(A)
  - P(A∣B) = P(A∩B) / P(B)
- 同時確率
  - P(A∩B) = P(A) * P(B∣A)
  - P(A∩B) = P(B) * P(A∣B)

↑

例：ある町の子供が飴玉で笑顔になる確率。 †

問題

ある街の子どもたちは
- 毎日1/4の確率で飴玉をもらうことができ、
- 飴玉をもらうと1/2の確率で笑顔になる。

その街の笑顔な子どもが飴玉をもらっている確率は？
（ただし，この街の子どもたちが笑顔でいる確率は1/3）

活用

整理
- P(飴玉) = 1/4
- P(笑顔) = 1/3
- P(笑顔|飴玉) = 1/2
- P(飴玉|笑顔) = ？

回答
P(笑顏, 飴玉) = P(飴玉, 笑顔)
P(笑顏, 飴玉) = P(笑顏|飴玉) * P(飴玉) = 1/2 * 1/4 = 1/8
P(飴玉, 笑顔) = P(飴玉|笑顔) * P(笑顔) ※ 同時確率を使って条件を逆にする。
P(飴玉|笑顔) = P(飴玉, 笑顔) / P(笑顔) = 1/8 / 1/3 = 3/8

観測したP(B∣A)、P(A) 、P(B)を使用してP(A∣B)を推定する。これは、逆問題＝機械学習的になっている。

↑

ベイズの定理 †

非独立の場合、条件付き確率の乗法定理によって

「事象X, 前提条件Yの条件付き確率から、
前提条件X, 事象Yの条件付き確率（原因の確率）を求める」

ことができる。

P(Yi|X) = P(X, Yi) / P(X)
P(Yi|X) = (P(Yi) * P(X|Yi)) / P(X)
P(X) = P(X, Y1) + P(X, Y2) + ... + P(X, Yn) = Σ(X, Yn) = Σ(P(Yj) * P(X|Yj))
P(Yi|X) = (P(Yi) * P(X|Yi)) / Σ(P(Yj) * P(X|Yj))

↑

例：工場ABCと不良品の確率 †

※ P(目的変数|説明変数)

工場の確率（製造比率）
- A : 1/3
- B : 1/9
- C : 5/9

不良品の確率
- AF : 1/8
- BF : 1/2
- CF : 3/8

工場ABCと不良品

不良品が工場A：

((1/3)*(1/8))/(((1/3)*(1/8))+((1/9)*(1/2))+((5/9)*(3/8)))=3/22

不良品が工場B：

((1/9)*(1/2))/(((1/3)*(1/8))+((1/9)*(1/2))+((5/9)*(3/8)))=4/22

不良品が工場A：

((5/9)*(3/8))/(((1/3)*(1/8))+((1/9)*(1/2))+((5/9)*(3/8)))=15/22

↑

例：陽性時罹患率 †

病気Xが原因で、検査薬Yが結果
- 病気Xには、10万人に20人の割合で罹患する。
- 罹患者に検査薬Yを投与すると、80%の確率で陽性
- 健康な人に検査薬Yを投与すると、95%の確率で陰性
  合計陽性(Y1) 陰性(Y2)
  罹患者(X1) 20/100,000 = 0.0002 0.0002*0.8 0.0002*0.2
  健康な人(X2) 1 - 20/10,000 = 0.9998 0.9998*0.05 0.9998*0.95

	合計	陽性(Y1)	陰性(Y2)
罹患者(X1)	20/100,000 = 0.0002	0.0002*0.8	0.0002*0.2
健康な人(X2)	1 - 20/10,000 = 0.9998	0.9998*0.05	0.9998*0.95

陽性で実際に罹患者となる確率

P(X1|Y1)=｛P(Y1|X1)・P(X1)｝/｛P(Y1|X1) * P(X1) + P(Y1|X2) * P(X2)｝

P(罹患|陽性) = P(陽性|罹患) * P(罹患) / P(陽性)

= 病気に罹患している確率 * (実際に罹患している人が検査で陽性となる確率 / 陽性になる確率)
= (0.0002*0.8) / ((0.0002*0.8) + (0.9998*0.05))
= 0.00319042871385842472582253240279 ≒ 0.0032 ≒ 0.32%

↑

例：迷惑メール †

（ベイジアンフィルタ）

迷惑メールのXが原因で、URL付きのYが結果
- 事前確率：迷惑メールは全体の30%（主観による設定）
- 迷惑メールの中でURL付きである確率は60%（観測による結果）
- 正常メールの中でURL付きである確率は10%（観測による結果）
  合計 URL有り(Y1) URL無し(Y2)
  迷惑メール(X1) 0.3 0.3*0.6 0.3*0.4
  正常なメール(X2) 1 - 0.3 = 0.7 0.7*0.1 0.7*0.9

	合計	URL有り(Y1)	URL無し(Y2)
迷惑メール(X1)	0.3	0.3*0.6	0.3*0.4
正常なメール(X2)	1 - 0.3 = 0.7	0.7*0.1	0.7*0.9

URL付きで迷惑メールである事後確率

= 迷惑メールの確率 * (迷惑メールの中でURL付きである確率 / 全メールの中でURL付きである確率)
= 0.3 * ( 0.6 / (0.3*0.6) + (0.7*0.1) ) = 0.72

事後確率：URL付きメールは72%で迷惑メール
- 72 = 30 * 尤度
- 尤度 = 72 / 30 = 2.4

事前確率は不明でも事後確率（尤度）を上げていけば良い。
- タイトル、本文に含まれる語句ごとの出現確率（＝特徴）を抽出、
- 点数をつけ、スパムと正常なメールを判別するための閾値を導き出す。

↑

事前確率と事後確率 †

事前確率：最初に主観で確率を設定する。
事後確率：実際の観測データで補正した結果。

式

                       ある状況でそのデータが得られる確率
事後確率 ＝ 事前確率 * ----------------------------------
                        平均してそのデータが得られる確率

事後確率 ＝ 事前確率 * データの尤度（ゆうど）

↑

詳細 †

↑

ビッグデータ時代 †

ビッグデータ時代の統計学（ビッグデータの法則

客観性が高いと言われてきた有意性検定の限界と破綻
- データ数が極端に多くなると、すべて有意になる。
- ρ値<5％の基準を使っている点にある。
- ベイズ統計では、データ数が増えるほど
  研究仮説が正しい確率が0か1に収束する。

主観的な考えで条件を設定し、
不安定な全体から抽出した安定したデータ群に、
専門家が条件を付けながら答えを求めていく。

“不確かさ”“あいまいさ”を受け入れやすい素地を持っている。
仮説を立てデータを収集し解析ではなく、
データが先にあるというケースに対応できる。

条件が複数になっていけば積分計算が必要になる。
- より多くのコンピューター資源を使う。
- 最近はITが飛躍的に進化し、ベイズ推定を応用できる環境が整ってきた。

エビデンス・ベースドをビッグデータでやる。
- ただし、因果関係などが解らない事がある（説明性の欠如）
- ベイズ系の機械学習は因果関係が解るものが多い感じ。

↑

フィルタ、モデル等 †

↑

ベイジアンフィルタ †

ナイーブベイズ・アルゴリズムを利用した
単純ベイズ（ナイーブベイズ）分類器（クラシファイア）を応用し、
対象となるデータを解析・学習し分類する為のフィルタの総称。

学習量が増えるとフィルタの分類精度が上昇するという特徴をもつ。
個々の判定を間違えた場合、ユーザが正しい内容に判定し直すことで再学習を行う。

現状では迷惑メールを振り分ける機能を持つソフトウェアで利用されることが多い。

↑

ベイズモデル †

統計モデルのパラダイムシフトとして
記述能力と汎化能力のトレードオフを回避するパラメタθ
自体にも統計モデルを想定するような統計モデルの一種

さまざまな情報を分布の形で表現する統計モデル
データを与えたもとでのパラメタの確率分布を推定する

単純なモデルでは現実にそぐわない。
多くのパラメタが必要な非線形モデルにおいて、
様々な潜在変数を統一的に解析できる枠組。

顕在変数と潜在変数
潜在変数（観測できないデータ）を観測モデルにプラグインして
潜在変数も説明しながらデータが観測されるメカニズムを表現できる。
（潜在変数を無視した解析は本質的な理解とは遠い解析になるリスクを有する）
- 顕在変数：観測データとして取得できる。
- 潜在変数：観測データとして取得できない。

構造
以下のような統計モデルを有機的に結合
（軸（t）毎のパラメタが出てくる）
- パラメタaの不確実性を表す統計モデル
- パラメタθtの不確実性を表す統計モデル
- パラメタytの不確実性を表す統計モデル

枠組（モデル統合）
理論だけではなくドメイン知識も利用できる。
- 観測モデル
- 階層モデル
- 事前分布
- 潜在変数 1,2,...w

マルコフ連鎖モンテカルロ法（MCMC）
- ベイズ階層モデルを推定する枠組み
- ベイズの定理を使ったデータ解析技術が飛躍的に進歩
- R、Pythonで比較的簡単に実装可能
- 二つのステップ
  - マルコフ連鎖シミュレーションを通じたサンプリング
  - モンテカルロ積分による期待値の計算

プロセス
- 複数のモデルを立てる。
- 全てのモデルを推定・比較する。
- 最も妥当と考えられる構造を特定する。
- 情報の変換と活用。
- 上記を繰り返す。

↑

ベイジアンネットワーク（BN） †

特徴
- 非線形で分布の密度関数を特定できない場合、
- 複数の離散的な変数間の依存関係を考慮し、
- 幅広い範囲の確率分布を表現出来る。

理論面

現象を複数の確率変数として近似するノンパラメトリック・モデル

確率的構造モデル（確率的グラフィカル・モデルとも呼ばれる）
確率的な因果構造（依存関係）をモデル化（構造化）して表現する。

条件付き確率表で不確実な現象を確率モデルで表現
（背景の条件付き確率で等価なため、決定木に変形も可能）

「データによる機械学習」と「事前知識の利用」ができる（データ・知識融合）
確率推論（ベイズの定理に基づいた確率伝播法）が実行可能で
エキスパート・システムで利用可能、機械学習で学習可能

応用面
目的：知りたい対象の変数の事後確率分布を計算する。
- 関係のある変数間に条件付き確率表があり、
- 現象は各確率変数の同時分布として表現
- その変数でも入力・出力にできる。
- 依存関係を絞ることで記述量・計算量を劇的に削減可能。

確率的構造モデル

確率推論のモデル

複雑な因果関係の推論を有向非巡回グラフ構造により表す

個々の変数の関係を条件つき確率で表す

ネットワーク
重み付けグラフのこと。

ノード
・離散的な確率変数
・観測ノード、未観測ノード、隠れノード

有向リンク
・定性的依存性：グラフ構造
・定量的依存性：条件付き確率（表 / パラメトリック・モデル）

条件付独立
変数間の関係（相互依存関係）を表す。

条件付き確率表

条件付き確率の表

条件付き確率表の作成

完全データの場合
クロス集計表を正規化し条件付き確率表に変換

不完全データの場合
・事前確率分布を考慮し補完
・初期モデルを使って確率推論を行い
　EMアルゴリズムにより欠損部を推定
・連続分布による近似で欠損データを補完

学習と推論

学習

確率変数の選択
情報量の高い重要な変数の抽出

条件付き確率の学習
・離散確率変数：条件付き確率表を学習により作成（頻度分布から確率化）
・連続確率変数：パラメトリック・モデルのパタメタ学習（最小二乗法、最尤法） or 離散化

グラフ構造の学習
BNで使う条件付き確率表では（離散確率変数の場合）
・クロス集計表ではカイ二乗検定により変数間の独立・従属性を判定
・条件付き独立性に基づく構造学習の判定は計算コストが大きいので
　モデルの情報量基準を局所的に繰り返し変数間の独立・従属性を判定
　・情報量基準：AIC、BIC/MDL、C4.5
　　（データの適合度とモデルの自由度による評価基準
　・モデルを選択（ベイズ比検定
　　（ノードの探索戦略や制約条件で計算量を抑える

推論
- 確率伝播法（Belief Propagation
  上流からのBeliefと下流からのBeliefをベイズの定理で統合
- ネットワーク構造によっては厳密な確率にならない問題
  Junction Tree アルゴリズム（１本の順方向の構造へ変換）
  Loopy Belief Propagation（近似計算）

↑