機械学習（machine learning）のバックアップ(No.40)

統計解析、ベイズ統計などをベースにした計算統計学
機械学習のうちデータの確率的な生成規則を学習するもの
統計的機械学習のモデルは統計モデル・生成モデルとも呼ばれる。
- 統計モデルでよく使われるのは回帰モデルで、ベイズモデルも、この統計モデルらしい。
- ベイジアンネットワーク（BN）などの確率的構造モデルは「階層的な木構造の確率的な生成モデル」らしい。

↑

数理最適化 †

データに対するモデル出力の誤差を定義し、
誤差を最小化するようにパラメタの更新（学習）をおこなう。
誤差を計算する関数（損失関数）を最小化する。

※ 関数を用いた近似（最小二乗法）、DNNを用いた近似（勾配降下法、誤差逆伝播法）

↑

用語 †

↑

特徴量 †

注目スべきデータ、機械学習的に言った説明変数

特定の概念を特徴づける変数、問題の解決に必要な本質的な変数

学習データにどのような特徴があるかを数値化したもの。

モデルをy = f(x) とすると、xが説明変数でyが目的変数

非構造化データでは特徴量（説明変数）はベクトル化される。

機械学習では入力された学習データから特徴量と呼ばれる数値を抽出する。
- 特徴量の抽出は人間が設計し実装する必要がある。
- 抽出した特徴量を元に機械はパターン・経験則をモデルを使って学習する。

である。

この特徴量を発見できれば、
- あらゆる問題の解決につながったり、
- パターン認識精度の向上や、
- フレーム問題の解決につながったりする

と期待されている。

↑

パラメタ †

重みとも呼ばれるモデルの学習実行後に獲得される値。

↑

ハイパーパラメタ †

各アルゴリズムに付随して、アルゴリズムの挙動を制御するための値。
学習実行前に設定した値によって学習実行後のパラメタが変わってくる。

https://github.com/yomaki/azure-ml-python-handson/blob/main/module2%20Training%20model%20with%20Python%20and%20scikit-learn.ipynb

例えばロジスティック回帰モデルを学習する場合は regularization rate というハイパーパラメタを使ってモデルのバイアスを軽減できる。
CNNの例だと、learning rate とbatch size によって重み付けやミニバッチで処理するデータのサイズを制御できる。
ハイパーパラメタはモデル学習のパフォーマンス、モデルの学習時間に強く影響する。
DNNの層のサイズや層の深さなどもハイパーパラメタらしい。
一般的には複数の候補の組み合わせを試すことで適切な設定値を探す。

深層学習におけるハイパーパラメタの例

↑

アルゴリズム †

モデルを作成するアルゴリズム
モデルを最適化する方法

アルゴリズムはモデルに含まれることがある。
分離した方が系統的にモデリングを理解できる。

↑

適合 †

複雑なものの認識や、常値の検出
たくさんの情報の中から必要なものを探す
予測、フォーキャスト（予想や見込み）、意思決定支援
言葉を使ったコミュニケーション
新しい体験を作り出したい場合

↑

限界 †

データの中にあるバイアス（を、そのまま学習

プリシジョンとリコールのトレードオフがある。

コールド・スタートによる誤検知がある。

モデルの検証のためのフィードバックループが必要。

Exploration(冒険、探索)とExploitation(搾取、利用)

↑

過学習 †

（過剰適合、過適合、オーバーフィッティング）

汎化能力の不足に起因する汎化できていない状態を指す（特化し過ぎている）。

統計学において、非常に複雑な非線形性の高いモデルを用いた場合、
データが元々持っている誤差や不確実性と言った、本来説明ができない部分まで
フィットするような誤ったモデルが構築されてしまう場合がある。

機械学習において、学習精度がある一定の精度まで向上すると、
以降は未知のデータへの対応力を失ってしまう現象。

↑

予測誤差を生む要因 †

バイアス（Bias）
- モデルの表現力不足によって生じる誤差｡
- 例えば、3次関数に従ったデータを線形回帰した時（未学習）｡
- 表現力の低いモデルを利用しているため
  意味のあるパターンを拾いきれていない｡

バリアンス（Variance）

学習データに過剰適合することによって生じる誤差｡

例えば、3次関数に従ったデータを7次関数で多項式回帰した時（過学習）

表現力が高すぎるモデルを利用しているために、
学習データにしかないパターンを拾ってしまう｡
- 重み（パラメタ）の値が極端になっている
- サンプル数に対して説明変数が多過ぎる。

ノイズ（Noise）
- データに混入している本質的でない情報｡
- 本質とノイズの情報は混ざっており区別できない｡
- 機械学習の手法では取り除くことができない｡

↑

実行手順 †

↑

データ作成 †

良いデータの準備が性能発揮の生命線となる。

探索的データ解析（EDA）
データの特徴を探求し、構造を理解する。

前処理
前処理の良し悪しも性能を大きく左右する。

データセットを
- 検査（補完や除去）
- 拡大、次元削減、正規化、規格化（特徴量エンジニアリング）

非構造化データは数値化される（通常はスカラではなくベクトル、テンソル）。
テキストデータのベクトル化には色々な手法があり永遠のテーマとなっている。

データの分割
- 訓練データ：６
- 検証データ：２
- テストデータ：２

↑

学習の実行 †

機械学習システムの選択

訓練を繰り返しパラメタを更新＆収束

得られたモデルを検証データで評価
- 過学習のチェック
- モデルに手を加える
- チューニング、アンサンブル学習

最終評価を行い採用 / 不採用

↑

利用と追加学習 †

利用
転移学習
追加学習

↑

学習方法 †

↑

アノテーション †

優れたアルゴリズムを用いても誤った教師データで学習すると
正しく学習できず精度の高い学習モデルが作れない。

アノテーションとは、学習のため教師データを作成する（タグを付与する）こと。

データに付与するタグを標準化、均一化しないと誤った推論結果となる。

労働集約的
- 外注（アウトソーシング）するかしないか？
- ただし、クォリティ・アシュアランスには要注意

アノテーションの質を高める方法

コストが掛かっても正しくアノテーション
- プロによるアノテーション
- 高精度なアノテーション
- 多数決による品質の管理方法
  ・実際は能力に差があるという前提で、アノテーターの能力を考慮。
  ・複数のアノテーターが同じ能力を持っていると仮定した場合、
  　良い品質を得るために沢山の人が必要となる（コスト）。

異なる種類のデータ形式よるタグ付け
- 画像データを用いる
- テキストデータを用いる
- 構造化データを用いる

データの意味は普遍的ではなく目的によって変わる。
→ ターゲット層に適したバイアス（推し）をかけたアノテーション

↑

アクティブ・ラーニング †

本番運用しながら自然に追加学習できる仕組み

AIのアウトプットを全て人間がチェックし、間違っていたものを修正して追加学習データとして利用
AIのアウトプットの信頼度(Confident)の値が低いデータのみを人間がチェックして追加学習。

↑

アンサンブル学習 †

モデルの汎化性能を向上させるため個々に学習した複数のモデルを融合させる方法
理論立ては"まだ"だが、経験的に汎化性能を大きく向上させることが知られている｡

アンサンブル学習

バギング

複数のモデルを学習し
平均（回帰の場合）または多数決（分類の場合）することによって
過学習の傾向が打ち消しあって最終的に丁度、良い決定境界をつくる。

ブートストラップ
データ全体の中から重複を許してtrainデータを選ぶ手法｡
バギングする際にブートストラップによってtrainデータをつくる｡

ブースティング
- 一つのモデルの間違いをうまく訂正するようなモデルを次々につくる｡
- 大元のモデルを最適化するための補助的なモデルを逐次的に学習させる｡

↑

モデルの統合・分割 †

色々なデータを使う場合、色々なモデルが必要になる。

統合
一つの機械学習のモデルに
色々なデータを入れて予測値を出す。

分割
人間が非常に理解し易くなる。

↑

活用例 †

↑

エキスパート・システム †

IBMのWatson（ワトソン）などが、

機械学習（machine learning）
深層学習（deep learning）

を使用して再登場したエキスパート・システム。

↑

不正会計の検知 †

Li et al

概要
- 24個の会計情報を使ったロジスティック回帰モデル
- サポートベクターマシンで不正会計確率を推定
- 一度スコアを求めるかどうかというのが違いになる。

特徴
1. 手を加えていない会計情報そのものと
  不正・非不正の情報で構成される大量データを
  訓練データとテストデータに分け訓練データでモデルを作り
  テストデータでその検知能力を調べるという一般的な研究
  ・訓練データ：1991年から2002年までのデータ
  ・テストデータ：2003年から2005年までのデータ
2. アンダーサンプリングを行っている。
  訓練データの1と0（不正と非不正）が同数になるようにサンプリング

実務家の方法を取り入れることで
先行研究よりも正判別確率の高いモデルを構築
（東海林・中村・尾崎（2020）
- 不正会計を不正手段の種類別に認識
- 貸借対照表に不正会計の歪みが蓄積されることを利用して
  その歪みから得られる違和感により不正会計を経験的に認知

正判別率の上げかた。
- 歪みと違和感を変数化して特徴量にした。
- 不正手段を売上過大計上に限定した。
- 目的変数を不正群・非不正群ではなく
  非不正群から利益調整群を除いた1,0データとした。

↑

ベイズ云々の活用例 †

迷惑メール
診断・コールセンター
レコメンド
社会現象・データ
顧客行動理解

↑

分類 †

↑

学習データでの分類 †

コンピュータとその周辺の技術・情報が発達してきたため出てきた概念
互いに独立なものではなく、高度に組合せて使用することも可能。

↑

教師あり学習 †

（supervised learning）

教科書を使った勉強のように、
「結果と予測すべき答え」（訓練データ）が与えられ、
それ（≒教師）に至るためのモデルを構築する学習手法

「予測すべき答」は
- ラベル（タグ）とも呼ばれる
- 人間の専門家が訓練例にラベル付け（タグ付け）して提供
- このラベル付け（タグ付け）の作業をアノテーションとも呼ぶ。

未知のデータ「x」にそれを適用して、予言 y = f(x) を与えることができる。

予言 y と、出力 ȳ の誤差が小さくなるように学習が進められる。

異常・不正の検出など、正例が少ないケースでは適合しない（若しくは工夫が必要

↑

教師なし学習 †

（unsupervised learning）

データ自体に構造・特徴があり、そのデータを分類・識別する。

与えられたデータセット（訓練データ）の中に予測すべき正解が与えられないまま、
データの背後に存在する本質的な構造かをデータ同士の関係から導き出すという学習

評価規範Cが与えられている。評価規範Cを最適化するように学習が進められる。

自分自身を教師データにする自己教師型を教師なし学習に分類することもある。

判断ではなく、データマイニングなどグルーピングを行う、
クラスタ分析、主成分分析、対応分析などは教師なし学習

教師あり学習と比べると、
- 結果の解釈が難しく、分析者の主観的な解釈が必要となる。
- 異常・不正の検出など、正例が少ないケースにも適合する。

↑

半教師あり学習 †

（semi-supervised learning）

教師あり学習と教師なし学習を組み合わせて学習する方法
- 教師なし学習で特徴表現を獲得した後で、教師ありでそのモデルを再学習する方法
- 教師ありデータを使ってモデルを作り、それを使って教師なしデータに対する推論の結果を取得
  精度の高いデータを正解ラベルとして採用し、教師ありデータとして使ってモデルを再学習する。
  - ラベルありの例とラベルなしの例を両方扱える。
  - すべてのデータにラベルを付けなくても良いので、効果的な学習が可能。

↑

自己教師あり学習 †

（self-supervised Learning）

ラベル無しデータを使う教師なし学習の一種
「常識」を獲得するための重要な手法
データ自身に隠されている構造を読み取り、
次にくるものを予測する学習を行う。

↑

利用方法での分類 †

≒モデルの種類。
利用：recall、想起、適用
教師データに対するテストデータに適用
「知りたい情報」の設定に依存して多様。
深層学習では、ほとんどのことができる。

↑

推定 †

ある事実を手掛かりにして、推し量って決めること。

プリミティブ？
- 分類
  特徴を推定する問題。

回帰
変数間の相関関係を推定する問題。

ベイズ云々
- ベイジアンフィルタ
- ベイズモデル
- ベイジアンネットワーク
  - 統計的機械学習手法の一つ
  - 説明可能性が高い機械学習手法
  - ベイジアンネットワークを自動的に構成
    ・グラフ構造の探索
    ・条件付き確率表の推定

↑

分類 †

分類
- 離散的な応答を予測
- 教師あり学習を用いる
- 深層学習を使った分類もある。

種類

サポートベクターマシン (SVM)
・二項分類や回帰に使用できる認識性能が優れたパターン認識モデルの一つ。
・未学習データに対して高い識別性能を得るための工夫がある。
・パーセプトロンやロジスティック回帰よりも高い識別性能を実現し、
・Deep Learningほど、データ量や計算量を必要としない利点がある。
・｢分離マージン最大化｣というコンセプトに基いて超平面で分類を実行。
・非線形の分離にも対応できるという非常に利点がある｡
・テキストマイニング、災害危険度評価、倒産判別問題、非線形な競馬予測などに利用される。

複数の決定木を使用するモデル
・決定木とは、決定木分析などで利用される、
　・ツリー構造を用いて分類、回帰を行う機械学習の手法。
　・分類の結果がツリー構造で可視化されるため、要因、条件を把握できる。
・ランダムフォレスト
　決定木による複数の弱学習器を統合させて
　汎化能力を向上させる、アンサンブル学習アルゴリズム
・勾配ブースティング木
　勾配降下法と決定木、アンサンブル学習(Boosting)が組み合わされた手法

k 最近傍法（KNN）
・教師あり学習の中でもシンプルなアルゴリズムの一つ。
・クラスタ数が既知の大規模データセットの高速クラスタリングにおいて有効。
・ある未知のデータをデータセットの指定の数のクラスに多数決で分類。

判別分析
特徴量のデータの特性から、特定の対象とそうでない対象をグループ分けする。

クラスタリング
- 最も一般的な教師なし学習手法
- 探索的データ分析により、データ内の隠れたパターンやグループ構造を発見する。

種類

k平均法（k-means clustering）
・非階層クラスタリングの代表的な手法の1つ。
・分析担当者はクラスタ数を設定する。
・データセット中から類似データを指定の数のクラスタを作る

階層クラスタリング
・クラスタ間の階層関係をツリー構造で表す。
・クラスタ数が事前には分からない場合において有効
・データ数＝クラスタ数で開始し、距離の近い2つを統合していき、
　全てのデータが1つのクラスタに統合された時点で終了する。

混合ガウスモデル (GMM)
・多くの場合に使用される。
・k平均法を活用したクラスタリングなどよりも、より適切な場合がある。
・以下のケースにおいて有効。
　・データポイントが2つ以上のクラスタに属している可能性がある場合や、
　・クラスタのサイズがさまざまで、クラスターの相関構造が異なっている場合
・ガウス分布（正規分布）を線形重ね合わせによって、
　どうデータポイントが分布しているかパラメタを推定する。
・クラスタリングだけでなく、データセットの確率密度分布を得ることができる。

隠れマルコフモデル (HMM)
・確率モデルの１つであり、
・観測されない（隠れた）状態をもつマルコフ過程を指す。
・観測された記号系列の背後に存在する状態の遷移系列を推測する

自己組織化マップ
・ニューラルネットワークに基づくクラスタリングの手法
・入力データの類似度をマップ上での距離で表現し、自動的に分類
・人が識別することが難しいような、高次元データをクラスタリング可能。

ファジィ c 平均クラスタリング
・データセットをN個のクラスタにグループ化するデータクラスタリング手法
・クラスタ数が既知であり、クラスタに重なりがある場合に有効。
・データセット内のすべてのデータポイントが、すべてのクラスタに属している。
　・クラスタの中心に近いデータは、そのクラスタに属する度合いが高く、
　・クラスタの中心から離れた別のデータ点は、そのクラスタに属する度合いが低い。
・クラスタの中心をランダムに推測、各データポイントのメンバーシップ等級の割り当てを反復。
・データポイントからクラスタ中心までの距離をメンバーシップで重み付けした目的関数を最小化。

↑

回帰 †

連続的な応答を予測
教師あり学習を用いる
深層学習を使った回帰もある。

種類
- 線形回帰
  - 連続する目的変数を複数の説明変数を用いて予測、説明する
  - 1つ以上の独立した説明変数を使用し、線形方程式の係数を推定

非線形回帰
- 線形パラメタとの関係を適切にモデル化できない場合
- 連続する目的変数と1つ以上の説明変数との間の
  非線形な関係を表す方程式を用いて予測、説明する。
- パラメトリック非線形回帰
  目的変数（１変量または多変量）を
  非線形パラメタと1つ以上の説明変数の
  組み合わせとして関数化して予測、説明する。
- ノンパラメトリック非線形回帰
  機械学習の手法が使用される。