機械学習（machine learning）のバックアップ(No.21) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る（人工知能（AI） / ベイズ統計）
- 機械学習（machine learning）
- 深層学習（deep learning）

目次 †

目次
概要
詳細
MLOps
- CX
  - CI/CD
  - CT/CM
- ポイント
課題
参考
- Wikipedia
  - 学習

概要 †

機械学習（machine learning）について纏める。

第２次人工知能ブームでの人工知能

人が、その機械は何を学習するか？というのを予め定義する。

注目スべきデータ（特徴量）の選定タスクは人間が担う。

「訓練データ」として知られる
サンプルデータに基づいて数学モデルを構築する。

学習の方向性を人が思い通りにコントロールがし易い。

明示的な指示を用いることなく、
- パターン（統計モデル）と
- 推論（アルゴリズム）に

依存して、特定の課題を効率的に実行する

応用例

詳細 †

理論 †

基礎 †

ベイズ統計が基礎

特徴量 †

機械学習的に言った説明変数

特定の概念を特徴づける変数、問題の解決に必要な本質的な変数

学習データにどのような特徴があるかを数値化したもの。

機械学習では入力された学習データから特徴量と呼ばれる数値を抽出する。
- 特徴量の抽出は人間が設計し実装する必要がある。
- 抽出した特徴量を元に機械はパターン・経験則をモデルを使って学習する。

である。

この特徴量を発見できれば、
- あらゆる問題の解決につながったり、
- パターン認識精度の向上や、
- フレーム問題の解決につながったりする

と期待されている。

統計的機械学習 †

機械学習のうちデータの確率的な生成規則を学習するもの
- テストすることで得られる最高の予測結果を生成する。
- モデルの仮定や検証は悪い予測結果を出した時のみ。

参考
- 統計解析
- 結局、機械学習と統計学は何が違うのか？ - Qiita
  https://qiita.com/KanNishida/items/8ab8553b17cb57e772d6

数理最適化 †

データに対するモデル出力の誤差を定義し、
誤差を最小化するようにパラメタの更新（学習）をおこなう。
誤差を計算する関数（損失関数）を最小化する。

パラメタ †

重みとも呼ばれるモデルの学習実行後に獲得される値。

ハイパーパラメタ †

各アルゴリズムに付随して、アルゴリズムの挙動を制御するための値。
学習実行前に設定した値によって学習実行後のパラメタが変わってくる。
深層学習におけるハイパーパラメタの例

アルゴリズム †

適合 †

複雑なものの認識や、常値の検出
たくさんの情報の中から必要なものを探す
予測、フォーキャスト（予想や見込み）、意思決定支援
言葉を使ったコミュニケーション
新しい体験を作り出したい場合

限界 †

データの中にあるバイアス（を、そのまま学習

プリシジョンとリコールのトレードオフがある。

コールド・スタートによる誤検知がある。

モデルの検証のためのフィードバックループが必要。

Exploration(冒険、探索)とExploitation(搾取、利用)

過学習 †

（過剰適合、過適合、オーバーフィッティング）

汎化能力の不足に起因する汎化できていない状態を指す（特化し過ぎている）。

統計学において、非常に複雑な非線形性の高いモデルを用いた場合、
データが元々持っている誤差や不確実性といった、本来説明ができない部分まで
フィットするような誤ったモデルが構築されてしまう場合がある。

機械学習において、学習精度がある一定の精度まで向上すると、
以降は未知のデータへの対応力を失ってしまう現象。

分類（教師データ） †

コンピュータとその周辺の技術・情報が発達してきたため出てきた概念
互いに独立なものではなく、高度に組合せて使用することも可能。

教師あり学習 †

（supervised learning）

教科書を使った勉強のように、
「結果と予測すべき答え」（訓練データ）が
与えられていて、それに至るためのシステムを作る学習手法

「予測すべき答」は
- ラベル（タグ）とも呼ばれる
- 人間の専門家が訓練例にラベル付け（タグ付け）して提供
- このラベル付け（タグ付け）の作業をアノテーションとも呼ぶ。

未知のデータ「x」にそれを適用して、予言 y = f(x) を与えることができる。

予言 y と、出力 ȳ の誤差が小さくなるように学習が進められる。

異常・不正の検出など、正例が少ないケースでは適合しない（若しくは工夫が必要

教師なし学習 †

（unsupervised learning）

データ自体に構造・特徴があり、そのデータを分類・識別する。

与えられたデータセット（訓練データ）の中に予測すべき正解が与えられないまま、
データの背後に存在する本質的な構造かをデータ同士の関係から導き出すという学習

評価規範Cが与えられている。評価規範Cを最適化するように学習が進められる。

自分自身を教師データにする自己教師型を教師なし学習に分類することもある。

判断ではなく、データマイニングなどグルーピングを行う、
クラスタ分析、主成分分析、対応分析などは教師なし学習

異常・不正の検出など、正例が少ないケースにも適合する。

半教師あり学習 †

（semi-supervised learning）

ラベルありの例とラベルなしの例を両方扱える。
すべてのデータにラベルを付けなくても良いので、効果的な学習が可能。

自己教師あり学習 †

（self-supervised Learning）

ラベル無しデータを使う教師なし学習の一種
「常識」を獲得するための重要な手法
データ自身に隠されている構造を読み取り、
次にくるものを予測する学習を行う。

分類（その他） †

強化学習 †

（reinforcement learning）

得られる結果（報酬）から何かを学んでいくように、
次の時刻の行為の結果（報酬）から学習していく能動的な学習

次の時刻の行動によって必ず環境に影響を及ぼし、
環境からフィードバックを得て、学習のガイドとする。
- 迷路の最短ルートを見つけ出す。
- 赤ちゃんが泣いたり声を出したり動いたり

用語

エージェント
行動する主体

環境
- エージェントが行動する場
- エージェントからは未知
- 探索により経験して学習

状態
- 環境中でエージェントが観測
- エージェントの行動により変化

行動
ある状態でエージェントがある行動をすると、
確率的に別の状態へ遷移する。

方策
状態から行動を確率的に決定

報酬
- 行動毎に報酬が得られる。
- これを最大化するように学習
- 短期的にか？中長期的にか？（割引率による
- 累積報酬和 → 割引率を考慮 → 割引累積報酬和
- 方策によって割引（累積）報酬和が変化する。

解くべき問題
未知の環境に対する逐次的意思決定問題として
定型化（報酬を経験により推定）して解決を試みる。
- 将来の報酬を最大化するための、現在の行動の意思決定
- 行動に対する状態変化と報酬が未知の時、探索方法も考慮。

マルコフ決定過程
- マルコフモデルにおいて報酬を最大化するための行動を時間ステップで行う。
- 強化学習の基礎だが、マルコフモデルに従わない場合を扱う場合もある。
- マルコフモデル：ある時刻の状態は一つ前の時刻の状態と行動に依存して確率的に決定される。

ベルマン方程式

学習対象がマルコフ決定過程に従う場合、行動も報酬も再帰構造になる

価値関数

状態価値関数
ある状態の時、ある方策に従って行動する事で、
将来に得る事が期待される割引報酬和を表す関数

行動価値関数（Q関数）
状態価値関数との違いは、初めに方策と無関係の行動をとるか否か。

最適行動価値関数（Q*）
最適方策が決められたときに定義される。
コレを獲得することが強化学習の目的だが、
・最初は環境から得られる報酬を知らないので探索を考慮する。
・探索を考慮するにはどのように方策を決定するか？

Qテーブル
・価値関数の実装の一つ（他の実装には線形関数、ニューラルネット等がある
・状態、行動、報酬をマトリックスによって管理する。

探索の方法

ランダム法
ランダムで探索を行う。

クリーディ法
Q関数の値が最も大きい行動に決定（探索できない

εクリーディ法
1-εの確率でクリーディ法（εの確率でランダム法）を選択してバランスを取る。

ボルツマン選択
Q関数の値を考慮してクリーディ法、ランダム法を選択してバランスを取る。

学習手法

DP法、MC法とかもあるらしいが、

TD法
報酬経験だけを頼りにエピソードの終了まで待たずに
状態価値関数や行動価値関数を更新する手法。

TD誤差
・自分が行動する前に思っていた行動の評価値と、
　実際行動してみて評価したその行動の評価値との誤差
・状態価値関数や行動価値関数のTD誤差がある。

TD誤差が０になるように学習する。
・Sarsa：方策オン型のTD学習。方策（実際の行動）に基づいたて行動価値関数を更新
・Q学習：方策オフ型のTD学習。方策に関係なく行動価値関数の最大値で行動価値関数を更新

アクター・クリティック法
以下で構成される強化学習のフレームワークの１つ
- アクター：方策（クリティックの評価をもとに更新）をもとに行動を選択し、実行
- クリティック：アクターが選択した行動の状態の変化と報酬を観測・TD誤差などで評価しアクターに通知

深層学習 †

ニューラルネットワークを使用した機械学習の一種
どの手法にも適用可能で優れた性能を発揮。
思わぬ方向に学習が進む可能性がある。

深層強化学習 †

強化学習はQテーブルなど離散的な状態表現での手法。
連続量の入出力を扱う関数近似器にニューラルネットワークを使う。

手法
- 深層Q学習
  - Q関数をQテーブルではなくCNNなどのニューラルネットワークにより表現。
  - DQN（Deep Q-Network）が最も基本的な手法

方策勾配法に基づくアクター・クリティック法

工夫
- バッチ学習
- 経験リプレイ

事例

ゲーム攻略
- TVゲーム攻略
- 完全情報ゲーム攻略（AlphaGo?
- 工夫
  ・自己対戦による学習

ロボティクス
- プログラミングで難しいタスク
- 直接的な教示が難しいタスク
- 単純労働などロボットによる労働代替

工夫
・人間からの教示
・物理シミュレーション（Sim2Real

インターネット
例えば、PV（≒報酬）を向上させるサイトマップ設計（≒行動）

その他 †

トランスダクション（トランスダクティブ推論）
観測された具体的な（訓練）例から
具体的かつ固定の（テスト）例の
新たな出力を予測しようとする。

マルチタスク学習
関連する複数の問題について同時に学習させ、
主要な問題の予測精度を向上させる。

学習結果の利用 †

利用：recall、想起、適用
教師データに対するテストデータに適用
「知りたい情報」の設定に依存して多様。
深層学習では、ほとんどのことができる。

推定 †

分類 †

回帰 †

認識 †

創出 †

自己組織化 †

実行手順 †

データ作成 †

良いデータの準備が性能発揮の生命線となる。

探索的データ解析（EDA）
データの特徴を探求し、構造を理解する。

前処理
前処理の良し悪しも性能を大きく左右する。

データは数値化される（通常はスカラではなくベクトル、テンソル）。
テキストデータのベクトル化には色々な手法があり永遠のテーマとなっている。

データセットを検査する（補完や、除去）。

データ拡大、次元削減、正規化、規格化
（特徴量エンジニアリング）

データの分割
- 訓練データ：６
- 検証データ：２
- テストデータ：２

学習の実行 †

機械学習システムの選択

訓練を繰り返しパラメタを更新＆収束

得られたモデルを検証データで評価
- 過学習のチェック
- モデルに手を加える
- チューニング、アンサンブル学習

最終評価を行い採用 / 不採用

利用と追加学習 †

利用
転移学習
追加学習

種類 †

エキスパート・システム †

膨大な情報と条件を照らし合わせながら、最適な提案を導き出す。

推論エンジンが知識ベースを使って推論を行う。

推論エンジン（固定）
ルールベースとも言われる。

知識ベース（可変）

応用例
組み合わせが膨大となるような領域でうまく機能する。
- 自動音声応答装置、人工無脳
- 障害診断、医療診断
- 複雑系、プロセス制御
- 意思決定支援
  - 市場での推奨取引を提示
  - コンピュータ野球ゲーム

IBMのWatson（ワトソン）などが、
- 機械学習（machine learning）
  ベイジアンネットワーク
- 深層学習（deep learning）

を使用して再登場したエキスパート・システム。

サポートベクターマシン（SVM） †

統計・確率論（機械学習）

教師あり学習を用いるパターン認識モデルの一つ
- 認識性能が優れた学習モデルの一つ。
- 未学習データに対して高い識別性能を得るための工夫がある

応用例
- テキストマイニング
- 災害危険度評価
- 倒産判別問題
- 非線形な競馬予測

事例ベース推論（CBR） †

情報を蓄積して分析し、
ある事例に類似した事例を導き出す。

原型
- 自動車整備士が以前の似たような故障を思い出してエンジンの修理
- 弁護士が裁判で判例に基づく主張を展開
- 技術者が自然界にあるものを模倣

4段階のプロセス
- 検索: 問題に対応した事例を検索する。
- 再利用: 事例から与えられた問題の解法を得る。
- 修正: 新しい解法を試して、必要ならば改良を加える。
- 記憶: うまく適応した解法が得られたら、その経験を新たな事例として記憶する。

応用例
- ヘルプデスク
- 意思決定支援システム

統計的に適切なデータがないと、その一般化が正しいという保証ができない。

ベイズ云々 †

ベイジアンフィルタ

ベイズモデル

ベイジアンネットワーク
- 統計的機械学習手法の一つ
- 説明可能性が高い機械学習手法
- ベイジアンネットワークを自動的に構成
  - グラフ構造の探索
  - 条件付き確率表の推定

統計と機械学習 †

基礎的な違い †

どちらも
- データを使って問題を解決する
- 数学的な手法を使って質問に答えることに関心がある

ゴールと貢献の仕方が違う。

統計学
- 統計学か数学の一環
- データを“説明”すること（推定と推論）を強調
- 限られた標本から調査したい母集団全体の特徴を推測する。
- 説明変数の数が大きくなると多変量解析を使った
  変数選択手法では多重検定のリスクが大きくなる。

機械学習
- コンピュータ・サイエンスの一環
- データから“予測”することを強調
- 変数間の関係性やルールなどを
  機械学習による予測モデルに学習させ予測する。
- 説明変数の数が多くなる場合は、機械学習を含む解析が使える。

使い分け †

予測モデルの使い分け。

統計

モデル全体を解釈したい。
データのサンプルサイズが大きくない。
トレーニングデータを持っていない。

不確実性やランダム性がある。
信号対ノイズ比（ノイズに対するシグナルの割合）が大きくない。

不確実性や予測変数の影響度を調べる必要がある。
少ない数の変数の影響度を切り離して評価したい。

機械学習

モデルがブラックボックスで興味が無い場合。
- 複雑な構造の内部パラメタに大量のデータの情報を反映できる。
- 十分なデータを使用できれば、精度な予測・分析ができる可能性が高い。
- トレードオフとしてモデル構造が複雑で解釈性が犠牲になりがち。

大量のデータを使用して学習することが期待されている。
- データのサンプルサイズが大きい。
- 膨大なトレーニングデータで学習できる。

強い不確実性やランダム性を持たない。
信号対ノイズ比（ノイズに対するシグナルの割合）が大きい。

不確実性の推測や選択した予測変数の影響度には興味が無い。
予測がゴールで、少ない数の変数の影響は問題ではない。

活用例 †

不正会計の検知 †

Li et al

概要
- 24個の会計情報を使ったロジスティック回帰モデル
- サポートベクターマシンで不正会計確率を推定
- 一度スコアを求めるかどうかというのが違いになる。

特徴
1. 手を加えていない会計情報そのものと
  不正・非不正の情報で構成される大量データを
  訓練データとテストデータに分け訓練データでモデルを作り
  テストデータでその検知能力を調べるという一般的な研究
  ・訓練データ：1991年から2002年までのデータ
  ・テストデータ：2003年から2005年までのデータ
2. アンダーサンプリングを行っている。
  訓練データの1と0（不正と非不正）が同数になるようにサンプリング

実務家の方法を取り入れることで
先行研究よりも正判別確率の高いモデルを構築
（東海林・中村・尾崎（2020）
- 不正会計を不正手段の種類別に認識
- 貸借対照表に不正会計の歪みが蓄積されることを利用して
  その歪みから得られる違和感により不正会計を経験的に認知

正判別率の上げかた。
- 歪みと違和感を変数化して特徴量にした。
- 不正手段を売上過大計上に限定した。
- 目的変数を不正群・非不正群ではなく
  非不正群から利益調整群を除いた1,0データとした。

ベイズ云々 †

迷惑メール
診断・コールセンター
レコメンド
社会現象・データ
顧客行動理解

MLOps †

（Machine Learning Operations）

機械学習（machine learning）のMLと、DevOpsとを組み合わせた造語。

機械学習、深層学習の開発・運用サイクルを円滑化する管理体制を築くための、
開発者（データ・サイエンティスト、エンジニア）と、保守・運用担当者の
コラボレーションおよびコミュニケーションに関する実践手法。

CX †

CI/CD †

CT/CM †

CT : 継続的にトレーニング
CM : 継続的モニタリング

ポイント †

動作環境 †

	管理	セキュリティ	性能	通信環境
クラウド	○	△	○	△
オンプレ	✕	○	△	○
エッジ	✕	△	✕	○

精度・速度 †

反比例のトレードオフ

サーバ構成 †

ノウハウが必要（データ・パイプライン

安定運用 †

データの収集・整形
- パイプライン構築
- 適切な管理

学習・評価
- 状況確認
- デプロイ

本番・運用
- 運用監視
- データの収集・追加学習

※ 本番・運用のチェックの労力で学習データを作成し精度を上げていくサイクルを造るなど。

Auto ML †

AutoML（Automated Machine Learning：自動化された機械学習）
機械学習を実際の問題に適用するプロセスを自動化する手法や概念
主に、実行手順に記載した工数の掛かる工程を自動化する。

以下のような欠点がある。
- 専門家の方が良いモデルを開発できる可能性がある。
- ブラックボックスのため説明性の問題が発生する可能性がある。
- 構造化データデータが中心で非構造化データは発展途上。

課題 †

⽣産性向上が阻害されている主な要因はデータ・ツール・デプロイ

データ（データレイク）
ツール
デプロイ

データレイク †

課題 †

以下のような課題を持っている。

低品質でサイロ化︓データ活⽤が進まない
データが”Ready” となっていない

整合性の維持
- ざっくり、スキーマが無い事が問題
- スキーマレスの状態からデータの加工に時間がかかる

更新の重複への対応
- 読み取りのスケーラビリティが高い
- 一方で、更新処理が苦手（トランザクション制御）

プロダクト †

ツール †

課題 †

以下のような課題を持っている。

⼤量のツール群︓活⽤が不⼗分
ツールやフレームワークの共有、ナレッジの管理
コラボレーション、再現性が厳しい。

プロダクト †

デプロイ †

課題 †

以下のような課題を持っている。

本番適⽤︓MLのデプロイが困難
エラーが発⽣しやすい⼿作業によりイノベーションのスピードが減速

プロダクト †

MLflow

参考 †

Wikipedia †

機械学習
https://ja.wikipedia.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92

エキスパートシステム
https://ja.wikipedia.org/wiki/%E3%82%A8%E3%82%AD%E3%82%B9%E3%83%91%E3%83%BC%E3%83%88%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0

サポートベクターマシン
https://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%9D%E3%83%BC%E3%83%88%E3%83%99%E3%82%AF%E3%82%BF%E3%83%BC%E3%83%9E%E3%82%B7%E3%83%B3

事例ベース推論
https://ja.wikipedia.org/wiki/%E4%BA%8B%E4%BE%8B%E3%83%99%E3%83%BC%E3%82%B9%E6%8E%A8%E8%AB%96

ベイジアンネットワーク
https://ja.wikipedia.org/wiki/%E3%83%99%E3%82%A4%E3%82%B8%E3%82%A2%E3%83%B3%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF

ニューラルネットワーク
https://ja.wikipedia.org/wiki/%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF

学習 †

教師あり学習
https://ja.wikipedia.org/wiki/%E6%95%99%E5%B8%AB%E3%81%82%E3%82%8A%E5%AD%A6%E7%BF%92
教師なし学習
https://ja.wikipedia.org/wiki/%E6%95%99%E5%B8%AB%E3%81%AA%E3%81%97%E5%AD%A6%E7%BF%92