機械学習（machine learning）のバックアップ(No.14) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る（人工知能（AI） / ベイズ統計）
- 機械学習（machine learning）
- 深層学習（deep learning）

目次 †

目次
概要
詳細
MLOps
- CI/CD
- CT/CM
  - CT
  - CM
課題
参考
- Wikipedia
  - 学習

概要 †

機械学習（machine learning）について纏める。

第２次人工知能ブームでの人工知能

人が、その機械は何を学習するか？というのを予め定義する。

注目スべきデータ（特徴量）の選定タスクは人間が担う。

「訓練データ」として知られる
サンプルデータに基づいて数学モデルを構築する。

学習の方向性を人が思い通りにコントロールがし易い。

明示的な指示を用いることなく、
- パターン（統計モデル）と
- 推論（アルゴリズム）に

依存して、特定の課題を効率的に実行する

応用例

詳細 †

理論 †

基礎 †

ベイズ統計が基礎

特徴量 †

機械学習的に言った説明変数のこと。
- 問題の解決に必要な本質的な変数
- 特定の概念を特徴づける変数

である。

この特徴量を発見できれば、
- あらゆる問題の解決につながったり、
- パターン認識精度の向上や、
- フレーム問題の解決につながったりする

と期待されている。

統計的機械学習 †

機械学習のうちデータの確率的な生成規則を学習するもの
- テストすることで得られる最高の予測結果を生成する。
- モデルの仮定や検証は悪い予測結果を出した時のみ。

参考
- 統計解析
- 結局、機械学習と統計学は何が違うのか？ - Qiita
  https://qiita.com/KanNishida/items/8ab8553b17cb57e772d6

数理最適化 †

データに対するモデル出力の誤差を定義し、
誤差を最小化するようにパラメタの更新（学習）をおこなう。
誤差を計算する関数（損失関数）を最小化する。

パラメタ †

重みとも呼ばれるモデルの学習実行後に獲得される値。

ハイパーパラメタ †

各アルゴリズムに付随して、アルゴリズムの挙動を制御するための値。
学習実行前に設定した値によって学習実行後のパラメタが変わってくる。
深層学習におけるハイパーパラメタの例

アルゴリズム †

適合 †

複雑なものの認識や、常値の検出
たくさんの情報の中から必要なものを探す
予測、フォーキャスト（予想や見込み）、意思決定支援
言葉を使ったコミュニケーション
新しい体験を作り出したい場合

限界 †

データの中にあるバイアス（を、そのまま学習

プリシジョンとリコールのトレードオフがある。

コールド・スタートによる誤検知がある。

モデルの検証のためのフィードバックループが必要。

Exploration(冒険、探索)とExploitation(搾取、利用)

過学習 †

（過剰適合、過適合、オーバーフィッティング）

汎化能力の不足に起因する汎化できていない状態を指す（特化し過ぎている）。

統計学において、非常に複雑な非線形性の高いモデルを用いた場合、
データが元々持っている誤差や不確実性といった、本来説明ができない部分まで
フィットするような誤ったモデルが構築されてしまう場合がある。

機械学習において、学習精度がある一定の精度まで向上すると、
以降は未知のデータへの対応力を失ってしまう現象。

分類 †

コンピュータとその周辺の技術・情報が発達してきたため出てきた概念
互いに独立なものではなく、高度に組合せて使用することも可能。

教師あり学習 †

（supervised learning）

教科書を使った勉強のように、
「結果と予測すべき答え」（訓練データ）が
与えられていて、それに至るためのシステムを作る学習手法

「予測すべき答」は
- ラベル（タグ）とも呼ばれる
- 人間の専門家が訓練例にラベル付け（タグ付け）して提供
- このラベル付け（タグ付け）の作業をアノテーションとも呼ぶ。

未知のデータ「x」にそれを適用して、予言 y = f(x) を与えることができる。

予言 y と、出力 ȳ の誤差が小さくなるように学習が進められる。

異常・不正の検出など、正例が少ないケースでは適合しない（若しくは工夫が必要

教師なし学習 †

（unsupervised learning）

データ自体に構造・特徴があり、そのデータを分類・識別する。

与えられたデータセット（訓練データ）の中に予測すべき正解が与えられないまま、
データの背後に存在する本質的な構造かをデータ同士の関係から導き出すという学習

評価規範Cが与えられている。評価規範Cを最適化するように学習が進められる。

自分自身を教師データにする自己教師型を教師なし学習に分類することもある。

判断ではなく、データマイニングなどグルーピングを行う、
クラスタ分析、主成分分析、対応分析などは教師なし学習

異常・不正の検出など、正例が少ないケースにも適合する。

半教師あり学習 †

（semi-supervised learning）

ラベルありの例とラベルなしの例を両方扱える。
すべてのデータにラベルを付けなくても良いので、効果的な学習が可能。

自己教師あり学習 †

（self-supervised Learning）

ラベル無しデータを使う教師なし学習の一種
「常識」を獲得するための重要な手法
データ自身に隠されている構造を読み取り、
次にくるものを予測する学習を行う。

強化学習 †

（reinforcement learning）

得られる結果（報酬）から何かを学んでいくように、
次の時刻の行為の結果（報酬）から学習していく能動的な学習

次の時刻の行動によって必ず環境に影響を及ぼし、
環境からフィードバックを得て、学習のガイドとする。
- 迷路の最短ルートを見つけ出す。
- 赤ちゃんが泣いたり声を出したり動いたり

行動も報酬も再帰構造になる（Bellman方程式）

深層学習 †

ニューラルネットワークを使用した機械学習の一種
どの手法にも適用可能で優れた性能を発揮。
思わぬ方向に学習が進む可能性がある。

その他 †

トランスダクション（トランスダクティブ推論）
観測された具体的な（訓練）例から
具体的かつ固定の（テスト）例の
新たな出力を予測しようとする。

マルチタスク学習
関連する複数の問題について同時に学習させ、
主要な問題の予測精度を向上させる。

学習結果の利用 †

利用：recall、想起、適用
教師データに対するテストデータに適用
「知りたい情報」の設定に依存して多様。
深層学習では、ほとんどのことができる。

推定 †

分類 †

回帰 †

認識 †

創出 †

自己組織化 †

実行手順 †

データ作成 †

良いデータの準備が性能発揮の生命線となる。

前処理
前処理の良し悪しも性能を大きく左右する。

データは数値化される（通常はスカラではなくベクトル、テンソル）。
テキストデータのベクトル化には色々な手法があり永遠のテーマとなっている。

データセットを検査する（補完や、除去）。
データ拡大、次元削減、正規化、規格化

データの分割
- 訓練データ：６
- 検証データ：２
- テストデータ：２

学習の実行 †

危害学習システムの選択
訓練を繰り返しパラメタを更新＆収束

得られたモデルを検証データで評価
- 過学習のチェック
- モデルに手を加える（例：層の追加・削除）

最終評価を行い採用 / 不採用

利用と再学習 †

利用
転移学習
再学習

種類 †

エキスパート・システム †

膨大な情報と条件を照らし合わせながら、最適な提案を導き出す。

推論エンジンが知識ベースを使って推論を行う。

推論エンジン（固定）
ルールベースとも言われる。

知識ベース（可変）

応用例
組み合わせが膨大となるような領域でうまく機能する。
- 自動音声応答装置、人工無脳
- 障害診断、医療診断
- 複雑系、プロセス制御
- 意思決定支援
  - 市場での推奨取引を提示
  - コンピュータ野球ゲーム

IBMのWatson（ワトソン）などが、
- 機械学習（machine learning）
- 深層学習（deep learning）

を使用して再登場したエキスパート・システム。

サポートベクターマシン †

統計・確率論（機械学習）

教師あり学習を用いるパターン認識モデルの一つ
- 認識性能が優れた学習モデルの一つ。
- 未学習データに対して高い識別性能を得るための工夫がある

応用例
- テキストマイニング
- 災害危険度評価
- 倒産判別問題
- 非線形な競馬予測

事例ベース推論（CBR） †

情報を蓄積して分析し、
ある事例に類似した事例を導き出す。

原型
- 自動車整備士が以前の似たような故障を思い出してエンジンの修理
- 弁護士が裁判で判例に基づく主張を展開
- 技術者が自然界にあるものを模倣

4段階のプロセス
- 検索: 問題に対応した事例を検索する。
- 再利用: 事例から与えられた問題の解法を得る。
- 修正: 新しい解法を試して、必要ならば改良を加える。
- 記憶: うまく適応した解法が得られたら、その経験を新たな事例として記憶する。

応用例
- ヘルプデスク
- 意思決定支援システム

統計的に適切なデータがないと、その一般化が正しいという保証ができない。

ベイジアンネットワーク †

統計的機械学習手法の一つ
ベイジアンネットワークを自動的に構成
説明可能性が高い機械学習手法

統計と機械学習 †

基礎的な違い †

どちらも
- データを使って問題を解決する
- 数学的な手法を使って質問に答えることに関心がある

ゴールと貢献の仕方が違う。

統計学
- 統計学か数学の一環
- データを“説明”すること（推定と推論）を強調
- 限られた標本から調査したい母集団全体の特徴を推測する。
- 説明変数の数が大きくなると多変量解析を使った
  変数選択手法では多重検定のリスクが大きくなる。

機械学習
- コンピュータ・サイエンスの一環
- データから“予測”することを強調
- 変数間の関係性やルールなどを
  機械学習による予測モデルに学習させ予測する。
- 説明変数の数が多くなる場合は、機械学習を含む解析が使える。

使い分け †

予測モデルの使い分け。

統計

モデル全体を解釈したい。
データのサンプルサイズが大きくない。
トレーニングデータを持っていない。

不確実性やランダム性がある。
信号対ノイズ比（ノイズに対するシグナルの割合）が大きくない。

不確実性や予測変数の影響度を調べる必要がある。
少ない数の変数の影響度を切り離して評価したい。

機械学習

モデルがブラックボックスで興味が無い場合。
- 複雑な構造の内部パラメタに大量のデータの情報を反映できる。
- 十分なデータを使用できれば、精度な予測・分析ができる可能性が高い。
- トレードオフとしてモデル構造が複雑で解釈性が犠牲になりがち。

大量のデータを使用して学習することが期待されている。
- データのサンプルサイズが大きい。
- 膨大なトレーニングデータで学習できる。

強い不確実性やランダム性を持たない。
信号対ノイズ比（ノイズに対するシグナルの割合）が大きい。

不確実性の推測や選択した予測変数の影響度には興味が無い。
予測がゴールで、少ない数の変数の影響は問題ではない。

活用例 †

不正会計の検知 †

Li et al

概要
- 24個の会計情報を使ったロジスティック回帰モデル
- サポートベクターマシンで不正会計確率を推定
- 一度スコアを求めるかどうかというのが違いになる。

特徴
1. 手を加えていない会計情報そのものと
  不正・非不正の情報で構成される大量データを
  訓練データとテストデータに分け訓練データでモデルを作り
  テストデータでその検知能力を調べるという一般的な研究
  ・訓練データ：1991年から2002年までのデータ
  ・テストデータ：2003年から2005年までのデータ
2. アンダーサンプリングを行っている。
  訓練データの1と0（不正と非不正）が同数になるようにサンプリング

実務家の方法を取り入れることで
先行研究よりも正判別確率の高いモデルを構築
（東海林・中村・尾崎（2020）
- 不正会計を不正手段の種類別に認識
- 貸借対照表に不正会計の歪みが蓄積されることを利用して
  その歪みから得られる違和感により不正会計を経験的に認知

正判別率の上げかた。
- 歪みと違和感を変数化して特徴量にした。
- 不正手段を売上過大計上に限定した。
- 目的変数を不正群・非不正群ではなく
  非不正群から利益調整群を除いた1,0データとした。

... †

MLOps †

機械学習、深層学習のライフサイクルを管理するための、
データ・サイエンティスト、エンジニア、保守運用担当者の
コラボレーションおよびコミュニケーションに関する実践手法。

機械学習（machine learning）のMLと、DevOpsとを組み合わせた造語。

CI/CD †

CT/CM †

CT †

継続的にトレーニング

CM †

継続的モニタリング

課題 †

⽣産性向上が阻害されている主な要因はデータ・ツール・デプロイ

データ（データレイク）
ツール
デプロイ

データレイク †

課題 †

以下のような課題を持っている。

低品質でサイロ化︓データ活⽤が進まない
データが”Ready” となっていない

整合性の維持
- ざっくり、スキーマが無い事が問題
- スキーマレスの状態からデータの加工に時間がかかる

更新の重複への対応
- 読み取りのスケーラビリティが高い
- 一方で、更新処理が苦手（トランザクション制御）

プロダクト †

ツール †

課題 †

以下のような課題を持っている。

⼤量のツール群︓活⽤が不⼗分
ツールやフレームワークの共有、ナレッジの管理
コラボレーション、再現性が厳しい。

プロダクト †

デプロイ †

課題 †

以下のような課題を持っている。

本番適⽤︓MLのデプロイが困難
エラーが発⽣しやすい⼿作業によりイノベーションのスピードが減速

プロダクト †

MLflow

参考 †

Wikipedia †

機械学習
https://ja.wikipedia.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92

エキスパートシステム
https://ja.wikipedia.org/wiki/%E3%82%A8%E3%82%AD%E3%82%B9%E3%83%91%E3%83%BC%E3%83%88%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0

サポートベクターマシン
https://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%9D%E3%83%BC%E3%83%88%E3%83%99%E3%82%AF%E3%82%BF%E3%83%BC%E3%83%9E%E3%82%B7%E3%83%B3

事例ベース推論
https://ja.wikipedia.org/wiki/%E4%BA%8B%E4%BE%8B%E3%83%99%E3%83%BC%E3%82%B9%E6%8E%A8%E8%AB%96

ベイジアンネットワーク
https://ja.wikipedia.org/wiki/%E3%83%99%E3%82%A4%E3%82%B8%E3%82%A2%E3%83%B3%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF

ニューラルネットワーク
https://ja.wikipedia.org/wiki/%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF

学習 †

教師あり学習
https://ja.wikipedia.org/wiki/%E6%95%99%E5%B8%AB%E3%81%82%E3%82%8A%E5%AD%A6%E7%BF%92
教師なし学習
https://ja.wikipedia.org/wiki/%E6%95%99%E5%B8%AB%E3%81%AA%E3%81%97%E5%AD%A6%E7%BF%92