深層学習の誤差逆伝播法のバックアップ(No.16) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- パーセプトロン
- ニューラルネットワーク
  - ニューラルネットワーク（推論）
  - ニューラルネットワーク（学習）
    ・深層学習の誤差逆伝播法
    ・深層学習のテクニック

目次 †

目次
概要
- 誤差関数（損失関数）の最小化問題
  - パラメタ値の自動計算
  - 見せかけの最適化を防ぐ
- 数式 or 計算グラフ
  - 数式
  - 計算グラフ
連鎖律
- 合成関数
- 微分
計算グラフ
合成関数、計算グラフ、連鎖律
ニューラルネットへの応用
レイヤの実装

概要 †

多層ニューラルネットワークを効率よく学習させるアルゴリズム
層がより深くなっても、学習できる仕組みとして注目される。

誤差関数（損失関数）の最小化問題 †

各層の重みを更新して誤差をゼロにしていく。
- 最小＝微分した値がゼロになる点。
- 重みのパラメタは複数あるので偏微分を行う。

誤差の種類
過学習にならないようにバランスをとる。
- 訓練誤差：学習時の誤差
- 汎化誤差：推論時の誤差

損失関数のグラフの全容は実際には観測できない。

パラメタ値の自動計算 †

多変数の合成関数を偏微分する際の連鎖律（チェインルール）で、
自動的に、各層を遡って勾配を計算し、重みを更新出来る。

ポイント

イテレーション
最小の値を見つけるまで繰り返した計算の回数

学習率
- パラメタ更新を行う際の更新幅（パイパー・パラメタ）
- 勾配に沿って、一度にどれだけ降りていくか。

見せかけの最適化を防ぐ †

数式 or 計算グラフ †

勾配降下法（損失関数の勾配を計算するための数値微分）は、
計算に時間がかかるので、ニューラルネットワークを学習させる際に用い効率よく計算を行う。

誤差逆伝播法は、数式 or 計算グラフによって理解する。

数式 †

コチラが一般的であるが、

計算グラフ †

ココでは、コチラを使用して視覚的に理解した上で実装する。

連鎖律 †

合成関数の微分についての性質。

「ゴールの微分係数」=「経路上の微分係数の積」となる公式

「ある関数が、合成関数で表される場合、合成関数の微分は、
合成関数を構成する関数の微分の積で表すことが出来る。」

合成関数 †

合成関数（関数Aと関数B）

     2
z = t
t = x + y

微分 †

関数Aの微分 †

dz
─ = 2t
dt

関数Bの微分 †

dt
─ = 1
dx

合成関数の微分 †

dz    dz dt
─ =  ─ ─ = 2t * 1 = 2t = 2(x + y)
dx    dt dx

計算グラフ †

計算過程をデータ構造としてのグラフによって表す。

データ構造としてのグラフは、複数の
- ノードと
- エッジ（ノードを結ぶ直線）

によって表現される。

利点

中間の計算結果は保持される。

局所的な計算で単純な計算に集中できる（単純化）。

最大の利点は順伝播できる点。
- 右（始点）から左（終点）に流れる。
- 保持された計算結果と逆伝播で、微分を効率よく計算できる。

計算グラフの例 †

リンゴの例 †

100円のリンゴを2個買う（消費税10%が適用される）。

          100       200         220
（リンゴ）--->（*2）--->（*1.1）--->（支払い）

数値を外出にする（ノードは演算子だけ）。

          100      200      220
（リンゴ）--->（*）--->（*）--->（支払い）
               ↑2      ↑1.1
  （リンゴの個数）（消費税）

リンゴとミカンの例 †

以下を購入（消費税10%が適用される。

100円のリンゴを2個
150円のミカンを3個

局所的 †

局所的な計算を伝播することによって、最終的な結果を得ることが出来る。
局所的な計算に集中できる。これによって問題に集中できる。

演算ノード毎の逆伝播 †

加算ノード †

式
```
z = x + y
```

ｘで微分
```
dz
─ = 1
dx
```

ｙで微分
```
dz
─ = 1
dy
```

計算グラフ

x ──┐dL dL dz
      │─ ─ ─
      │dL dz dx
      ↓         z                         L
      (+) <-------------（何らかの計算）<------
      ↑             dL                    dL
      │dL dL dz     ─                    ─
      │─ ─ ─     dz                    dL
y ──┘dL dz dx

なにもせず、次のノードに流す。

dL   dL dL dz     dL     dL
─ = ─ ─ ─ = 1 ─ 1 = ─
dx   dL dz dx     dz     dz

dL   dL dL dz     dL     dL
─ = ─ ─ ─ = 1 ─ 1 = ─
dy   dL dz dy     dz     dz

乗算ノード †

式
```
z = x * y
```

ｘで微分
```
dz
─ = y
dx
```

ｙで微分
```
dz
─ = x
dy
```

計算グラフ

x ──┐dL dL dz
      │─ ─ ─
      │dL dz dx
      ↓         z                         L
      (*) <-------------（何らかの計算）<------
      ↑             dL                    dL
      │dL dL dz     ─                    ─
      │─ ─ ─     dz                    dL
y ──┘dL dz dx

倍率を乗算して次のノードに流す。

dL   dL dL dz     dL     dL
─ = ─ ─ ─ = 1 ─ x = ─ x
dx   dL dz dx     dz     dz

dL   dL dL dz     dL     dL
─ = ─ ─ ─ = 1 ─ y = ─ y
dy   dL dz dy     dz     dz

計算グラフの順伝播・逆伝播 †

例えば、リンゴの値上がりが支払金額に、どう影響するか？を計算する。
これは、＝リンゴの値段に関する支払金額の微分を求めることに相当する（乗算ノード）。

逆方向の伝播では、連鎖律によって「局所的な微分」を「順方向の逆方向に伝播」する。

リンゴの例の順伝播 †

y = 2.2x

x = リンゴの値段
y = 支払金額

          100(1x)  200(2x)   220(2.2x)
（リンゴ）--->（*）---->（*）---->（支払い）
               ↑2       ↑1.1
  （リンゴの個数） （消費税）

リンゴの例の逆伝播 †

dL
─ = 2.2
dx

          100(1x)  200(2x)   220(2.2x)
（リンゴ）--->（*）---->（*）---->（支払い）
          <--- ↑  <---- ↑  <----
           2.2 │   1.1  │    1.0
               │2       │1.1
  （リンゴの個数） （消費税）

※ 2.2は（x =）リンゴの値段が１上がると最終値が幾ら上がるか？を表している。

計算グラフの逆伝播 †

順方向と逆向きに局所的な微分を乗算。

 x         y
---->（f）---->
<----     <----
   dy
 E ─      E
   dx

合成関数、計算グラフ、連鎖律 †

合成関数を計算グラフで表現 †

z=(x+y)^2
z=t^2
t=x+y

この計算グラフは連鎖律で微分可 †

計算グラフ †

（合成関数だからね）

    x           t          z
--------->（+）---->（^2）---->
<--------- ↑  <----      <----
dz dz dt   │ dz dz         dz
-- -- --   │ -- --         -- = 1
dz dt dx   │ dz dt         dz
           │
            y

偏微分 †

dz      dz       dt
─ = 1, ─ = 2t, ─ = 1
dz      dt       dx

連鎖律 †

    x           t          z
--------->（+）---->（^2）---->
<--------- ↑  <----      <----
           │
1*2t*1     │  1*2t
 = 2(x+y)  │   = 2(x+y)
           │
            y

逆伝播による勾配の自動計算 †

計算グラフの逆伝播で得られる値は、

連鎖律で微分を乗算していって得られた値で、
それぞれの値が１増えた時、その他の値に変更がない場合、
最終結果に影響を与える大きさ ≒ 勾配になる。

リンゴの例 †

          100(1x)   200(2x)     220(2.2x)
（リンゴ）---->（*）------>（*）---->（支払い）
          <----↑│ <------ ↑│<----
           2.2 ││   1.1   ││ 1.0
               ││         ││
              2│↓110   1.1│↓200
         （リンゴの個数）（消費税）

リンゴとミカンの例 †

ニューラルネットへの応用 †

以下の逆伝播が計算できれば、勾配が計算できるということになる。

中間層のアフィン変換 †

入力＆重のドット積 †

バイアスの加算 †

中間層の活性化関数 †

出力層の活性化関数 †

レイヤの実装 †

Wiki版はココで力尽きたので、あとは以下をご参照。