深層学習の誤差逆伝播法のバックアップ(No.12)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- 深層学習の誤差逆伝播法
- 深層学習のテクニック

目次 †

↑

概要 †

多層ニューラルネットワークを効率よく学習させるアルゴリズム
層がより深くなっても、学習できる仕組みとして注目される。

↑

誤差関数（損失関数）の最小化問題 †

各層の重みを更新して誤差をゼロにしていく。
- 最小＝微分した値がゼロになる点。
- 重みのパラメタは複数あるので偏微分を行う。

誤差の種類
過学習にならないようにバランスをとる。
- 訓練誤差：学習時の誤差
- 汎化誤差：推論時の誤差

損失関数のグラフの全容は実際には観測できない。

↑

パラメタ値の自動計算 †

多変数の合成関数を偏微分する際の連鎖律（チェインルール）で、
自動的に、各層の重みを（遡って）更新出来る。

ポイント

イテレーション
最小の値を見つけるまで繰り返した計算の回数

学習率
- パラメタ更新を行う際の更新幅（パイパー・パラメタ）
- 勾配に沿って、一度にどれだけ降りていくか。

↑

見せかけの最適化を防ぐ †

↑

数式 or 計算グラフ †

勾配降下法（損失関数の勾配を計算するための数値微分）は、
計算に時間がかかるので、ニューラルネットワークを学習させる際に用い効率よく計算を行う。

誤差逆伝播法は、数式 or 計算グラフによって理解する。

↑

数式 †

コチラが一般的であるが、

↑

計算グラフ †

ココでは、コチラを使用して視覚的に理解した上で実装する。

↑

連鎖律 †

合成関数の微分についての性質。

「ゴールの微分係数」=「経路上の微分係数の積」となる公式

「ある関数が、合成関数で表される場合、合成関数の微分は、
合成関数を構成する関数の微分の積で表すことが出来る。」

↑

合成関数 †

合成関数（関数Aと関数B）

     2
z = t
t = x + y

↑

関数Aの微分 †

dz
─ = 2t
dt

↑

関数Bの微分 †

dt
─ = 1
dx

↑

合成関数の微分 †

dz    dz dt
─ =  ─ ─ = 2t * 1 = 2t = 2(x + y)
dx    dt dx

↑

計算グラフ †

計算過程をデータ構造としてのグラフによって表す。

データ構造としてのグラフは、複数の
- ノードと
- エッジ（ノードを結ぶ直線）

によって表現される。

利点

中間の計算結果は保持される。

局所的な計算で単純な計算に集中できる（単純化）。

最大の利点は順伝播できる点。
- 右（始点）から左（終点）に流れる。
- 保持された計算結果と逆伝播で、微分を効率よく計算できる。

↑

計算グラフの例 †

↑

リンゴの例 †

100円のリンゴを2個買う（消費税10%が適用される）。

          100       200         220
（リンゴ）--->（*2）--->（*1.1）--->（支払い）

数値を外出にする（ノードは演算子だけ）。

          100      200      220
（リンゴ）--->（*）--->（*）--->（支払い）
               ↑2      ↑1.1
  （リンゴの個数）（消費税）

↑

リンゴとミカンの例 †

以下を購入（消費税10%が適用される。
- 100円のリンゴを2個
- 150円のミカンを3個

          100         200         650      715
（リンゴ）--->（*）--------->（+）--->（*）--->（支払い）
                ↑2           ↑       ↑1.1
    （リンゴの個数）          │   （消費税）
                              │
          150          450    │
（ミカン）--->（*）-----------┘
                ↑3
    （ミカンの個数）

↑

局所的 †

局所的な計算を伝播することによって、最終的な結果を得ることが出来る。
局所的な計算に集中できる。これによって問題に集中できる。

          100            200         4,200    4,620
（リンゴ）--->（*）------------->（+）--->（*）--->（支払い）
                ↑2               ↑       ↑1.1
    （リンゴの個数）              │   （消費税）
                                  │
                                  │
（沢山の買い物）--->（複雑な計算）┘4000

↑

逆伝播 †

例えば、リンゴの値上がりが支払金額に、どう影響するか？を計算する。
これは、＝リンゴの値段に関する支払金額の微分を求めることに相当する（乗算ノード）。

逆方向の伝播では、連鎖率によって「局所的な微分」を「順方向の逆方向に伝播」する。

↑

順伝播の例 †

y = 2.2x
- x = リンゴの値段
- y = 支払金額

          100(1x)  200(2x)   220(2.2x)
（リンゴ）--->（*）---->（*）---->（支払い）
               ↑2       ↑1.1
  （リンゴの個数） （消費税）

↑

逆伝播の例 †

dy
─ = 2.2
dx

          100(1x)  200(2x)   220(2.2x)
（リンゴ）--->（*）---->（*）---->（支払い）
          <--- ↑  <---- ↑  <----
           2.2 │   1.1  │    1.0
               │2       │1.1
  （リンゴの個数） （消費税）

↑

計算グラフの逆伝播 †

順方向と逆向きに局所的な微分を乗算。

 x         y
---->（f）---->
<----     <----
   dy
 E ─      E
   dx

↑

連鎖率と計算グラフ †

↑

連鎖率を計算グラフで表現 †

z=(x+y)^2
z=t^2
t=x+y

    x           t          z
--------->（+）---->（^2）---->
<--------- ↑  <----      <----
dz dz dt   │ dz dz         dz
-- -- --   │ -- --         -- = 1
dz dt dx   │ dz dt         dz
           │
            y

dz      dz       dt
─ = 1, ─ = 2t, ─ = 1
dz      dt       dx

    x           t          z
--------->（+）---->（^2）---->
<--------- ↑  <----      <----
           │
1*2t*1     │  1*2t
 = 2(x+y)  │   = 2(x+y)
           │
            y

↑

演算毎の逆伝播 †

↑

加算ノード †

式
```
z = x + y
```

ｘで微分
```
dz
─ = 1
dx
```

ｙで微分
```
dz
─ = 1
dy
```

計算グラフ

x ──┐dL dL dz
      │─ ─ ─
      │dL dz dx
      ↓         z                         L
      (+) <-------------（何らかの計算）<------
      ↑             dL                    dL
      │dL dL dz     ─                    ─
      │─ ─ ─     dz                    dL
y ──┘dL dz dx

１を乗算して次のノードに流す。

dL   dL dL dz     dL     dL
─ = ─ ─ ─ = 1 ─ 1 = ─
dx   dL dz dx     dz     dz

dL   dL dL dz     dL     dL
─ = ─ ─ ─ = 1 ─ 1 = ─
dy   dL dz dy     dz     dz

↑

乗算ノード †

式
```
z = x * y
```

ｘで微分
```
dz
─ = y
dx
```

ｙで微分
```
dz
─ = x
dy
```

計算グラフ

x ──┐dL dL dz
      │─ ─ ─
      │dL dz dx
      ↓         z                         L
      (*) <-------------（何らかの計算）<------
      ↑             dL                    dL
      │dL dL dz     ─                    ─
      │─ ─ ─     dz                    dL
y ──┘dL dz dx

倍率を乗算して次のノードに流す。

dL   dL dL dz     dL     dL
─ = ─ ─ ─ = 1 ─ x = ─ x
dx   dL dz dx     dz     dz

dL   dL dL dz     dL     dL
─ = ─ ─ ─ = 1 ─ y = ─ y
dy   dL dz dy     dz     dz

↑

重みの自動計算 †

計算グラフの逆伝播で得られる値は、

連鎖率で微分を乗算していって得られた値で、
それぞれの値が１増えた時、その他の値に変更がない場合、最終結果に影響を与える大きさ≒重みになる。

↑

リンゴの例 †

を表している。

          100(1x)   200(2x)     220(2.2x)
（リンゴ）---->（*）------>（*）---->（支払い）
          <----↑│ <------ ↑│<----
           2.2 ││   1.1   ││ 1.0
               ││         ││
              2│↓110   1.1│↓200
         （リンゴの個数）（消費税）

↑

リンゴとミカンの例 †

          100         200         650      715
（リンゴ）--->（*）--------->（+）--->（*）--->（支払い）
          <---↑│ <--------- ↑│<---↑│ <---
          2.2 ││    1.1     ││1.1 ││  1
             2│↓110         ││    ││
    （リンゴの個数）          ││ 1.1││650
                              ││    │↓
          150           450   ││ （消費税）
（ミカン）--->（*）-----------┘│
          <---↑│ <------------┘
          3.3 ││      1.1
             3│↓165
    （ミカンの個数）

↑

レイヤの実装 †

↑

↑

乗算レイヤ：MulLayer? †

↑

深層学習の誤差逆伝播法 のバックアップ(No.12)

目次 †

概要 †

誤差関数（損失関数）の最小化問題 †

パラメタ値の自動計算 †

見せかけの最適化を防ぐ †

数式 or 計算グラフ †

数式 †

計算グラフ †

連鎖律 †

合成関数 †

関数Aの微分 †

関数Bの微分 †

合成関数の微分 †

計算グラフ †

計算グラフの例 †

リンゴの例 †

リンゴとミカンの例 †

局所的 †

逆伝播 †

順伝播の例 †

逆伝播の例 †

計算グラフの逆伝播 †

連鎖率と計算グラフ †

連鎖率を計算グラフで表現 †

演算毎の逆伝播 †

加算ノード †

乗算ノード †

重みの自動計算 †

リンゴの例 †

リンゴとミカンの例 †

レイヤの実装 †

単純なレイヤの実装 †

乗算レイヤ：MulLayer? †

加算レイヤ：AddLayer? †

深層学習の誤差逆伝播法のバックアップ(No.12)