ニューラルネットワークのバックアップ(No.3) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

概要 †

ニューラルネットワークは、

パーセプトロンの、
「重み」のパラメタ（w1, w2, θ（-b））の決定は人手によって行われる。

という問題を、データから自動で「重み」のパラメタを学習することで解決する。

パーセプトロンでは、活性化関数にステップ関数（段階関数）を使用していたが、
ニューラルネットワークでは、これ以外の活性化関数を使用する。

ネットワークにループする結合を持たず、

第０層　　　　第１層　　　　　第２層~
入力層 → 中間層（隠れ層） → 出力層

というように単一方向へのみ信号が伝播する。

活性化関数 †

ステップ関数とシグモイド関数とReUL関数がある。

ステップ関数とシグモイド関数
- 相違点
  - ステップ関数：0, 1の信号
  - シグモイド関数：連続的な実数の信号

共通点
- 非線形な関数
- 0 <= 出力信号 <= 1 に収める。
- 入力信号が重要な時に１に近い、重要でない時０に近い値を返す。

ニューラルネットワークでは、非線形な関数を使用する必要がある。
- 線形関数を用いてはならないのは、多層化の意味が無くなるため。
- 例 : 線形な h(x) = cx を多層化しても h(h(h(x))) = cccx となり１層で表現可能。

しかし、最近は、ReUL関数の利用が主流になっている。

ステップ関数 †

実装 †

なんとなくAPI仕様を知らないと難しい感じ。

パターン１

"""This is a test program."""

import numpy as np

def step_function(x_1):
    """This is a test program."""
    y_1 = x_1 > 0
    return y_1.astype(np.int)

パターン２

"""This is a test program."""

import numpy as np

def step_function(x_1):
    """This is a test program."""
    return np.array(x_1 > 0, dtype=np.int)

グラフ †

5.0 ～ 5.0までの0.1刻みのプロットをステップ関数にかけてグラフ化する。

"""This is a test program."""

import numpy as np
import matplotlib.pylab as plt

def step_function(x_1):
    """This is a test program."""
    # 上記のいずれかの実装を選択。

X = np.arange(-5.0, 5.0, 0.1)
Y = step_function(X)
plt.plot(X, Y)
plt.ylim(-0.1, 1.1)  # 図で描画するy軸の範囲を指定
plt.show()

step関数グラフ

シグモイド関数 †

              1
h(x) = ────────
        1 + exp(-x)

exp(-x)とは、eの-x乗を意味する。
eはネイピア数(2.7182)の実数を表す。

実装 †

ポイントは、Pythonのブロードキャストによって配列も計算できる点。

"""This is a test program."""

import numpy as np

def sigmoid(x_1):
     """This is a test program."""
    return 1 / (1 + np.exp(-x_1))

グラフ †

5.0 ～ 5.0までの0.1刻みのプロットをシグモイド関数にかけてグラフ化する。

"""This is a test program."""

import numpy as np
import matplotlib.pylab as plt

def sigmoid(x_1):
    """This is a test program."""
    return 1 / (1 + np.exp(-x_1))

X = np.arange(-5.0, 5.0, 0.1)
Y = sigmoid(X)
plt.plot(X, Y)
plt.ylim(-0.1, 1.1)
plt.show()

sigmoid関数グラフ

ReUL関数 †

ReUL(Rectified Linear Unit)関数

入力が０以下なら０を出力する。
入力が０を超えていればそのまま出力する。

           ┌
           │0 ( a <= 0 )
y = h(a) = <
           │a ( a > 0 )
           └

最近の主流。

実装 †

"""This is a test program."""

import numpy as np

def relu(x_1):
    """This is a test program."""
    return np.maximum(0, x)

グラフ †

5.0 ～ 5.0までの0.1刻みのプロットをReUL関数にかけてグラフ化する。

"""This is a test program."""

import numpy as np
import matplotlib.pylab as plt

def relu(x_1):
    """This is a test program."""
    return np.maximum(0, x_1)

X = np.arange(-5.0, 5.0, 0.1)
Y = relu(X)
plt.plot(X, Y)
plt.ylim(-0.1, 5.1)
plt.show()

ReUL関数グラフ

行列の積による実装 †

簡単なニューラルネットワークの実装 †

対象 †

バイアスと活性化関数を省略し重みだけとする。

Ｘ行列 * Ｗ行列＝Ｙ行列

┌      ┐ ┌          ┐   ┌                               ┐
│a1  b1│ │a2  b2  c2│ = │a1a2+b1d2  a1b2+b1e2  a1c2+b1f2│
└      ┘ │          │   └                               ┘
           │d2  e2  f2│
           └          ┘
  Ｘ行列       Ｗ行列               Ｙ行列

#ref(): File not found: "simple.png" at page "ニューラルネットワーク"

┌    ┐   ┌       ┐      ┌                   ┐
│a  b│   │1  3  5│   =  │1a+2b  3a+4b  5a+6b│
└    ┘   │       │      └                   ┘
           │2  4  6│
           └       ┘
  Ｘ行列      Ｗ行列                Ｙ行列

実装 †

>>> x=np.array([1,2])
>>> x
array([1, 2])
>>> w=np.array([[1,3,5],[2,4,6]])
>>> w
array([[1, 3, 5],
       [2, 4, 6]])
>>> y=np.dot(x,w)
>>> y
array([ 5, 11, 17])

3層のニューラルネットワークの実装 †

対象 †

#ref(): File not found: "3tier.png" at page "ニューラルネットワーク"

第一層目の計算の例
- 重み付き信号とバイアスの和
  - a(1)1 = w(1)11 x1 + w(1)12 x2 + b(1)1
  - a(1)2 = w(1)21 x1 + w(1)22 x2 + b(1)2
  - a(1)3 = w(1)31 x1 + w(1)32 x2 + b(1)3

これを行列で表すと、
A(1) = x(1) W(1) + B(1)
- A(1) = [a(1)1 a(1)2 a(1)3]
- X(1) = [x1 x2]
- W(1)=
```
┌                    ┐
│w(1)11 w(1)21 w(1)31│
│w(1)12 w(1)22 w(1)32│
└                    ┘
```
- B(1) = [b(1)1 b(1)2 b(1)3]

活性関数
シグモイド関数を使用する。
```
h(A(1)) = Z(1)
```

実装 †

参考 †

ニューラルネットワーク - Wikipedia
https://ja.wikipedia.org/wiki/%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF