ニューラルネットワークのバックアップ(No.2) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

目次
概要
活性化関数
参考

概要 †

ニューラルネットワークは、

パーセプトロンの、
「重み」のパラメタ（w1, w2, θ（-b））の決定は人手によって行われる。

という問題を、データから自動で「重み」のパラメタを学習することで解決する。

パーセプトロンでは、活性化関数にステップ関数（段階関数）を使用していたが、
ニューラルネットワークでは、これ以外の活性化関数を使用する。

ネットワークにループする結合を持たず、

第０層　　　　第１層　　　　　第２層~
入力層 → 中間層（隠れ層） → 出力層

というように単一方向へのみ信号が伝播する。

活性化関数 †

ステップ関数とシグモイド関数がある。

相違点
- ステップ関数：0, 1の信号
- シグモイド関数：連続的な実数の信号

共通点
- 非線形な関数
- 0 <= 出力信号 <= 1 に収める。
- 入力信号が重要な時に１に近い、重要でない時０に近い値を返す。

ニューラルネットワークでは、非線形な関数を使用する必要がある。
- 線形関数を用いてはならないのは、多層化の意味が無くなるため。
- 例 : 線形な h(x) = cx を多層化しても h(h(h(x))) = cccx となり１層で表現可能。

しかし、最近は、ReUL関数の利用が主流になっている。

ステップ関数 †

実装 †

なんとなくAPI仕様を知らないと難しい感じ。

パターン１

"""This is a test program."""

import numpy as np

def step_function(x_1):
    """This is a test program."""
    y_1 = x_1 > 0
    return y_1.astype(np.int)

パターン２

"""This is a test program."""

import numpy as np

def step_function(x_1):
    """This is a test program."""
    return np.array(x_1 > 0, dtype=np.int)

グラフ †

5.0 ～ 5.0までの0.1刻みのプロットをステップ関数にかけてグラフ化する。

"""This is a test program."""

import numpy as np
import matplotlib.pylab as plt

def step_function(x_1):
    """This is a test program."""
    # 上記のいずれかの実装を選択。

X = np.arange(-5.0, 5.0, 0.1)
Y = step_function(X)
plt.plot(X, Y)
plt.ylim(-0.1, 1.1)  # 図で描画するy軸の範囲を指定
plt.show()

step関数グラフ

シグモイド関数 †

              1
h(x) = ────────
        1 + exp(-x)

exp(-x)とは、eの-x乗を意味する。
eはネイピア数(2.7182)の実数を表す。

実装 †

ポイントは、Pythonのブロードキャストによって配列も計算できる点。

"""This is a test program."""

import numpy as np

def sigmoid(x_1):
     """This is a test program."""
    return 1 / (1 + np.exp(-x_1))

グラフ †

5.0 ～ 5.0までの0.1刻みのプロットをシグモイド関数にかけてグラフ化する。

"""This is a test program."""

import numpy as np
import matplotlib.pylab as plt

def sigmoid(x_1):
    """This is a test program."""
    return 1 / (1 + np.exp(-x_1))

X = np.arange(-5.0, 5.0, 0.1)
Y = sigmoid(X)
plt.plot(X, Y)
plt.ylim(-0.1, 1.1)
plt.show()

sigmoid関数グラフ

ReUL関数 †

ReUL(Rectified Linear Unit)関数

入力が０以下なら０を出力する。
入力が０を超えていればそのまま出力する。

           ┌
           │0 ( a <= 0 )
y = h(a) = <
           │a ( a > 0 )
           └

最近の主流。

実装 †

"""This is a test program."""

import numpy as np

def relu(x_1):
    """This is a test program."""
    return np.maximum(0, x)

グラフ †

5.0 ～ 5.0までの0.1刻みのプロットをReUL関数にかけてグラフ化する。

"""This is a test program."""

import numpy as np
import matplotlib.pylab as plt

def relu(x_1):
    """This is a test program."""
    return np.maximum(0, x_1)

X = np.arange(-5.0, 5.0, 0.1)
Y = relu(X)
plt.plot(X, Y)
plt.ylim(-0.1, 5.1)
plt.show()

ReUL関数グラフ

参考 †

ニューラルネットワーク - Wikipedia
https://ja.wikipedia.org/wiki/%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF