.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

ニューラルネットワークは、

という問題を、データから自動で「重み」のパラメタを学習することで解決する。

というように単一方向へのみ信号が伝播する。

活性化関数

ステップ関数とシグモイド関数とReUL関数がある。

ステップ関数

実装

なんとなくAPI仕様を知らないと難しい感じ。

グラフ

-5.0 ~ 5.0までの0.1刻みのプロットをステップ関数にかけてグラフ化する。

"""This is a test program."""

import numpy as np
import matplotlib.pylab as plt

def step_function(x_1):
    """This is a test program."""
    # 上記のいずれかの実装を選択。

X = np.arange(-5.0, 5.0, 0.1)
Y = step_function(X)
plt.plot(X, Y)
plt.ylim(-0.1, 1.1)  # 図で描画するy軸の範囲を指定
plt.show()
step関数グラフ

シグモイド関数

              1
h(x) = ────────
        1 + exp(-x)

実装

ポイントは、Pythonのブロードキャストによって配列も計算できる点。

"""This is a test program."""

import numpy as np

def sigmoid(x_1):
     """This is a test program."""
    return 1 / (1 + np.exp(-x_1))   

グラフ

-5.0 ~ 5.0までの0.1刻みのプロットをシグモイド関数にかけてグラフ化する。

"""This is a test program."""

import numpy as np
import matplotlib.pylab as plt

def sigmoid(x_1):
    """This is a test program."""
    return 1 / (1 + np.exp(-x_1))

X = np.arange(-5.0, 5.0, 0.1)
Y = sigmoid(X)
plt.plot(X, Y)
plt.ylim(-0.1, 1.1)
plt.show()
sigmoid関数グラフ

ReUL関数

ReUL(Rectified Linear Unit)関数

           ┌
           │0 ( a <= 0 )
y = h(a) = <
           │a ( a > 0 )
           └

実装

"""This is a test program."""

import numpy as np

def relu(x_1):
    """This is a test program."""
    return np.maximum(0, x)  

グラフ

-5.0 ~ 5.0までの0.1刻みのプロットをReUL関数にかけてグラフ化する。

"""This is a test program."""

import numpy as np
import matplotlib.pylab as plt

def relu(x_1):
    """This is a test program."""
    return np.maximum(0, x_1)

X = np.arange(-5.0, 5.0, 0.1)
Y = relu(X)
plt.plot(X, Y)
plt.ylim(-0.1, 5.1)
plt.show()
ReUL関数グラフ

行列の積による実装

簡単なニューラルネットワークの実装

対象

バイアスと活性化関数を省略し重みだけとする。

X行列 * W行列=Y行列

┌      ┐ ┌          ┐   ┌                               ┐
│a1  b1│ │a2  b2  c2│ = │a1a2+b1d2  a1b2+b1e2  a1c2+b1f2│
└      ┘ │          │   └                               ┘
           │d2  e2  f2│
           └          ┘
  X行列       W行列               Y行列

#ref(): File not found: "simple.png" at page "ニューラルネットワーク"

┌    ┐   ┌       ┐      ┌                   ┐
│a  b│   │1  3  5│   =  │1a+2b  3a+4b  5a+6b│
└    ┘   │       │      └                   ┘
           │2  4  6│
           └       ┘
  X行列      W行列                Y行列

実装

>>> x=np.array([1,2])
>>> x
array([1, 2])
>>> w=np.array([[1,3,5],[2,4,6]])
>>> w
array([[1, 3, 5],
       [2, 4, 6]])
>>> y=np.dot(x,w)
>>> y
array([ 5, 11, 17])

3層のニューラルネットワークの実装

対象

#ref(): File not found: "3tier.png" at page "ニューラルネットワーク"

実装

そのまんま実装した。

"""This is a test program."""

import numpy as np

def sigmoid(x_1):
    """sigmoid."""
    return 1 / (1 + np.exp(-x_1))

def identity_function(y_1):
    """出力層の活性関数"""
    return y_1

# 第一層
X1 = np.array([1.0, 0.5])
W1 = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])
B1 = np.array([0.1, 0.2, 0.3])

print("第一層")
A1 = np.dot(X1, W1) + B1
print("A1:" + str(A1))
Z1 = sigmoid(A1)
print("Z1:" + str(Z1))

# 第二層
X2 = Z1
W2 = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])
B2 = np.array([0.1, 0.2])

print("第二層")
A2 = np.dot(X2, W2) + B2
print("A2:" + str(A2))
Z2 = sigmoid(A2)
print("Z2:" + str(Z2))

# 第三層
X3 = Z2
W3 = np.array([[0.1, 0.3], [0.2, 0.4]])
B3 = np.array([0.1, 0.2])

print("第三層")
A3 = np.dot(X3, W3) + B3
print("A3:" + str(A3))
Z3 = identity_function(A3)
print("Z3:" + str(Z3))

慣例的実装

"""This is a test program."""

import numpy as np

def sigmoid(x_1):
    """sigmoid."""
    return 1 / (1 + np.exp(-x_1))

def identity_function(y_1):
    """出力層の活性関数"""
    return y_1

def init_network():
    """ニューラルネットワーク"""
    network = {}
    networkw = {}
    networkw[0] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])
    networkw[1] = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])
    networkw[2] = np.array([[0.1, 0.3], [0.2, 0.4]])
    networkb = {}
    networkb[0] = np.array([0.1, 0.2, 0.3])
    networkb[1] = np.array([0.1, 0.2])
    networkb[2] = np.array([0.1, 0.2])
    network["W"] = networkw
    network["b"] = networkb
    return network

def forward(network, zzz):
    """ニューラルネットワークの実行"""
    tier = len(network["W"])

    for num in range(tier - 1):
        print("第" + str(num + 1) + "層")
        xxx = zzz
        aaa = np.dot(xxx, network["W"][num]) + network["b"][num]
        print("A" + str(num + 1) + ":" + str(aaa))
        zzz = sigmoid(aaa)
        print("Z" + str(num + 1) + ":" + str(zzz))

    print("第" + str(tier) + "層")
    xxx = zzz
    aaa = np.dot(xxx, network["W"][tier -1]) + network["b"][tier -1]
    print("A" + str(tier) + ":" + str(aaa))
    zzz = identity_function(aaa) # 出力層の活性関数
    print("Z" + str(tier) + ":" + str(zzz))

    return zzz

print(forward(init_network(), np.array([1.0, 0.5])))

出力層の活性関数

用いることができる。

を利用する。

恒等関数

入力をそのまま返す。

#ref(): File not found: "identity.png" at page "ニューラルネットワーク"

ソフトマックス関数

対象

            exp(Ak)
Yk = ───────────
            n
           Σexp(Ai)
           i=1

シグモイド関数の項で説明した通り、

#ref(): File not found: "softmax.png" at page "ニューラルネットワーク"

実装

オーバーフロー対策の実装

ソフトマックス関数は指数関数を使用するため、オーバーフローし易い。
従って、ここでは、オーバーフロー対策について考える。

            exp(Ak)
Yk = ───────────
            n
           Σexp(Ai)
           i=1
          C exp(Ak)
   = ───────────
            n
         C Σexp(Ai)
           i=1
            exp(Ak + logeC)
   = ───────────
            n
           Σexp(Ai + logeC)
           i=1
            exp(Ak + C')
   = ───────────
            n
           Σexp(Ai + C')
           i=1

参考


トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS