ニューラルネットワーク

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る

目次 †

概要 †

ニューラルネットワークは、

• パーセプトロンの、

  「重み」のパラメタ（w1, w2, θ（-b））の決定は人手によって行われる。

という問題を、データから自動で「重み」のパラメタを学習することで解決する。

• パーセプトロンでは、活性化関数にステップ関数（段階関数）を使用していたが、
  ニューラルネットワークでは、これ以外の活性化関数を使用する。

• ネットワークにループする結合を持たず、

  第０層        第１層          第２層~
  入力層 → 中間層（隠れ層） → 出力層

というように単一方向へのみ信号が伝播する。

• 機械学習の、
  • 学習フェーズでは、信号は逆方向に伝播する。
  • 推論フェーズでは、信号は順方向に伝播する。

活性化関数 †

ステップ関数とシグモイド関数とReUL関数がある。

• ステップ関数とシグモイド関数
  • 相違点
    • ステップ関数：0, 1の信号
    • シグモイド関数：連続的な実数の信号

• 共通点
  • 非線形な関数
  • 0 <= 出力信号 <= 1 に収める。
  • 入力信号が重要な時に１に近い、重要でない時０に近い値を返す。

• ニューラルネットワークでは、非線形な関数を使用する必要がある。
  • 線形関数を用いてはならないのは、多層化の意味が無くなるため。
  • 例 : 線形な h(x) = cx を多層化しても h(h(h(x))) = cccx となり１層で表現可能。

• しかし、最近は、ReUL関数の利用が主流になっている。

ステップ関数 †

実装 †

なんとなくAPI仕様を知らないと難しい感じ。

• パターン１

  """This is a test program."""
  
  import numpy as np
  
  def step_function(x_1):
      """This is a test program."""
      y_1 = x_1 > 0
      return y_1.astype(np.int)

• パターン２

  """This is a test program."""
  
  import numpy as np
  
  def step_function(x_1):
      """This is a test program."""
      return np.array(x_1 > 0, dtype=np.int)

グラフ †

－5.0 ～ 5.0までの0.1刻みのプロットをステップ関数にかけてグラフ化する。

"""This is a test program."""

import numpy as np
import matplotlib.pylab as plt

def step_function(x_1):
    """This is a test program."""
    # 上記のいずれかの実装を選択。

X = np.arange(-5.0, 5.0, 0.1)
Y = step_function(X)
plt.plot(X, Y)
plt.ylim(-0.1, 1.1)  # 図で描画するy軸の範囲を指定
plt.show()

シグモイド関数 †

              1
h(x) = ────────
        1 + exp(-x)

• exp(-x)とは、eの-x乗を意味する。
• eはネイピア数(2.7182)の実数を表す。

実装 †

ポイントは、Pythonのブロードキャストによって配列も計算できる点。

"""This is a test program."""

import numpy as np

def sigmoid(x_1):
     """This is a test program."""
    return 1 / (1 + np.exp(-x_1))   

グラフ †

－5.0 ～ 5.0までの0.1刻みのプロットをシグモイド関数にかけてグラフ化する。

"""This is a test program."""

import numpy as np
import matplotlib.pylab as plt

def sigmoid(x_1):
    """This is a test program."""
    return 1 / (1 + np.exp(-x_1))

X = np.arange(-5.0, 5.0, 0.1)
Y = sigmoid(X)
plt.plot(X, Y)
plt.ylim(-0.1, 1.1)
plt.show()

ReUL関数 †

ReUL(Rectified Linear Unit)関数

• 入力が０以下なら０を出力する。
• 入力が０を超えていればそのまま出力する。

           ┌
           │0 ( a <= 0 )
y = h(a) = <
           │a ( a > 0 )
           └

• 最近の主流。

実装 †

"""This is a test program."""

import numpy as np

def relu(x_1):
    """This is a test program."""
    return np.maximum(0, x)  

グラフ †

－5.0 ～ 5.0までの0.1刻みのプロットをReUL関数にかけてグラフ化する。

"""This is a test program."""

import numpy as np
import matplotlib.pylab as plt

def relu(x_1):
    """This is a test program."""
    return np.maximum(0, x_1)

X = np.arange(-5.0, 5.0, 0.1)
Y = relu(X)
plt.plot(X, Y)
plt.ylim(-0.1, 5.1)
plt.show()

ニューラルネットワーク（推論） †

ニューラルネットワーク（学習） †

深層学習の高速化 †

深層学習のテクニック †

参考 †

• ニューラルネットワーク - Wikipedia
  https://ja.wikipedia.org/wiki/%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF