パーセプトロンのバックアップ(No.4)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

↑

概要 †

パーセプトロンは
- ニューラルネットワークの起源となるアルゴリズム
- ここでは正確には、人口ニューロン、単純パーセプトロンについて説明する。

パーセプトロンは
- 複数の信号を入力として受取り、一つの信号を出力する。
- ここでの信号は「流す/流さない（0/1）」の二値の値

パーセプトロンは
- AND, NAND, ORなどの論理回路を表現できる。
- 「重み」のパラメタ（w1, w2, θ（-b））の決定は人手によって行われる。
- しかし、XORは、
  - 単層パーセプトロンでは表現できない。
    単層パーセプトロンは、線形領域しか表現できないため。
  - 従って、多層パーセプトロンを用いる。
    多層パーセプトロンは、非線形領域を表現できるため。

NANDの組み合わせからコンピュータを作ることができる。
従って、多層パーセプトロンは、非線形領域の表現でき、
原理的にはコンピュータを作ることができる。

↑

動作原理 †

(x1) --------- w1 --------> (y)
                             ↑
(x2) --------- w2 -----------┘
 入力信号  固有の重み     出力信号

xは「入力信号」、yは「出力信号」を表す。
wは「重み」（= 信号の流れ易さ/難さ）を表す。
入力信号、出力信号の()の部分を、「ニューロン」 or 「ノード」と呼ぶ。
出力は、信号の総和　(x1 w1 + x2 w2) が閾値θより大きな値の場合に出力される。
- この閾値θを超えた場合を「ニューロンが発火する」と表現することがある。
- wもθも発火のし易さを制御するため「重み」と呼ぶことがある。

パーセプトロンの動作原理はこれだけ。

↑

式 †

パーセプトロンを式に表すと以下のようになる。

    ┌
    │0 ( x1 w1 + x2 w2 <= θ )
y = <
    │1 ( x1 w1 + x2 w2 > θ )
    └

この式は、以下のように変形できる。

    ┌
    │0 ( -θ + x1 w1 + x2 w2 <= 0 )
y = <
    │1 ( -θ + x1 w1 + x2 w2 > 0 )
    └
    ┌
    │0 ( b + x1 w1 + x2 w2 <= 0 )
y = <
    │1 ( b + x1 w1 + x2 w2 > 0 )
    └

-θ= bはバイアスと呼ばれ、w, θ同様に、「重み」と呼ぶことがある。

↑

活性化関数 †

以下の図は動作原理にバイアスを加えたもの。
以下の総和が０を超えた場合、１を出力する。

((1))--------- b  -----------┐
                             ↓ 
(x1) --------- w1 --------> (y)
                             ↑
(x2) --------- w2 -----------┘
入力信号  固有の重み     出力信号

式を書き換える。
- 総和
```
a = b + x1 w1 + x2 w2
```
- 活性化関数 (Activation Function)
  活性化関数 = 入力信号の総和を出力信号に変換する変数である。
  特に閾値によって出力が変わる活性化関数をステップ関数と呼ぶ。
```
           ┌
           │0 ( a <= 0 )
y = h(a) = <
           │1 ( a > 0 )
           └
```

動作原理に反映する。

((1))--------- b  -----------┐
                             ↓  h()
(x1) --------- w1 --------> ((a) ---> (y))
                             ↑
(x2) --------- w2 -----------┘
入力信号   固有の重み     出力信号

↑

単純な論理回路をパーセプトロンで表現する。 †

機械学習では下のパラメタ（w1, w2, θ（-b））を決める作業をコンピュータに行わせる。

↑

ANDゲート †

下記のANDゲートを満たすパーセプトロン（w1, w2, θ（-b））を作る。

  x1    x2      y
──────┼───
  0     0   │  0
──────┼───
  1     0   │  0
──────┼───
  0     1   │  0
──────┼───
  1     1   │  1

↑

例 †

(w1, w2, θ) = (0.5, 0.5, 0.7)
(w1, w2, θ) = (0.5, 0.5, 0.8)
(w1, w2, θ) = (1.0, 1.0, 1.0)

↑

プロット †

　│
　０　　①
　│
　│
─０──０─────
　│

↑

NANDゲート †

下記のNANDゲートを満たすパーセプトロン（w1, w2, θ（-b））を作る。

  x1    x2      y
──────┼───
  0     0   │  1
──────┼───
  1     0   │  1
──────┼───
  0     1   │  1
──────┼───
  1     1   │  0

↑

例 †

(ANDゲートのパラメタの符号を反転すればOK)

(w1, w2, θ) = (-0.5, -0.5, -0.7)
(w1, w2, θ) = (-0.5, -0.5, -0.8)
(w1, w2, θ) = (-1.0, -1.0, -1.0)

↑

プロット †

　│
　①　　０
　│
　│
─①──①─────
　│

↑

ORゲート †

下記のNANDゲートを満たすパーセプトロン（w1, w2, θ（-b））を作る。

  x1    x2      y
──────┼───
  0     0   │  0
──────┼───
  1     0   │  1
──────┼───
  0     1   │  1
──────┼───
  1     1   │  1

↑

例 †

(w1, w2, θ) = (0.5, 0.5, 0.3)
(w1, w2, θ) = (0.5, 0.5, 0.4)
(w1, w2, θ) = (1.0, 1.0, 0.9)

↑

プロット †

　│
　①　　①
　│
　│
─０──①─────
　│

↑

XORゲート †

下記のXORゲートを満たす１層のパーセプトロンを作ることはできない。

  x1    x2      y
──────┼───
  0     0   │  0
──────┼───
  1     0   │  1
──────┼───
  0     1   │  1
──────┼───
  1     1   │  0

↑

プロット †

理由は、以下の縦軸x1、横軸x2のプロットは、
非線形領域のため、閾値の直線を引けないため。

　│
　①　　０
　│
　│
─０──①─────
　│

↑

多層のパーセプトロン †

しかし、前述のAND、NADN、ORのゲートを
組みわせた多層のパーセプトロンであればXORゲートを作ることができる。

例えば、

s1 = NAND ゲート(x1, x2)
s2 = OR ゲート(x1, x2)
y = AND ゲート(s1, s2)

を使用すると、

   第０層        第１層      第２層
  x1    x2      s1    s2     y
──────┼──────┼───
  0     0   │  1     0   │ 0
──────┼──────┼───
  1     0   │  1     1   │ 1
──────┼──────┼───
  0     1   │  1     1   │ 1
──────┼──────┼───
  1     1   │  0     1   │ 0

と多層（２層）パーセプトロンとしてXORゲートを作ることができる。

↑

パーセプトロンを実装する。 †

↑

簡単な実装 †

ここから、VSCodeでPythonファイルに書いた。

↑

ANDゲート †

"""This is a test program."""
def and_method(x_1, x_2):
    """This is a test program."""
    w_1, w_2, theta = 0.5, 0.5, 0.7
    tmp = x_1 * w_1 + x_2 * w_2
    if tmp <= theta:
        return 0
    else:
        return 1

print(and_method(0, 0))
print(and_method(1, 0))
print(and_method(0, 1))
print(and_method(1, 1))

↑

NANDゲート †

w, θを以下のようにする。

w_1, w_2, theta = -0.5, -0.5, -0.7

↑

ORゲート †

w, θを以下のようにする。

w_1, w_2, theta = 0.5, 0.5, 0.3

↑

バイアスを用いた実装 †

上記をバイアスとベクトルを用いて書き直す。

↑

ANDゲート †

"""This is a test program."""

import numpy as np

def and_method(x_1, x_2):
    """This is a test program."""
    x = np.array([x_1, x_2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = b + np.sum(x*w)
    if tmp <= 0:
        return 0
    else:
        return 1

print(and_method(0, 0))
print(and_method(1, 0))
print(and_method(0, 1))
print(and_method(1, 1))

↑

NANDゲート †

w, bを以下のようにする。

w = np.array([-0.5, -0.5])
b = 0.7

↑

ORゲート †

w, bを以下のようにする。

w = np.array([0.5, 0.5])
b = -0.3

↑

XORゲート †

多層パーセプトロンとして以下のように実装できる。

"""This is a test program."""

import numpy as np

def and_method(x_1, x_2):
    """This is a test program."""
    x = np.array([x_1, x_2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = b + np.sum(x*w)
    if tmp <= 0:
        return 0
    else:
        return 1

def nand_method(x_1, x_2):
    """This is a test program."""
    x = np.array([x_1, x_2])
    w = np.array([-0.5, -0.5])
    b = 0.7
    tmp = b + np.sum(x*w)
    if tmp <= 0:
        return 0
    else:
        return 1

def or_method(x_1, x_2):
    """This is a test program."""
    x = np.array([x_1, x_2])
    w = np.array([0.5, 0.5])
    b = -0.3
    tmp = b + np.sum(x*w)
    if tmp <= 0:
        return 0
    else:
        return 1

def xor_method(x_1, x_2):
    """This is a test program."""
    s_1 = nand_method(x_1, x_2)
    s_2 = or_method(x_1, x_2)
    return and_method(s_1, s_2)

print(xor_method(0, 0))
print(xor_method(1, 0))
print(xor_method(0, 1))
print(xor_method(1, 1))

↑

参考 †

パーセプトロン - Wikipedia
https://ja.wikipedia.org/wiki/%E3%83%91%E3%83%BC%E3%82%BB%E3%83%97%E3%83%88%E3%83%AD%E3%83%B3

パーセプトロン のバックアップ(No.4)

目次 †

概要 †

動作原理 †

式 †

活性化関数 †

単純な論理回路をパーセプトロンで表現する。 †

ANDゲート †

例 †

プロット †

NANDゲート †

例 †

プロット †

ORゲート †

例 †

プロット †

XORゲート †

プロット †

多層のパーセプトロン †

パーセプトロンを実装する。 †

簡単な実装 †

ANDゲート †

NANDゲート †

ORゲート †

バイアスを用いた実装 †

ANDゲート †

NANDゲート †

ORゲート †

XORゲート †

参考 †

パーセプトロンのバックアップ(No.4)