パーセプトロンのバックアップ(No.2)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

概要 †

パーセプトロンはニューラルネットワークの起源となるアルゴリズム
ここでは正確には、人口ニューロン、単純パーセプトロンについて説明する。
複数の信号を入力として受取り、一つの信号を出力する。
ここでの信号は「流す/流さない（0/1）」の二値の値

動作原理 †

(x1) --------- w1 --------> (y)
                             ↑
(x2) --------- w2 -----------┘
 入力信号  固有の重み     出力信号

xは「入力信号」、yは「出力信号」を表す。
wは「重み」（= 信号の流れ易さ/難さ）を表す。
入力信号、出力信号の()の部分を、「ニューロン」 or 「ノード」と呼ぶ。
出力は、信号の総和　(x1 w1 + x2 w2) が閾値θより大きな値の場合に出力される。
- この閾値θを超えた場合を「ニューロンが発火する」と表現することがある。
- wもθも発火のし易さを制御するため「重み」と呼ぶことがある。

パーセプトロンの動作原理はこれだけ。

↑

式 †

パーセプトロンを式に表すと以下のようになる。

    ┌
    │0 ( x1 w1 + x2 w2 <= θ )
y = <
    │1 ( x1 w1 + x2 w2 > θ )
    └

この式は、以下のように変形できる。

    ┌
    │0 ( -θ + x1 w1 + x2 w2 <= 0 )
y = <
    │1 ( -θ + x1 w1 + x2 w2 > 0 )
    └
    ┌
    │0 ( b + x1 w1 + x2 w2 <= 0 )
y = <
    │1 ( b + x1 w1 + x2 w2 > 0 )
    └

-θ= bはバイアスと呼ばれ、w, θ同様に、「重み」と呼ぶことがある。

↑

単純な論理回路をパーセプトロンで表現 †

機械学習では下のパラメタを決める作業をコンピュータに行わせる。

↑

ANDゲート †

下記のANDゲートを満たすパーセプトロンを作る。

  x1    x2      y
──────┼───
  0     0   │  0
──────┼───
  1     0   │  0
──────┼───
  0     1   │  0
──────┼───
  1     1   │  1

↑

例 †

(w1, w2, θ) = (0.5, 0.5, 0.7)
(w1, w2, θ) = (0.5, 0.5, 0.8)
(w1, w2, θ) = (1.0, 1.0, 1.0)

↑

NANDゲート †

下記のNANDゲートを満たすパーセプトロンを作る。

  x1    x2      y
──────┼───
  0     0   │  1
──────┼───
  1     0   │  1
──────┼───
  0     1   │  1
──────┼───
  1     1   │  0

↑

例(ANDゲートのパラメタの符号を反転すればOK) †

(w1, w2, θ) = (-0.5, -0.5, -0.7)
(w1, w2, θ) = (-0.5, -0.5, -0.8)
(w1, w2, θ) = (-1.0, -1.0, -1.0)

↑

ORゲート †

下記のNANDゲートを満たすパーセプトロンを作る。

  x1    x2      y
──────┼───
  0     0   │  0
──────┼───
  1     0   │  1
──────┼───
  0     1   │  1
──────┼───
  1     1   │  1

↑

例 †

(w1, w2, θ) = (0.5, 0.5, 0.3)
(w1, w2, θ) = (0.5, 0.5, 0.4)
(w1, w2, θ) = (1.0, 1.0, 0.9)

↑

XORゲートは実装できない。 †

理由は、以下を縦軸x1、横軸x2にプロットしても閾値の直線を引けないため。

  x1    x2      y
──────┼───
  0     0   │  0
──────┼───
  1     0   │  1
──────┼───
  0     1   │  1
──────┼───
  1     1   │  0

↑

AND †

　│
　０　　①
　│
　│
─０──０─────
　│

↑

NAND †

　│
　①　　０
　│
　│
─①──①─────
　│

↑

OR †

　│
　①　　①
　│
　│
─０──①─────
　│

↑

NOR †

　│
　①　　０
　│
　│
─０──①─────
　│

↑

パーセプトロンを実装する。 †

↑

簡単な実装 †

ここから、VSCodeでPythonファイルに書いた。

↑

ANDゲート †

"""This is a test program."""
def and_method(x_1, x_2):
    """This is a test program."""
    w_1, w_2, theta = 0.5, 0.5, 0.7
    tmp = x_1 * w_1 + x_2 * w_2
    if tmp <= theta:
        return 0
    else:
        return 1

print(and_method(0, 0))
print(and_method(1, 0))
print(and_method(0, 1))
print(and_method(1, 1))

↑

NANDゲート †

w, thetaを以下のようにする。

w_1, w_2, theta = -0.5, -0.5, -0.7

↑

ORゲート †

w, thetaを以下のようにする。

w_1, w_2, theta = 0.5, 0.5, 0.3

↑

バイアスを用いた実装 †

バイアスとベクトルを用いて書き直す。

↑

ANDゲート †

import numpy as np

"""This is a test program."""
def and_method(x_1, x_2):
    """This is a test program."""
    x = np.array([x_1, x_2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = b + np.sum(x*w)
    if tmp <= 0:
        return 0
    else:
        return 1

print(and_method(0, 0))
print(and_method(1, 0))
print(and_method(0, 1))
print(and_method(1, 1))

↑

NANDゲート †

w, bを以下のようにする。

w = np.array([-0.5, -0.5])
b = 0.7

↑

ORゲート †

w, bを以下のようにする。

w = np.array([0.5, 0.5])
b = -0.3

パーセプトロン のバックアップ(No.2)

目次 †

概要 †

動作原理 †

式 †

単純な論理回路をパーセプトロンで表現 †

ANDゲート †

例 †

NANDゲート †

例(ANDゲートのパラメタの符号を反転すればOK) †

ORゲート †

例 †

XORゲートは実装できない。 †

AND †

NAND †

OR †

NOR †

パーセプトロンを実装する。 †

簡単な実装 †

ANDゲート †

NANDゲート †

ORゲート †

バイアスを用いた実装 †

ANDゲート †

NANDゲート †

ORゲート †

パーセプトロンのバックアップ(No.2)