DS：数学的基礎 - 微分・偏微分のバックアップ(No.3)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- DS：数学的基礎
- ニューラルネットワーク（学習）

目次 †

目次
概要
詳細
- 式
- 解析的
- 数値微分
  - Python実装
  - Python出力
- 偏微分
  - 概要
  - 計算
  - 例
参考

↑

概要 †

微分係数（関数の変化率）、
- つまりグラフの接線の傾きを求める計算処理
- ラフの接線の傾き＝ある瞬間の変化の量。

勾配降下法と言う最適解の探索手法では
広大なパラメタ空間から、複雑な関数（＝損失関数）が、
最小（最大）値を出力する鞍点を、勾配を使用して探す。

↑

詳細 †

↑

式 †

df(x)  yの増量        f(x+h) - f(x)        f(x+h) - f(x)
── = ───  = lim  ──────  = lim  ──────
 dx    xの増量   h→0 (x+h) - (x)     h→0      h

↑

解析的 †

式の展開によって微分を求める（誤差がない）。

     2
y = x

df(x)  yの増量        (x+h)^2 - x^2        (x^2+2hx+h^2) - (x^2)
── = ───  = lim  ──────  = lim  ──────────
 dx    xの増量   h→0 (x+h) - (x)     h→0           h

 dy         2hx+h^2
── = lim ──── = lim 2x+h  = 2x
 dx    h→0    h      h→0

↑

数値微分 †

計算によって微分を求める（誤差がある）。

↑

Python実装 †

"""This is a test program."""

import numpy as np
import matplotlib.pyplot as plt

def numerical_diff(f, x):
    """数値微分"""
    h = 1e-4 # 微小な値hとして1の-4乗を用いる
    return (f(x + h) - f(x - h)) / (2 * h) # 前方差分から中心差分にして誤差減

def function_1(x):
    """f(x)=0.01x^2+0.1x"""
    return 0.01 * x ** 2 + 0.1 * x

X=5
print("X=" + str(X) + " : " + str(numerical_diff(function_1, X)))
X=10
print("X=" + str(X) + " : " + str(numerical_diff(function_1, X)))

X = np.arange(0.0, 20.0, 0.1)
Y = function_1(X)
plt.xlabel("x")
plt.ylabel("f(x)")
plt.plot(X, Y)
plt.show()

↑

Python出力 †

グラフ

傾き

X=5 : 0.1999999999990898
X=10 : 0.2999999999986347

参考
https://github.com/oreilly-japan/deep-learning-from-scratch/blob/master/ch04/gradient_1d.py

↑

偏微分 †

↑

概要 †

多変数関数をある変数について微分することを偏微分と言う｡
着目した変数以外の変数は定数であると見なされる。
曲面で説明すると、
- 当該座標で着目した変数の２変数関数の接線を求める。
- 曲面の座標上の２つの接線から接平面が求まる。

↑

計算 †

偏微分では、記号として、dではなく∂を使う。

以下、x1に着目した場合の偏微分。
```
y = 4x1^3 + 2x2^2 + 1
```

∂y
── = 12x1^2
∂x1

↑

例 †

例1:２つの引数の2乗和を計算する式

式

              2    2
f(x0, x1) = x0 + x1

Python

実装

"""This is a test program."""

import numpy as np

def function_2(x):
    """f(x0, x1) = x0^2 + x1^2"""
    return x[0] ** 2 + x[1] ** 2
    # or return np.sum(x ** 2)

例2:２つの引数の2乗和を計算する式の偏微分

式

 df(x0, x1)
─────  = 2 * x0
    dx0

 df(x0, x1)
─────  = 2 * x1
    dx1

Python

実装

numerical_diff"""This is a test program."""

import numpy as np

def numerical_diff(f, x):
    """数値微分"""
    h = 1e-4 # 微小な値hとして1の-4乗を用いる
    return (f(x + h) - f(x - h)) / (2 * h) # 前方差分から中心差分にして誤差減

def function_tmp1(x0):
    """x0=3, x1=4 の場合の x0 に対する偏微分用"""
    return x0 ** 2 + 4.0 ** 2

def function_tmp2(x1):
    """x0=3, x1=4 の場合の x1 に対する偏微分用"""
    return 3.0 ** 2.0 + x1 ** 2

print(numerical_diff(function_tmp1, 3.0))
print(numerical_diff(function_tmp2, 4.0))

出力 (x0=3, x1=4)

6.00000000000378   (2 * x0 = 2 * 3 = 6)
7.999999999999119   (2 * x1 = 2 * 4 = 8)

↑

参考 †

微分とは何か？－中学生でも分かる微分のイメージ
https://sci-pursuit.com/math/differential-1.html
偏微分の意味と高校数学への応用 | 高校数学の美しい物語
http://mathtrain.jp/henbibunimi

DS：数学的基礎 - 微分・偏微分 のバックアップ(No.3)

目次 †

概要 †

詳細 †

式 †

解析的 †

数値微分 †

Python実装 †

Python出力 †

偏微分 †

概要 †

計算 †

例 †

参考 †

DS：数学的基礎 - 微分・偏微分のバックアップ(No.3)