DS：数学的基礎 - 線形代数のバックアップ(No.14)

逆行列の求め方
- 行基本変形は行列のドット積で計算でき、変形の行列をドット積で纏めると逆行列になる。
- 掃き出し法の拡大行列（？）の左側に対角線に1が並ぶように行基本変形すると右側が逆行列になる。
- 2行2列の行列の逆行列なら公式で計算できる。
- 3行3列の行列の逆行列なら掃き出し法の拡大行列で計算できる。
- 3行3列以上の行列の逆行列なら
  - 掃き出し法の拡大行列で計算できる。
  - 行列式の余因子を用いて計算することもできる。

参考：https://manabitimes.jp/math/1153

逆行列が存在しない場合がある。
これは、≒ 連立方程式の解が無い場合で、2以上のベクトル（＝行、横ベクトル）が並行で面積がゼロの場合
- 交点がなくて並行の場合（2つのベクトルが「平行」）
- 交点があって並行の場合（2つのベクトルが「同じ」か「長さが異なるダケ≒同じ」）

↑

行列式 †

行列式によって連立方程式の解の有無を判別できる。

行列式とは
- 一次方程式の可解性を判定する指標
- 正方行列で列をベクトルに見立てる。
- ｎ個のベクトルからなる面積・体積を考える。

行列式の特性
1. １つでも平行なベクトル、同じベクトルがあれば、面積・体積はゼロで解は無い。
2. １つのベクトルが*ｎされれば、行列式（≒面積・体積）全体がｎ倍される。
3. １つのベクトルが+ｗされれば、行列式（≒面積・体積）の足し算に展開される。
4. ベクトルを入れ替えると行列式はマイナスになる（が、コレは面積・体積の性質ではない。
  入れ替え前と後のベクトルを足し算すると2つの同じベクトルがある行列式（面積・体積＝０）になるので。

行列式の計算

たすき掛けの計算方法は3行3列の行列式までしか使えない。

2行2列

┌a11 a12┐
└a21 a22┘
=a11a22-a12a21

3行3列

┌a11 a12 a13┐
│a21 a22 a23│
└a31 a32 a33┘
=a11a22a33+a12a23a31+a13a21a32-a13a22a31-a12a21a33-a11a23a32

3行3列以上の行列式は余因子展開でn-1行n-1列の行列式の計算に変換。
- この計算は、体積の計算を面積✕高さに変換する的な話らしい。
- この際、「行列式の特性（４）」を使用するので符号が切り替わる。

↑

固有値分解 †

ある正方行列Aを直交行列と対角行列の積に分解する計算
- 行列の特徴が見えやすくなり、A^nの計算がラク。
- ゼロに近い固有値は行列全体に与える影響が小さいため、
  この固有値を無視することで、高精度で近似計算できる。

Aが正方行列の場合、
```
A=┌ab┐
  └cd┘
```

Aの固有値・固有ベクトルは、
```
 →    →
Av = λv
```

具体例

┌1 4┐┌1┐ = ┌5┐ = 5┌1┐
└2 3┘└1┘   └5┘    └1┘

↑

固有値 †

λ

λは行列ではなくスカラ

↑

固有ベクトル †

→
v  ≠ 0

λ毎にある。
「固有ベクトルの内の一つ」というのは、ある特定の比率になっている全ベクトルの一つの意味。

↑

計算方法 †

以下を解くとｎ個の固有値λが求まる。

```
→    →
Av = λv
```

```
→    →
Av - λv = 0
```

```
       →   
(A-λI)v = 0
```

```
→   
v ≠ 0
```

|A-λI|が逆行列を持たない行列式 = 0で解く。

|A-λI| = 0
┌ a-λ   b ┐= 0
└ c   d-λ ┘
(a-λ)(d-λ) - bc =0

固有値λの個数分、固有ベクトルが導かれる。
（固有ベクトルはxn間の比率が解りさえすれば良い）
```
┌ab┐┌x1┐=λ┌x1┐
└cd┘└x2┘   └x2┘
```
- ax1+bx2=λx1
- cx1+dx2=λx2

固有値分解

対角行列：正方行列の対角線上にλを並べたもの。
```
   ┌λ1 0   0  ┐
𝛬 =│0   λ2 0
   └0   0   ...┘
```

直交行列：固有ベクトルを並べたもの。
```
𝑉 =┌→ →    ┐
   └v1 v2 ...┘
```
A = 𝑉𝛬𝑉^-1
- A𝑉 = 𝑉𝛬
- A = A𝑉𝑉^-1 = 𝑉𝛬𝑉^-1
- 𝛬 = 𝑉^-1𝑉𝛬 = 𝑉^-1A𝑉

累乗計算が簡単になる

A^n = 𝑉 𝛬^n 𝑉^-1
・AA = (𝑉𝛬𝑉^-1)(𝑉𝛬𝑉^-1) = 𝑉𝛬(𝑉^-1𝑉)𝛬𝑉^-1 = 𝑉 𝛬^2 𝑉^-1
・AAA = (𝑉𝛬𝑉^-1)(𝑉𝛬𝑉^-1)(𝑉𝛬𝑉^-1) = 𝑉𝛬(𝑉^-1𝑉)𝛬(𝑉^-1𝑉)𝛬𝑉^-1 = 𝑉 𝛬^3 𝑉^-1

𝛬^n = 𝑉^-1 A^n 𝑉𝛬
・𝛬𝛬 = (𝑉^-1𝑉𝛬)(𝑉^-1𝑉𝛬) = 𝑉^-1(𝑉𝛬𝑉^-1)𝑉𝛬 = 𝑉^-1 A 𝑉𝛬
・𝛬𝛬𝛬 = (𝑉^-1𝑉𝛬)(𝑉^-1𝑉𝛬)(𝑉^-1𝑉𝛬) = 𝑉^-1(𝑉𝛬𝑉^-1)(𝑉𝛬𝑉^-1)𝑉𝛬 = 𝑉^-1 A^2 𝑉𝛬

↑

特異値分解 †

あるm行n列の長方行列を直交行列と対角行列の積に分解する計算

固有値分解では、Aは正方行列

特異値分解では、Mが長方行列だが
𝑀^Tを掛けて𝑀𝑀^Tと正方行列化することで似たように処理する。

𝑀の特異値σ・特異ベクトルuvは、

 →       →
𝑀v    = σu

   →     →
𝑀^Tu  = σv

固有値分解に対し特異値分解は

固有値分解
```
A = 𝑉𝛬𝑉^-1
```

特異値分解
```
𝑀 = 𝑈𝑆𝑉^-1
```

𝑀𝑀^Tとか𝑀^T𝑀（対称行列）を固有値分解

特異値分解の利用例、白黒画像の
- 圧縮などに利用できる。
- 特異値が似ていれば分類できる可能性がある。

↑

特異値 †

σ

↑

特異ベクトル †

左特異ベクトル
```
→
u
```

右特異ベクトル
```
→
v
```

それぞれ、
- 直交する。
- 単位ベクトル
  - 大きさを変えないため。
  - UV直交行列を単位行列にすると転置すると逆行列になる。

↑

単位ベクトル †

以下の計算から各要素の二乗の合計の平方根になる。

 ┌x┐ ┌cx┐
c│y│=│cy│
 └z┘ └cz┘
(cx)^2+(cy)^2+(cz)^2 = 1
c^2 * (x^2 + y^2 + z^2) = 1
c = 1 / √(x^2 + y^2 + z^2)

↑

計算方法 †

特異値σは以下のようなもの。

```
 →       →
𝑀v    = σu
```

```
   →     →
𝑀^Tu  = σv
```

特異値分解

対角行列：r行r列の正方行列の対角線上にσを並べたもの。
```
  ┌σ1 0   0  ┐
𝑆=│0   σ2 0
  └0   0   ...┘
```

直交行列は特異ベクトルを並べたもの。

左特異ベクトルは𝑀𝑀^T固有値分解の直交行列（転置で逆行列）
```
𝑈=┌→ →    ┐
  └u1 u2 ...┘
```

右特異ベクトルは𝑀^T𝑀の固有値分解の直交行列（転置で逆行列）
```
𝑉=┌→ →    ┐
  └v1 v2 ...┘
```

𝑀𝑀^T、𝑀^T𝑀の
- √λ（固有値）＝ σ（特異値）
- 固有ベクトルがそれぞれ特異ベクトル 𝑈（左）、𝑉（右）となるらしい。
- （特異ベクトルは固有ベクトルなので計算にはλ（固有値）を使う）

𝑀 = 𝑈𝑆𝑉^T
𝑀𝑉 = 𝑈𝑆𝑉^T𝑉 = 𝑈𝑆

𝑀^T = 𝑉𝑆^T𝑈^T
𝑀^T𝑈 = 𝑉𝑆^T𝑈^T𝑈 = 𝑉𝑆^T

𝑀𝑀^T = (𝑈𝑆𝑉^T)(𝑉𝑆^T𝑈^T) = 𝑈𝑆(𝑉^T𝑉)𝑆^T𝑈^T = 𝑈 (𝑆𝑆^T) 𝑈^T
𝑀^T𝑀 = (𝑉𝑆^T𝑈^T)(𝑈𝑆𝑉^T) = 𝑉𝑆^T(𝑈^T𝑈)𝑆𝑉^T = 𝑉 (𝑆^T𝑆) 𝑉^T

↑

参考 †

↑

DS：数学的基礎 - 線形代数 のバックアップ(No.14)

目次 †

概要 †

詳細 †

スカラ、ベクトル、行列 †

スカラ †

ベクトル †

行列 †

行列で連立方程式を解く。 †

行基本変形 †

逆行列 †

行列式 †

固有値分解 †

固有値 †

固有ベクトル †

計算方法 †

特異値分解 †

特異値 †

特異ベクトル †

単位ベクトル †

計算方法 †

参考 †

NumPy †

DS：数学的基礎 - 線形代数のバックアップ(No.14)