DS：数学的基礎 - 線形代数のバックアップ(No.9)

逆行列の求め方
- 行基本変形は行列のドット積で計算でき、変形の行列をドット積で纏めると逆行列になる。
- 逆行列は、当該行列とドット積で計算すると、単位行列（I）が得られる様な行列。
- 掃き出し法の拡大行列（？）の左側に対角線に1が並ぶように行基本変形すると右側が逆行列になる。
- 2行2列の行列の逆行列なら公式で計算できる。
- https://manabitimes.jp/math/1153

逆行列が存在しない場合がある。
これは、≒ 連立方程式の解が無い場合で、２以上のベクトル（＝行、横ベクトル）が並行で面積がゼロの場合
- 交点がなくて並行の場合（2つのベクトルが「平行」）
- 交点があって並行の場合（2つのベクトルが「同じ」か「長さが異なるダケ≒同じ」）

↑

行列式 †

行列式によって連立方程式の解の有無を判別できる。

行列式とは
- 一次方程式の可解性を判定する指標
- 正方行列で列をベクトルに見立てる。
- ｎ個のベクトルからなる面積・体積を考える。

行列式の特性
1. １つでも平行なベクトル、同じベクトルがあれば、面積・体積はゼロで解は無い。
2. １つのベクトルが*ｎされれば、行列式（≒面積・体積）全体がｎ倍される。
3. １つのベクトルが+ｗされれば、行列式（≒面積・体積）の足し算に展開される。
4. ベクトルを入れ替えると行列式はマイナスになる（が、コレは面積・体積の性質ではない。
  入れ替え前と後のベクトルを足し算すると2つの同じベクトルがある行列式（面積・体積＝０）になるので。

行列式の計算

たすき掛けの計算方法は3行3列の行列式までしか使えない。

2行2列

┌a11 a12┐
└a21 a22┘
=a11a22-a12a21

3行3列

┌a11 a12 a13┐
│a21 a22 a23│
└a31 a32 a33┘
=a11a22a33+a12a23a31+a13a21a32-a13a22a31-a12a21a33-a11a23a32

3行3列以上の行列式は余因子展開でn-1行n-1列の行列式の計算に変換。
- この計算は、体積の計算を面積✕高さに変換する的な話らしい。
- この際、「行列式の特性（４）」を使用するので符号が切り替わる。

↑

固有値分解 †

ある正方行列Aを直交行列と対角行列の積に分解する計算
- 行列の特徴が見えやすくなり、A^nの計算がラク。
- ゼロに近い固有値は行列全体に与える影響が小さいため、
  この固有値を無視することで、高精度で近似計算できる。

Aが正方行列の場合、
```
A=┌ab┐
  └cd┘
```

Aの固有値・固有ベクトルは、
```
 →    →
Av = λv
```

具体例

┌1 4┐┌1┐ = ┌5┐ = 5┌1┐
└2 3┘└1┘   └5┘    └1┘

↑

固有値 †

λ

λは行列ではなくスカラ

↑

固有ベクトル †

→
v  ≠ 0

λ毎にある。
「固有ベクトルの内の一つ」というのは、ある特定の比率になっている全ベクトルの一つの意味。

↑

計算方法 †

以下を解くとｎ個の固有値λが求まる。

```
→    →
Av = λv
```

```
→    →
Av - λv = 0
```

```
       →   
(A-λI)v = 0
```

```
→   
v ≠ 0
```

```
|A-λI| = 0
```

|A-λI|が逆行列を持たない行列式 = 0で解く。

固有値λの個数分、固有ベクトルが導かれる。
（固有ベクトルはxn間の比率が解りさえすれば良い）
```
┌ab┐┌x1┐=λ┌x1┐
└cd┘└x2┘   └x2┘
```
- ax1+bx2=λx1
- cx1+dx2=λx2

固有値分解

正方行列の対角線上にλを並べたもの。

   ┌λ1 0   0  ┐
𝛬 =│0   λ2 0
   └0   0   ...┘

固有ベクトルを並べたもの。

𝑉 =┌→ →    ┐
   └v1 v2 ...┘

A = 𝑉𝛬𝑉^-1
- A𝑉 = 𝑉𝛬
- A = A𝑉𝑉^-1 = 𝑉𝛬𝑉^-1
- 𝛬 = 𝑉^-1𝑉𝛬 = 𝑉^-1A𝑉

累乗計算が簡単になる

A^n = 𝑉 𝛬^n 𝑉^-1
・AA = (𝑉𝛬𝑉^-1)(𝑉𝛬𝑉^-1) = 𝑉𝛬(𝑉^-1𝑉)𝛬𝑉^-1 = 𝑉 𝛬^2 𝑉^-1
・AAA = (𝑉𝛬𝑉^-1)(𝑉𝛬𝑉^-1)(𝑉𝛬𝑉^-1) = 𝑉𝛬(𝑉^-1𝑉)𝛬(𝑉^-1𝑉)𝛬𝑉^-1 = 𝑉 𝛬^3 𝑉^-1

𝛬^n = 𝑉^-1 A^n 𝑉𝛬
・𝛬𝛬 = (𝑉^-1𝑉𝛬)(𝑉^-1𝑉𝛬) = 𝑉^-1(𝑉𝛬𝑉^-1)𝑉𝛬 = 𝑉^-1 A 𝑉𝛬
・𝛬𝛬𝛬 = (𝑉^-1𝑉𝛬)(𝑉^-1𝑉𝛬)(𝑉^-1𝑉𝛬) = 𝑉^-1(𝑉𝛬𝑉^-1)(𝑉𝛬𝑉^-1)𝑉𝛬 = 𝑉^-1 A^2 𝑉𝛬

↑

特異値分解 †

あるm行n列の長方行列を直交行列と対角行列の積に分解する計算

固有値分解では、Aは正方行列

特異値分解では、Mが長方行列だが
𝑀^Tを掛けて𝑀𝑀^Tと正方行列化することで似たように処理する。

𝑀の特異値σ・特異ベクトルuv（単位ベクトル）は、

 →       →
𝑀v    = σu

   →     →
𝑀^Tu  = σv

固有値分解に対し特異値分解は

固有値分解
```
A = 𝑉𝛬𝑉^-1
```

特異値分解
```
𝑀 = 𝑈𝑆𝑉^-1
```

𝑀𝑀^Tとか𝑀^T𝑀（対称行列）を固有値分解

特異値分解の利用例、白黒画像の
- 圧縮などに利用できる。
- 特異値が似ていれば分類できる可能性がある。

↑

特異値 †

σ

↑

特異ベクトル †

左特異ベクトル
```
→
u
```

右特異ベクトル
```
→
v
```

それぞれ、
- 直交する。
- 単位ベクトル
  - 大きさを変えないため。
  - UV直交行列を単位行列にすると転置すると逆行列になる。

↑

計算方法 †

特異値σは以下のようなもの。

```
 →       →
𝑀v    = σu
```

```
   →     →
𝑀^Tu  = σv
```

特異値分解

r行r列の正方行列の対角線上にσを並べたもの。
```
  ┌σ1 0   0  ┐
𝑆=│0   σ2 0
  └0   0   ...┘
```

特異ベクトルを並べたもの。

左特異ベクトルU は m×r の直交行列（転置で逆行列）
```
𝑈=┌→ →    ┐
  └u1 u2 ...┘
```

右特異ベクトル n×r の直交行列（転置で逆行列）
```
𝑉=┌→ →    ┐
  └v1 v2 ...┘
```

...
- 𝑀 = 𝑈𝑆𝑉^T
- 𝑀𝑉 = 𝑈𝑆𝑉^T𝑉 = 𝑈𝑆
- 𝑀^T = 𝑉𝑆^T𝑈^T
- 𝑀^T𝑈 = 𝑉𝑆^T𝑈^T𝑈 = 𝑉𝑆^T
- 𝑀𝑀^T = (𝑈𝑆𝑉^T)(𝑉𝑆^T𝑈^T) = 𝑈𝑆(𝑉T𝑉)𝑆^T𝑈^T = 𝑈 𝑆𝑆^T 𝑈^T
- 𝑀^T𝑀 = (𝑉𝑆^T𝑈^T)(𝑈𝑆𝑉^T) = 𝑉𝑆^T(𝑈^T𝑈)𝑆𝑉^T = 𝑉𝑆^T 𝑆𝑉^T

𝑀𝑀^T、𝑀^T𝑀の固有ベクトルがそれぞれ特異ベクトル 𝑈（左）、𝑉（右）
𝑀𝑀^T、𝑀^T𝑀の√λ（固有値）＝ σ（特異値）となるらしい。

↑

対策 †

↑

Mの特異値分解 †

𝑀𝑀^Tを固有値分解すれば、その左特異ベクトル特異値の2乗が求められる。
𝑀^T𝑀を固有値分解すれば、その右特異ベクトル特異値の2乗が求められる。

↑

参考 †

↑

DS：数学的基礎 - 線形代数 のバックアップ(No.9)

目次 †

概要 †

詳細 †

スカラ、ベクトル、行列 †

スカラ †

ベクトル †

行列 †

行列で連立方程式を解く。 †

行基本変形 †

逆行列 †

行列式 †

固有値分解 †

固有値 †

固有ベクトル †

計算方法 †

特異値分解 †

特異値 †

特異ベクトル †

計算方法 †

対策 †

Mの特異値分解 †

参考 †

NumPy †

DS：数学的基礎 - 線形代数のバックアップ(No.9)