DS：数学的基礎 - 線形代数のバックアップ(No.19)

逆行列の求め方
- 行基本変形は行列のドット積で計算でき、変形の行列をドット積で纏めると逆行列になる。
- 掃き出し法の拡大行列（？）の左側に対角線に1が並ぶように行基本変形すると右側が逆行列になる。
- 2行2列の行列の逆行列なら公式で計算できる。
- 3行3列の行列の逆行列なら掃き出し法の拡大行列で計算できる。
- 3行3列以上の行列の逆行列なら
  - 掃き出し法の拡大行列で計算できる。
  - 行列式の余因子を用いて計算することもできる。

参考：https://manabitimes.jp/math/1153

逆行列はi列のベクトルaiをei（i成分のみ1で他は0のベクトル）に変換（A^-1 ai = ei）
- Aei = ai（自明） → A^-1 Aei = A^-1 ai → ei = A^-1 ai
- A^-1 A = A^-1(a1, a2, ... ai, ... an) = (e1, e2, ... ei, ... en) = I

連立方程式を逆行列で計算できる。

逆行列が存在する場合、yは一次結合で表せる。
```
Ax = y → A^-1 Ax = A^-1 y → x = A^-1 y
```

逆行列が存在しない場合、
これは、≒ 連立方程式の解が無い場合で、2以上のベクトル（＝行、横ベクトル）が並行で面積がゼロの場合
- 交点がなくて並行の場合（2つのベクトルが「平行」）
- 交点があって並行の場合（2つのベクトルが「同じ」か「長さが異なるダケ≒同じ」）

正方行列Aの逆行列A^-1は成分抽出（A^-1(∑xi ai) = x）
- コレは行列とベクトルの積を列ベクトルとベクトルの内積の計算に置き換えたもの
- コレに逆行列をかけると、A^-1 Ax = A^-1(∑xi ai) → x = A^-1(∑xi ai) となり、
- ∑xi ai = y とすると、x = A^-1 y となる。これによって、一次結合の係数x（≒成分）を求めることができる。
- 電車の式　A乗り継ぎx = 行き先y　の逆を求める A^-1 A(乗り継ぎ)x = A^-1(行き先)y → x = A^-1 y 的な話。

↑

行列式 †

行列式によって連立方程式の解の有無を判別できる。

行列式とは
- 一次方程式の可解性を判定する指標
- 正方行列で列をベクトルに見立てる。
- ｎ個のベクトルからなる面積・体積を考える。

行列式の特性
1. １つでも平行なベクトル、同じベクトルがあれば、面積・体積はゼロで解は無い。
2. １つのベクトルが*ｎされれば、行列式（≒面積・体積）全体がｎ倍される。
3. １つのベクトルが+ｗされれば、行列式（≒面積・体積）の足し算に展開される。
4. ベクトルを入れ替えると行列式はマイナスになる（が、コレは面積・体積の性質ではない。
  入れ替え前と後のベクトルを足し算すると2つの同じベクトルがある行列式（面積・体積＝０）になるので。

行列式の計算

たすき掛けの計算方法は3行3列の行列式までしか使えない。

2行2列

┌a11 a12┐
└a21 a22┘
=a11a22-a12a21

3行3列

┌a11 a12 a13┐
│a21 a22 a23│
└a31 a32 a33┘
=a11a22a33+a12a23a31+a13a21a32-a13a22a31-a12a21a33-a11a23a32

3行3列以上の行列式は余因子展開でn-1行n-1列の行列式の計算に変換。
- この計算は、体積の計算を面積✕高さに変換する的な話らしい。
- この際、「行列式の特性（４）」を使用するので符号が切り替わる。

↑

固有値分解 †

ある正方行列Aを直交行列と対角行列の積に分解する計算
```
A = 𝑉𝛬𝑉^-1
```
- 行列の特徴が見えやすくなり、A^nの計算がラク。
- ゼロに近い固有値は行列全体に与える影響が小さいため、
  この固有値を無視することで、高精度で近似計算できる。

Aが正方行列の場合、
```
A=┌ab┐
  └cd┘
```

Aの固有値・固有ベクトルは、
```
 →    →
Av = λv
```

具体例

┌1 4┐┌1┐ = ┌5┐ = 5┌1┐
└2 3┘└1┘   └5┘    └1┘

↑

固有値 †

λ

λは行列ではなくスカラ

↑

固有ベクトル †

→
v  ≠ 0

λ毎にある。
「固有ベクトルの内の一つ」というのは、ある特定の比率になっている全ベクトルの一つの意味。

↑

計算方法 †

以下を解くとｎ個の固有値λが求まる。

```
→    →
Av = λv
```

```
→    →
Av - λv = 0
```

```
       →   
(A-λI)v = 0
```

```
→   
v ≠ 0
```

|A-λI|が逆行列を持たない行列式 = 0で解く。

|A-λI| = 0
┌ a-λ   b ┐= 0
└ c   d-λ ┘
(a-λ)(d-λ) - bc =0

固有値λの個数分、固有ベクトルが導かれる。
（固有ベクトルはxn間の比率が解りさえすれば良い）
```
┌ab┐┌x1┐=λ┌x1┐
└cd┘└x2┘   └x2┘
```
- ax1+bx2=λx1
- cx1+dx2=λx2

固有値分解

対角行列：正方行列の対角線上にλを並べたもの。
```
   ┌λ1 0   0  ┐
𝛬 =│0   λ2 0
   └0   0   ...┘
```

直交行列：固有ベクトルを並べたもの。
```
𝑉 =┌→ →    ┐
   └v1 v2 ...┘
```
A = 𝑉𝛬𝑉^-1
- A𝑉 = 𝑉𝛬
- A = A𝑉𝑉^-1 = 𝑉𝛬𝑉^-1
- 𝛬 = 𝑉^-1𝑉𝛬 = 𝑉^-1A𝑉

累乗計算が簡単になる

A^n = 𝑉 𝛬^n 𝑉^-1
- AA = (𝑉𝛬𝑉^-1)(𝑉𝛬𝑉^-1) = 𝑉𝛬(𝑉^-1𝑉)𝛬𝑉^-1 = 𝑉 𝛬^2 𝑉^-1
- AAA = (𝑉𝛬𝑉^-1)(𝑉𝛬𝑉^-1)(𝑉𝛬𝑉^-1) = 𝑉𝛬(𝑉^-1𝑉)𝛬(𝑉^-1𝑉)𝛬𝑉^-1 = 𝑉 𝛬^3 𝑉^-1

𝛬^n = 𝑉^-1 A^n 𝑉𝛬
- 𝛬𝛬 = (𝑉^-1𝑉𝛬)(𝑉^-1𝑉𝛬) = 𝑉^-1(𝑉𝛬𝑉^-1)𝑉𝛬 = 𝑉^-1 A 𝑉𝛬
- 𝛬𝛬𝛬 = (𝑉^-1𝑉𝛬)(𝑉^-1𝑉𝛬)(𝑉^-1𝑉𝛬) = 𝑉^-1(𝑉𝛬𝑉^-1)(𝑉𝛬𝑉^-1)𝑉𝛬 = 𝑉^-1 A^2 𝑉𝛬

↑

特異値分解 †

あるm行n列の長方行列を直交行列と対角行列の積に分解する計算
```
𝑀  = 𝑈𝑆𝑉^T
```

固有値分解では、Aは正方行列

特異値分解では、Mが長方行列だが
𝑀^Tを掛けて𝑀𝑀^Tと正方行列化することで似たように処理する。

𝑀の特異値σ・特異ベクトルuvは、

 →       →
𝑀v    = σu

   →     →
𝑀^Tu  = σv

固有値分解に対し特異値分解は

固有値分解
```
A = 𝑉𝛬𝑉^-1
```

特異値分解
```
𝑀 = 𝑈𝑆𝑉^-1
```

𝑀𝑀^Tとか𝑀^T𝑀（対称行列）を固有値分解

特異値分解の利用例、白黒画像の
- 圧縮などに利用できる。
- 特異値が似ていれば分類できる可能性がある。

↑

特異値 †

σ

↑

特異ベクトル †

左特異ベクトル
```
→
u
```

右特異ベクトル
```
→
v
```

それぞれ、
- 直交する。
- 単位ベクトル
  - 大きさを変えないため。
  - UV直交行列を単位行列にすると転置すると逆行列になる。

↑

単位ベクトル †

以下の計算から各要素の二乗の合計の平方根になる。

 ┌x┐ ┌cx┐
c│y│=│cy│
 └z┘ └cz┘
(cx)^2+(cy)^2+(cz)^2 = 1
c^2 * (x^2 + y^2 + z^2) = 1
c = 1 / √(x^2 + y^2 + z^2)

↑

計算方法 †

特異値σは以下のようなもの。

```
 →       →
𝑀v    = σu
```

```
   →     →
𝑀^Tu  = σv
```

特異値分解

対角行列：r行r列の正方行列の対角線上にσを並べたもの。
```
  ┌σ1 0   0  ┐
𝑆=│0   σ2 0
  └0   0   ...┘
```

直交行列は特異ベクトルを並べたもの。

左特異ベクトルは𝑀𝑀^T固有値分解の直交行列（転置で逆行列）
```
𝑈=┌→ →    ┐
  └u1 u2 ...┘
```

右特異ベクトルは𝑀^T𝑀の固有値分解の直交行列（転置で逆行列）
```
𝑉=┌→ →    ┐
  └v1 v2 ...┘
```

𝑀𝑀^T、𝑀^T𝑀の
- √λ（固有値）＝ σ（特異値）
- 固有ベクトルがそれぞれ特異ベクトル 𝑈（左）、𝑉（右）となるらしい。
- （特異ベクトルは固有ベクトルなので計算にはλ（固有値）を使う）

𝑀 = 𝑈𝑆𝑉^T
𝑀𝑉 = 𝑈𝑆𝑉^T𝑉 = 𝑈𝑆

𝑀^T = 𝑉𝑆^T𝑈^T
𝑀^T𝑈 = 𝑉𝑆^T𝑈^T𝑈 = 𝑉𝑆^T

𝑀𝑀^T = (𝑈𝑆𝑉^T)(𝑉𝑆^T𝑈^T) = 𝑈𝑆(𝑉^T𝑉)𝑆^T𝑈^T = 𝑈 (𝑆𝑆^T) 𝑈^T
𝑀^T𝑀 = (𝑉𝑆^T𝑈^T)(𝑈𝑆𝑉^T) = 𝑉𝑆^T(𝑈^T𝑈)𝑆𝑉^T = 𝑉 (𝑆^T𝑆) 𝑉^T

↑

後付の、そもそも対角化とは？ †

対角化（固有値分解、特異値分解）は変換の表現技法の一つ。

↑

Api = λipi †

固有値分解：piにAをかけるとpiのλi倍になる。

λi：固有値
pi：固有ベクトル

証明
- A = 𝑉𝛬𝑉^-1
- Api = 𝑉𝛬𝑉^-1 pi
- 逆行列はi列のベクトルaiをeiに変換（A^-1ai = ei）するので、
- Api = 𝑉𝛬 ei
- Aはベクトルeiをaiに変換（Aei=ai）、
- 且つaiはeiが1の成分のみλi（ai=λiei）なので
- Api = 𝑉λiei
- λi（固有値）はスカラなので外に出せる。
- Api = λi𝑉ei
- Aはベクトルeiをaiに変換（Aei=ai）するので、
- Api = λipi

↑

A∑xi pi = ∑λi xi pi †

固有値分解：Ayを計算する際（Aは正方行列、yはベクトル）。

y = ∑xi pi = x1 p1 + x2 p2 とする。
A = λ1 p1 + λ2 p2 なので、
Ay = A∑xi pi = λ1 x1 p1 + λ2 x2 p2 = ∑λi xi pi
A^n y = A^n ∑xi pi = λ1^n x1 p1 + λ2^n x2 p2 = ∑λi^n xi pi

とできる（x1, x2をどうやって求めるか？は次回に説明）。

↑

A = 𝑉𝛬𝑉^-1 †

固有値分解：Ay を Ay = 𝑉𝛬𝑉^-1 y で計算できる。

y = ∑xi pi = x1 p1 + x2 p2 のx1, x2は、
逆行列の成分抽出で求める事が出来る（x = 𝑉^-1 y）。

pi なので 𝑉 を使う。
```
y = 𝑉┌x1┐
     └x2┘
```

コレを求めるには𝑉^-1を使う。

𝑉^-1 y = 𝑉^-1 𝑉┌x1┐ = ┌x1┐
               └x2┘   └x2┘

で、

Ay = 𝑉𝛬  ┌x1┐
         └x2┘

で、

Ay = 𝑉 ┌λ1x1┐
       └λ1x2┘

前回の式に戻る。

Ay = p1 λ1 x1 + p2 λ2 x2 = ∑λi xi pi

上記を要約すると Ay = 𝑉𝛬𝑉^-1 y を以下の3ステップ（式を右から計算）で解くことが出来る。
- ステップ1：𝑉^-1 yでは、yをpで表した際のx成分を計算し、
- ステップ2：これに左から対角行列𝛬をかけるので、x1はλ1倍、x2はλ2倍 ... xnはλn倍と固有値倍し、
- ステップ3：これに左から𝑉をかけるので = p1 λ1 x1 + p2 λ2 x2 + ... + pn λn xn = ∑λi xi pi と固有ベクトルでベクトルに戻す。

↑

参考 †

↑

NumPy †

↑

YouTube? †

線型代数基礎シリーズ
https://www.youtube.com/playlist?list=PLhDAH9aTfnxKfmufxF59vaZECZJD5j6rd

DS：数学的基礎 - 線形代数 のバックアップ(No.19)

目次 †

概要 †

詳細 †

スカラ、ベクトル、行列 †

スカラ †

ベクトル †

行列 †

行列とベクトルの積 †

...はベクトルの変換 †

...は電車の乗り継ぎ †

...は内積を縦に並べたもの。 †

行列で連立方程式を解く。 †

行基本変形 †

逆行列 †

行列式 †

固有値分解 †

固有値 †

固有ベクトル †

計算方法 †

特異値分解 †

特異値 †

特異ベクトル †

単位ベクトル †

計算方法 †

後付の、そもそも対角化とは？ †

Api = λipi †

A∑xi pi = ∑λi xi pi †

A = 𝑉𝛬𝑉^-1 †

参考 †

NumPy †

YouTube? †

DS：数学的基礎 - 線形代数のバックアップ(No.19)