「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
(Convolutional Neural Network: CNN)
特徴 †
- 一般的な順伝播型ニューラルネットワークとは異なる。
- 1989年に単純な数字画像の認識のために開発されたLeNetが原型
- データの空間的構造を学習する画像分類において、圧倒的な性能を発揮した。
- 視覚神経系を模した畳み込み処理で画像から特徴抽出することで性能が出た。
- 大規模コーパスで、学習されたモデルの重みは公開されていて、
転移学習で新たなタスク向けに再学習し、新たなタスクのモデルを作成する。
できること †
- R-CNN
- Fast R-CNN
- Faster R-CNN
- FCOS
- YOLO
- SSD
- FCN (Fully Convolutional Network)
詳細 †
パート †
CNNは大きく分けて2つのパートに分けることができる。
- 識別パート
脳の神経系を模した全結合層と出力層（≒ DNN）
- 全結合層を繰り返すことで最終的な出力を得る
- 得られた特徴量を活性化関数、Softmax関数を用いてアウトプット
畳み込み層 †
- 視神経系（視覚を司る神経系）を模して画像から特徴抽出する。
- 全結合層に入力する特徴を取り出すために自動化された前処理。
- 畳み込み処理
- 画像のフィルタ処理＋活性化関数
- 特徴マップを生成（様々な特徴を取り出す）
- 細かい（局所的な）特徴の組み合わせから、
大まかな（大局的、複雑な）特徴を捉えられる｡
- 手前の階層 → 波長の光に反応
- 奥の階層に進むにつれ → 線の向き、折れ線の角、直線の交差に反応
- 最奥の階層 → 特定の模様（≒ 特定のカテゴリ）に反応
- ただし、理論的な裏付けは無い。
生体の神経系を見よう見まねで模倣してみたら上手くいっただけで、
CNNが高性能を実現している理由は厳密には分かっていない。
- １つのカーネル（フィルタ、ウィンドウ）につき１つの特徴マップが生成される｡
- カーネルをｎ個、用意して、特徴マップをｎ個、生成する。
- 特定のパターンを検出する「カーネルの行列」と「画像中の一部領域」の内積を計算し
て得たスカラを「画像中の一部領域」の中心に置いて、元画像と同じサイズの特徴マップを作る。
- 「画像の一部領域」と「カーネルの行列」のサイズは同じにする。
- 位置を探し少しずつずらしながら（ストライド）内積を計算してスカラにする。
- RGB（複数チャンネル）の場合、チャンネル毎の「カーネルの行列」で得たスカラを足し１つの特徴マップを得る。
- ベクトルの内積と同じ様にパターンが似ている場合、スカラの値は大きくなる。
- 一部領域の中心部分と同じ位置に計算したスカラを置き、元画像と同じサイズの特徴マップを作る。
- パディングとストライド
- パディング（P）：入力データの周りを一定の値で埋める操作
- ストライド（S）：畳み込み操作において、ウィンドウを移動させるピクセル数
- 式
入力サイズ（H, W）、フィルタ・サイズ（FH, FW）、出力サイズ（OH, OW）
- OH = 1 + (H + 2P - FH) / S
- OW = 1 + (W + 2P - FW) / S
- 4×4のサイズの画像に対して、3×3のカーネルをパディング0、ストライド1で適当した場合の特徴マップのサイズ
= 1 + (4 + 0 - 3) / 1 = 1 + 1/1 = 2 なので 2×2
- 5×5のサイズの画像に対して、3×3のカーネルをパディング1、ストライド1で適当した場合の特徴マップのサイズ
= 1 + (5 + 2 - 3) / 1 = 1 + 4/1 = 5 なので 5×5
- ○の画像を斜線のフィルタを使って特徴マップにした例
プーリング層 †
- 位置ずれや形の歪みに対する頑健性
- 特徴マップから位置のズレに対して頑強な特徴抽出を行う。
- 特徴同士の位置関係で見る（絶対座標ではなく、相対座標で見る）。
- 特徴が特徴マップ中のどの部分に位置するか？
- 出力が縮小され処理の計算量が減る。
- 位置ずれや形の歪みに「頑健になる」（≒同じ値を返す）｡
- プーリングの種類
- 最大値（MaxPooling?）
- 平均値（AvgPooling?）
- Lp（Lp pooling）
- パディングとストライド
- パディング（P）：なし
- ストライド（S）：
- （以下は）ウィンドウサイズと同じの固定値（の例）
- ウィンドウサイズと同じではない場合もある（略）
- 式
入力サイズ（H, W）、ウィンドウ・サイズ（WH, WW）、出力サイズ（OH, OW）
- 4×4の特徴マップに対して、2×2のウィンドウを適当した場合の出力のサイズ
= 4 / 2 = 2 なので 2×2
- 6×6の特徴マップに対して、3×3のウィンドウを適当した場合の出力のサイズ
= 6 / 3 = 2 なので 2×2
CNNのパラメタ †
畳み込み層 †
- この時点でカーネルは畳み込みのパラメタとして機能する。
- カーネルは重みパラメタとして機能し誤差逆伝播法によって学習できる。
全結合層 †
- 全結合層の重みはDNNの重みと同じ。
- 重みパラメタは誤差逆伝播法によって学習できる。
1*1 Convolution †
概要 †
- 空間グリッド上の1点のみにチャンネル方向に畳み込む
- 点単位畳み込み層 (pointwise convolution)とも呼ばれる。
- GoogLeNet、VGGNetなどで使用されているらしい。
内容 †
- 入力画像のサイズを変えずにチャンネル数（特徴マップ数）を変更する畳み込み操作
- 特徴マップ上の各1グリッドにおいて深さ方向の畳み込みのみを個別実行するという処理
- チャンネル数を減らすことでパラメタ数が減り次元削減の効果が現れる
上記はConvのFN（フィルタ数）で特徴マップ数が変わることから、
あまり、処理内容を詳しくイメージできなくても、「確かに。」となる。
（チャンネル数（CH）は二層目以降ではフィルタ数（FN）に対応した特徴マップ数になる）
用途 †
- 「画素単位での識別器」としての使用
物体検出、セマンティックセグメンテーションの終盤層で
空間サイズが狭まった特徴マップに対し使用することが試された。
- 「チャンネル方向の次元削減」としての使用
フィルタ数を少なくしておくと、「チャンネル方向の次元削減」が可能。
Inceptionモジュール †
概要 †
- 並列化とパラメタ削減によって、深いCNNを実現している。
内部で並列化（多分、分割はしてない） → 1*1 Conv → n*n Conv → 結合。
並列化 †
パラメタ削減 †
著名なモデル †
LeNet? †
- 論文（89）
Introduction（多変量解析には無かった）
- 誤差逆伝播法
- 訓練＆テスト・データ
- 複雑なモデルには大規模なデータ
- 過学習に気を付ける。
- タスク
- 手書き文字認識（MINST未満のマウスdeペイント文字）
- 16 * 16の480枚（訓練 : テスト = 320 : 160）
- アーキテクチャ
- 図がない。
- 特徴の説明
・入力 : 16*16
・Conv : FN=2, FHW=3*3, S=2, + tanh → 8*8*2
・Conv : FN=4, FHW=5*5, S=2, + tanh → 4*4*4
・4*4*4 をFlatten → Affine → tanh（≠ Softmax）で10
・損失関数は、Categorical Cross EntropyではなくMSE
- 精度とポイント
- 精度：98.4%
- ポイント
・AffineよりConvでパラメタ数削減
・チャンネルを増やすと良い結果が出る
- LeNet?-5
- 歴史
- 10年後の性能向上版
- （間にLeNet?-1、-4、Boosted -4 とか色々ある）
- 論文（98）
Introduction：（SDGの）局所解だけどOK
- アーキテクチャ
- LeNet-5 図
- 特徴の説明
・入力 : 32*32（Padding済みらしい）
・Conv : FN=6, FHW=5*5, S=1, + tanh → 28*28*6
・Avg Pooling : 2*2, S=1, + tanh → 14*14*6
・Conv : FN=16, FHW=5*5, S=1, + tanh → 10*10*16（フィルタの見る特徴マップがマッピングで指定されているらしい）
・Avg Pooling : 2*2, S=1, + tanh → 5*5*6
・Conv : FN=120, FHW=1*1, S=1, + tanh → 1*1*120（実質Affine）
・1*1*120 をFlatten → Affine + tanhで84 → Affine + ERBF（≠ Softmax）で10
AlexNet? †
- アーキテクチャ
- AlexNet 図
- 特徴の説明
・入力 : 224*224*3ch（256*256をデータ拡張）
・Conv : FN=96, FHW=11*11, S=4, + LRN → 55*55*96 → 55*55*48*2（分割して並列化）
・Max Pooling : 3*3, S=2 → 27*27*48*2（サイズで割るんじゃなくてストライドで割る感じ）
・Conv : FN=128, FHW=5*5, P=2, S=1, + LRN = 27*27*128*2
・Max Pooling : 3*3, S=2 → 13*13*128*2
・Conv : FN=192, FHW=3*3, P=1, S=1, + LRN = 13*13*192*2（入力データを２ノード間で交換するらしい）
・Conv : FN=192, FHW=5*5, P=2, S=1, + LRN = 13*13*192*2
・Conv : FN=128, FHW=5*5, P=2, S=1, + LRN = 13*13*128*2
・Max Pooling : 3*3, S=2 → 6*6*128*2
・6*6*128 をFlatten → Affine で2024*2 → Affine で2024*2 → Affine で2024*2 → Affine + Softmaxで1000
- 精度：
- 誤答率16％と2位が前年度優勝と≒の26％に大差
- ココからの怒涛の精度改善のきっかけになった。
- なお、AlexNet?でのCIFAR-10の精度は89%らしい。
- ポイント
- 非DL時代からDL時代へ。
- 力技のモデル（CNN層をシンプルに積重ね深く、並列計算で大きく出来た）
- LRN（Local Response Normalization、局所応答正規化）はマイナーテク
GoogLeNet? †
という構造を採用し深いネットワークの学習を可能にした
畳み込み層とプーリング層で構成された
- ポイント
- CNNはパラメタ数が増えてもスパースになってしまい無駄が多い。
- スパース（疎）をデンス（密）にする ≒ 人間/犬/猫の目/鼻/口を共通化するみたいな話。
- スパース（疎）をデンス（密）にするには、相関のあるニューロンをまとめる。
・相関のあるニューロンとは特徴マップ上の同じ位置のニューロン
・1*1 Convで次元削減すると相関のあるニューロンをまとめられる。
VGGNet †
現在では性能がよかった VGG16 または VGG19 が使われている。
- オックスフォード, 2014
- 分類部門で2位
- VGG16 は 畳み込み13層と全結合3層の計16層から成るCNN。
ResNet? †
残差学習という手法を取り入れ152層の深いネットワークの学習を可能にした
- Microsoft Research, 2015
- 初めて人間のエラー率 5% を上回る精度を達成。
- 残差ブロックの導入による残差学習により、より深いCNNの学習方法を提案
- ある層で求める最適な出力を学習するのではなく層の入力を参照した残差関数を学習。
- 入力層から出力層まで伝播する値と入力層の値を足し合わせたモデルで入力層まで、
勾配値がきちんと伝わり、今では1000層といったかなり深い構造でも学習が可能となった。
EfficientNet? †
- Google, 2019
- スケールアップ規則の採用で、当時、パラメタ数を大幅に減少
- スケール（幅：層中のニューロン数、深さ：層の深さ、解像度：入力画像の大きさ）
- 幅：α^φ、深さ：β^φ、解像度：γ^φ
- αβγをグリッド・サーチで求める（φはパラメタ）
- α*β^2*γ^2 ≒ 2に制限（FLOPSは2φで増加
参考 †
YouTube? †
Qiita †
その他 †
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
