「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
深層学習（deep learning）について纏める。
- 人間の神経回路を真似した学習モデルを多層化した学習モデル。
特徴 †
- 多層構造のニューラルネットワークに画像などのデータを入力すると、
情報が第1層からより深くへ伝達されるうちに、各層で学習が繰り返される。
- 機械学習と同じ様な事が出来るが、分布を学習するのではなく超平面的なモノの近似を行う。
- 観測データから本質的な情報を抽出した特徴、潜在表現、内部表現（低次元表現、特徴ベクトル表現）を学習する。
強み †
弱み †
超平面的なモノの近似なので、
- 「バーニーおじさんのルール」では、
ニューラルネットワークの重みパラメタの数に対して、
最低その10倍以上の訓練データが必要となると言われている。
- データ量が少なすぎる場合は、深層学習以外のアプローチを検討。
（とは言え、非構造化データの場合は深層学習が必要になる）
などの問題もある。
対象 †
構造化データも対象にできるが、機械学習と比べ、優位性はそれほど高くない。
機械学習では精度が出なかった非構造化データを対象にできる。
が、特に非構造化データのベクトル化の方法がポイントになる。
目視作業の自動化 †
フロントオフィス業務で画像認識を使うケースが多い。
異常検知の自動化 †
上記を使った異常検知など。
- 老朽化診断
- 品質管理、不良品検品（不良品を認識して弾く
歴史 †
※ 参考：AIの歴史
1943 †
ニューラルネットワークの基礎
1951 †
世界初のニューラルネットワーク学習マシン（SNACR
1957 †
パーセプトロン
1979 †
福島邦彦によってCNNのネオコグニトロン提唱。
1982 †
ポップフィールドネットワーク
1985 †
ボルツマンマシン
1986 †
誤差逆伝播法（バックプロパゲーション）の再発明、以後定着
1989 †
ネオコグニトロン＋バックプロパゲーション＝LeNet
1998 †
LeNet-5
2006 †
- オートエンコーダー
- トロント大学のジェフリー・ヒントンが深層学習ブームの
火付け役となったDeep Belief Network（DBN）を発表
2010 †
画像認識（CNN）大規模画像認識競技会（ILSVRC）が始まる。
2012 †
- ILSVRC
ジェフリー・ヒントン率いるSuperVision?（チーム名）
のAlexNet（CNNアーキテクチャ名）が圧倒的な勝利を収めた。
- Googleの猫
- 教えることなく、AIが自発的に猫を認識することに成功した。
- AIは画像内の特徴を認識し自発的に分類できるようになった。
2014 †
2015 †
- Microsoft ResearchのResNetが、初めて人間のエラー率 5% を上回る精度を達成。
- ≒ 機械が目を獲得した。機械のカンブリア爆発（飛躍的進化）が予測された。
2017-18 †
2019 †
- EfficientNetが効率的なスケールアップ規則の採用で、
当時、パラメタ数を大幅に減少させ最高水準の精度を上回る。
違い †
階層的な特徴量の学習が、機械学習と決定的に異なる点。
- ベイズ法はトップダウン方式
AIが類例を認識すれば、様々なパターンに対応できるようになる。
詳細 †
生成モデル系のニューラルネットワーク †
CPU、GPU、TPU †
CPU †
- 複雑で連続的な処理が得意で早い。
- 浮動小数点数の計算回数であるFLOPSは低い。
GPU †
- もともとグラフィックス計算のためのプロセッサ
- 比較的低性能のユニット・コアを大量に積んだ並列的な処理が得意。
- CPUに対して浮動小数点数の計算回数であるFLOPSは高い。
- 深層学習は並列処理に向いた単純な行列演算が多く高速化が期待できる。
- CPU⇔GPU通信回数の削減
- はじめに全てのデータを送信する。
- 計算を済ませて結果をCPU側に送り返す。
- 並列数をふやす
- ユニット・コアへ効率よく計算タスクを分配し、並列数の大きい計算を行う
- MN行列AとNK行列Bのドッド積＝MK行列Cを計算する場合、MユニットKコアをフル稼働させて一度に処理。
| ユニット￥コア | C1 | C2 | C... | CK |
| U1 | c11 | c12 | c1... | c1k |
| U2 | c21 | c22 | c2... | c2k |
| U... | c...1 | c...2 | c... | c2k |
| UM | cM1 | cM2 | cM... | cMk |
- 外部からの制御がないと動かないため複雑な処理はできない。
GPUに対して命令を行うソフトウェアをインストールしてGPUを制御する。
- 制御の内容
- GPUのメモリへのデータの転送
- GPUのコアに対しての演算命令
- CUDA
NVIDIA社のGPUでは、CUDAという深層学習用開発環境
が整えられていて、計算用の関数などが使用できる。
- cuDNN
TensorFlow?・Keras、PyTorchの下位スタックで動く。
更に下位スタックで、前述のCUDAが動作する。
- 開発環境構築手順
- GPUをインストール
- CUDAをインストール
- cuDNNをインストール
- GPUに対する各種設定
- GPU対応TensorFlow?・Kerasなどでプログラムを書いて実行
- また、計算を極限まで早くする方法として、次に考えられたのが分散処理。
GPGPU †
- グラフィック以外の目的での使用に最適化（汎用化）されたGPU
- GPGPU（general purpose GPU）
- GPUの演算資源をグラフィックス計算以外の目的に応用する技術
TPU †
Google社が開発した、テンソル計算処理に最適化された演算処理装置
その他 †
言語・ライブラリ †
言語 †
R言語 †
ライブラリ †
フレームワーク †
Theano †
- MILAのOSS（3条項BSD）で2007年に初版リリース
- 2017年以降、メンテナンス・フェーズ
言語 †
Python（コンパイラ、ライブラリ）
特徴 †
Numpyのように計算手続きを記述するのではなく, 数式そのものを記述.
- このことによって, 計算対象となる行列等の実体のプログラム内での
引き回しを考える事なく, 最適化やGPUによる高速化の恩恵が受けられる.
参考 †
Caffe †
Yangqing Jiaら当時Berkeleyのメンバーが中心に2013年頃
開発したOSS（BSD）のディープラーニングフレームワーク
- Convolutional Architecture for Fast Feature Embedding.
- 前身はDeCAF (Deep Convolutional Activation Feature)
言語 †
C++で実装、Pythonのインターフェイスあり。
特徴 †
- コードを書かなくても設定ファイルだけで動かせる
- 容易に拡張できるコード設計
- PythonとMatlabからも使える
- 高速（C++実装、GPUをシームレスに使い分け）
- Githubの活発な開発コミュニティ
- 画像認識向き
参考 †
Chainer †
- 2015年に株式会社Preferred Networks（PFN）からリリース。
- 2019年12月5日、PyTorchに順次移行すると発表。
言語 †
Python
特徴 †
特⻑：様々なNNを直感的に記述可能
- NNの構築をPythonのプログラムとして記述
- CuPy?によるCPU/GPU agnosticなコード記述
- 動的なNN構築（Define-by-Runの独自コンセプト）を採用
- しかし入力データによって計算グラフの構造が変化するRNNなどCNN以外のニューラルネットワークが台頭し、
- ニューラルネットワークの構造を柔軟に制御できるDefine-by-Runが、Define-and-Runに比べて優勢に。
参考 †
CNTK †
（Microsoft Cognitive Toolkit）
- 2015年にMicrosoftからリリース。
- 2016年にMITライセンスでGitHubに公開。
言語 †
C++、Python、.NET、BrainScript?
特徴 †
- リソース効率が良い。
- ONNXを初めてサポート
- コミュニティ発展が課題
参考 †
Facebook（Meta）の †
専用項を設けた。
Googleの †
専用項を設けた。
専用項を設けた。
専用項を設けた。
ファースト・ステップ †
開発環境 †
アルゴリズム †
参考 †
Wikipedia †
Qiita †
YouTube? †
予備校のノリで学ぶ「大学の数学・物理」 †
某处生活_LiveSomewhere? †
t-uesugi/videos †
AIcia Solid Project †
AI教室 AIRS-Lab †
※ プロモーション動画の比率が高い。
AGIRobots †
※ https://agirobots.com/
Neural Network Console †
ゼロから作るDeep Learning †
フレームワーク編 †
https://www.oreilly.co.jp/books/9784873119069/
強化学習編 †
https://www.oreilly.co.jp/books/9784873119755/
農学情報科学 †
https://axa.biopapyrus.jp/
深層学習 †
https://axa.biopapyrus.jp/deep-learning/
用語 †
One Learning Theory †
- 脳科学の世界には
「One Learning Theory（たった一つの学習理論）」
と呼ばれる仮説がある。
- それは「視覚野」、「聴覚野」、「感覚野」など、大脳皮質の異なる領域が、
実は同一の認知機構に従って動作している、とする仮説である。
- これが正しければ、視覚野の認知機構に基づくスパース・コーディングは、
単に画像認識のみならず、例えば聴覚（つまり音声認識）など他の分野にも応用できる。
スパース・コーディング †
- 入力の一部または全体を、辞書に含まれる要素の組み合わせで表現しようというもの。
- スパースなデータ表現とは、
- データを表現するための辞書を用意し、
- その要素のできるだけ少ない組み合わせでデータを表現すること。
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
