「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
深層学習（deep learning）について纏める。
- 人間の神経回路を真似した学習モデルを多層化した学習モデル。
特徴 †
- 多層構造のニューラルネットワークに画像などのデータを入力すると、
情報が第1層からより深くへ伝達されるうちに、各層で学習が繰り返される。
- 機械学習と同じ様な事が出来るが、分布を学習するのではなく超平面的なモノの近似を行う。
強み †
弱み †
超平面的なモノの近似なので、
- 「バーニーおじさんのルール」では、
ニューラルネットワークの重みパラメタの数に対して、
最低その10倍以上の訓練データが必要となると言われている。
- データ量が少なすぎる場合は、深層学習以外のアプローチを検討。
（とは言え、非構造化データの場合は深層学習が必要になる）
などの問題もある。
対象 †
構造化データも対象にできるが、機械学習と比べ、優位性はそれほど高くない。
機械学習では精度が出なかった非構造化データを対象にできる。
が、特に非構造化データのベクトル化の方法がポイントになる。
目視作業の自動化 †
フロントオフィス業務で画像認識を使うケースが多い。
異常検知の自動化 †
上記を使った異常検知など。
- 老朽化診断
- 品質管理、不良品検品（不良品を認識して弾く
歴史 †
※ 参考：AIの歴史
1943 †
ニューラルネットワークの基礎
1951 †
世界初のニューラルネットワーク学習マシン（SNACR
1957 †
パーセプトロン
1967 †
誤差逆伝播法（バックプロパゲーション）
1982 †
ポップフィールドネットワーク
1985 †
ボルツマンマシン
2006 †
- オートエンコーダー
- トロント大学のジェフリー・ヒントンが深層学習ブームの
火付け役となったDeep Belief Network（DBN）を発表
2012 †
画像認識（CNN）
- 2010：
大規模画像認識競技会（ILSVRC）が始まる。
- 2012：
ジェフリー・ヒントン率いるSuperVision?（チーム名）
のAlexNet?（CNNアーキテクチャ名）が圧倒的な勝利を収めた。
- GoogLeNet?（Google
分類、検出部門で優勝
- 2015：
- Microsoft ResearchのResNet?（CNN）が、初めて人間のエラー率 5% を上回る精度を達成。
- ≒ 機械が目を獲得した。機械のカンブリア爆発（飛躍的進化）が予測された。
- 入力層から出力層まで伝播する値と入力層の値を足し合わせたモデルで、入力層まで、
勾配値がきちんと伝わり、今では1000層といったかなり深い構造でも学習が可能となった。
- 2019：
- EfficientNet?が効率的なスケールアップ規則の採用で、
当時、パラメタ数を大幅に減少させ最高水準の精度を上回る。
- スケール（幅：層中のニューロン数、深さ：層の深さ、解像度：入力画像の大きさ）
- 幅：α^φ、深さ：β^φ、解像度：γ^φ
- αβγをグリッドサーチで求める（φはパラメタ）
- α*β^2*γ^2 ≒ 2に制限（FLOPSは2φで増加
違い †
階層的な特徴量の学習が、機械学習と決定的に異なる点。
- ベイズ法はトップダウン方式
AIが類例を認識すれば、様々なパターンに対応できるようになる。
詳細 †
CPU、GPU、TPU †
CPU †
- CPUは複雑で連続的な処理が得意。
- 複雑な処理はCPUの方が早い。
GPU †
- もともとグラフィックス計算のためのプロセッサ
- GPUは比較的性能の良くないコアを大量に積んでいて並列的な処理が得意。
- ニューラルネットワークの学習は単純な行列演算が多くを占めるので、
GPUによって高速化が期待できるので深層学習分野で使用される。
- NVIDIA社のGPUでは、CUDAという深層学習用開発環境
が整えられていて、計算用の関数などが使用できる。
- GPGPU
- GPUの演算資源をグラフィックス計算以外の目的に応用する技術
- グラフィック以外の目的での使用に最適化されたGPU
TPU †
Google社が開発した、テンソル計算処理に最適化された演算処理装置
その他 †
言語・ライブラリ †
言語 †
R言語 †
ライブラリ †
フレームワーク †
Theano †
- MILAのOSS（3条項BSD）で2007年に初版リリース
- 2017年以降、メンテナンス・フェーズ
言語 †
Python（コンパイラ、ライブラリ）
特徴 †
Numpyのように計算手続きを記述するのではなく, 数式そのものを記述.
- このことによって, 計算対象となる行列等の実体のプログラム内での
引き回しを考える事なく, 最適化やGPUによる高速化の恩恵が受けられる.
参考 †
Caffe †
Yangqing Jiaら当時Berkeleyのメンバーが中心に2013年頃
開発したOSS（BSD）のディープラーニングフレームワーク
- Convolutional Architecture for Fast Feature Embedding.
- 前身はDeCAF (Deep Convolutional Activation Feature)
言語 †
C++で実装、Pythonのインターフェイスあり。
特徴 †
- コードを書かなくても設定ファイルだけで動かせる
- 容易に拡張できるコード設計
- PythonとMatlabからも使える
- 高速（C++実装、GPUをシームレスに使い分け）
- Githubの活発な開発コミュニティ
- 画像認識向き
参考 †
Chainer †
- 2015年に株式会社Preferred Networks（PFN）からリリース。
- 2019年12月5日、PyTorchに順次移行すると発表。
言語 †
Python
特徴 †
特⻑：様々なNNを直感的に記述可能
- NNの構築をPythonのプログラムとして記述
- CuPy?によるCPU/GPU agnosticなコード記述
- 動的なNN構築（Define-by-Runの独自コンセプト）を採用
参考 †
- Facebookの人工知能研究グループ（FAIR）により開発された。
- 2016年にOSS（修正BSD）としてリリースされた。
- Lua言語で利用されていたTorchライブラリのPython版
- Chainerに強く影響を受けている。
- Define-by-Runを踏襲
- 記法もかなりChainerに近い
- PDB、PyCharm?などのデバッガが使える。
- 動的な計算グラフ（計算の過程をグラフで視覚化して表したもの
言語 †
インターフェイス
- Pythonインターフェイス
洗練されており、活発に開発が行われている。
特徴 †
- 強力なGPUサポートを備えた（NumPyのような）テンソル演算ができる
- テープベースの自動微分システムの上に構築された深層ニューラルネットワークが利用できる。
参考 †
CNTK †
（Microsoft Cognitive Toolkit）
- 2015年にMicrosoftからリリース。
- 2016年にMITライセンスでGitHubに公開。
言語 †
C++、Python、.NET、BrainScript?
特徴 †
- リソース効率が良い。
- ONNXを初めてサポート
- コミュニティ発展が課題
参考 †
Googleの †
専用項を設けた。
専用項を設けた。
専用項を設けた。
ファースト・ステップ †
開発環境 †
アルゴリズム †
参考 †
One Learning Theory †
- 脳科学の世界には
「One Learning Theory（たった一つの学習理論）」
と呼ばれる仮説がある。
- それは「視覚野」、「聴覚野」、「感覚野」など、大脳皮質の異なる領域が、
実は同一の認知機構に従って動作している、とする仮説である。
- これが正しければ、視覚野の認知機構に基づくスパース・コーディングは、
単に画像認識のみならず、例えば聴覚（つまり音声認識）など他の分野にも応用できる。
スパース・コーディング †
- 入力の一部または全体を、辞書に含まれる要素の組み合わせで表現しようというもの。
- スパースなデータ表現とは、
- データを表現するための辞書を用意し、
- その要素のできるだけ少ない組み合わせでデータを表現すること。
Wikipedia †
YouTube? †
深層学習 ディープラーニングの世界 †
ディープラーニング †
某处生活_LiveSomewhere? †
予備校のノリで学ぶ「大学の数学・物理」 †
ゼロから作るDeep Learning †
https://www.oreilly.co.jp/books/9784873117584/
サンプル †
https://github.com/oreilly-japan/deep-learning-from-scratch
その他、参考 †
- 『ゼロから作るDeep Learning』の学習ノート - からっぽのしょこ
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
