自己符号化器（AE：オートエンコーダ）のバックアップ(No.2) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- 順伝播型ニューラルネットワーク（FNN）
- ディープニューラルネットワーク（DNN）
- 畳み込みニューラルネットワーク（CNN）
- 再帰型ニューラルネットワーク（RNN）
  - 長短期記憶ニューラルネットワーク（LSTM）
  - 自己符号化器（AE：オートエンコーダ）

目次 †

目次
概要

概要 †

特徴 †

ニューラルネットワークの一種で

教師あり、なし
- 入力データと一致するデータを出力することを目的とする教師なし学習
- データとしては教師なしだが（、学習としては）、入力データを用いた教師あり学習。

隠れ層の次元を小さくして情報量を小さくした特徴表現を獲得する。
（入力の情報を圧縮される。→ 学習の結果、重みとして要約される。）
- 入力したデータをエンコーダーで潜在変数に圧縮（次元削減・特徴抽出）し、
- 潜在変数からデコーダで復元（再び戻して出力）する。
- エンコーダーもデコーダもニューラルネットワーク

入出力が一致するように各エッジの重みを調整
出力と入力に対して誤差を算出し、その差が
小さくなるように誤差逆伝播法を用い重みを学習する。

種類
様々な種類があるもよう。
- 変分AE（VAE : Variational auto-encoder）
- スタック型AE
- スパースAE
- ディープAE
- デノイジングAE
- , etc.

AEでできること †

様々な用途で利用されている。

異常検知
需要予測
ロボティクス

AEの歴史 †

元々、（入出力兼務の）可視層と隠れ層の２層のネットワークだが、

展開すれば、３層のニューラルネットワークと ≒ のものだった。
AEのポイントは、可視層より隠れ層の次元（数）を少なくしてある（情報の圧縮）。
このAEを積み重ね、ディープAE、正確には、積層AEを作成（ジェフリー・ヒントン）。
層の積み重ねは、事前学習とファイン・チューニングによって達成される。
- はじめに事前学習を行い層を積み重ねていく。
- 最上部に層を足し、教師あり学習にする（？）
  - ロジスティク回帰層
  - 回帰問題の場合、線形回帰層
- 最後の仕上げにファイン・チューニング（全体で再学習）する。

※ AEは、勾配消失問題を事前学習とファイン・チューニングに
　よって解決しニューラルネットワーク発展の礎となった。