長短期記憶ニューラルネットワーク（LSTM）のバックアップ(No.2) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- 順伝播型ニューラルネットワーク（FNN）
- ディープニューラルネットワーク（DNN）
- 畳み込みニューラルネットワーク（CNN）
- 再帰型ニューラルネットワーク（RNN）
  - 長短期記憶ニューラルネットワーク（LSTM）
  - 自己符号化器（AE：オートエンコーダ）

目次 †

目次
概要
- 特徴
- LSTMでできること
詳細
- 拡張形式、GRU

概要 †

（Long short-term memory: LSTM）

特徴 †

長期的特徴と短期的特徴を学習することができる。欠点は計算量が多いこと。

長期依存が学習できない原因は勾配消失問題があり、
（遠くの層ほど勾配の大きさが小さくなってしまい、学習が進み難い）
過去10ステップ程しか記憶できなかったRNNに
過去1000ステップ以上の記憶を保持できる機能が追加されている。

以下の問題点に対するソリューション

勾配消失・爆発の問題
長期記憶を実現するCEC（記憶セル）

重み衝突（入力重み衝突、出力重み衝突）
３つのゲートを追加（Attention機構に近い）。
- 入力重み衝突：入力ゲート
- 出力重み衝突：出力ゲート
- 上記以外に、忘却ゲート

追加のニューロン
- ゲートをコントロールするニューロン
- セルへの入力を求めるニューロン
- 追加のニューロンへもCEC（記憶セル）の値を入力

LSTMでできること †

≒ RNNでできること

詳細 †

拡張形式、GRU †

双方向LSTM

多層双方向LSTM

GRU（gated recurrent unit）
- ゲート付き回帰型ユニット
- LSTMの簡略版（ゲートの数が更新ゲートとリセットゲートの２つ）
  - 更新ゲート：過去の情報をどれだけ取り込むかを決定する。
  - リセットゲート：過去の情報をどれだけ捨てるかを決定する。