長短期記憶ニューラルネットワーク（LSTM）のバックアップ(No.18) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- 一般的なフツーのニューラルネットワーク
- 再帰型ニューラルネットワーク（RNN）
  - 長短期記憶ニューラルネットワーク（LSTM）
  - RNN Encoder-Decoder（Sequence-to-Sequence）
- 生成モデル系のニューラルネットワーク
  - 自己符号化器（AE：オートエンコーダ）
  - 敵対的生成ネットワーク（GAN）

目次 †

概要 †

（Long short-term memory: LSTM）
memoryと言うがハード的なメモリが実装されているということではない。
ゲートという仕組みを使用して長期的特徴と短期的特徴を学習できる。

特徴 †

シンプルなRNNのhtはコロコロ変わるので記憶力が弱いと言える。
（長文を読んで要約をするというようなタスクには記憶力が足りない）

LSTMでは、ゲートという仕組みを使用してコレを補い、
長期的特徴と短期的特徴を学習することができる。

欠点は計算量が多いこと。

構造 †

そもそもゲートとはなにか？ †

LSTMには回路中にゲートというモノが含まれる。

コレはRNN系の回路上で次にどの程度前の情報を渡すか？を制御する。

この制御に使うベクトルをXゲート・ベクトルと呼ぶ。

このXゲート・ベクトルの

計算方法は、どれも、RNNの式とだいたい同じ様に計算される
（ただし、学習結果で、Wr, Wz, Wf, Wi, Woの重みは其々、異なる）
- x と ht-1 の Wx との全結合（線形変換）の結果を足す（xWx+ht-1Wx）。
- 活性化関数はtanhではなくsigmoid（σ）で、値は0-1の値になる。

値は、出力に、どの程度、前情報（前出力）を渡すか？を制御する。

GRU (Gated Recurrent Unit) †

ゲート付き回帰型ユニット

LSTMの簡略版で、
- 長期的特徴と短期的特徴を学習する方法として、
- リセット・ゲートと更新ゲートを採用しており、
- どの程度を忘れるか制御して長期記憶を実現する。

ゲートがリセット・ゲートと更新ゲートの２つ
- リセット・ゲート：前情報をどれだけ捨てるかを決定する。
- 更新ゲート：前情報と現情報の配合比率を決定する。

LSTM (Long short-term memory) †

長・短期記憶
- 長期的特徴と短期的特徴を学習する方法として、
- 忘却ゲート、入力ゲート、出力ゲートを採用しており、
- どの程度を忘れるか制御して長期記憶を実現する。

３つのゲートを追加（Attention機構に近い）。

忘却ゲート：
旧コンテキストのボリュームを決定する忘却ゲート・ベクトルを計算

入力ゲート：
新コンテキストのボリュームを決定する入力ゲート・ベクトルを計算

コンテキストの計算（≠ゲート）：
新旧コンテキストを入力・忘却ゲート・ベクトルの比率でブレンドしてコンテキストを出力

出力ゲート：
- コンテキストから短期記憶を抜き出す出力ゲート・ベクトルを計算
- 出力ゲート・ベクトルをつかってコンテキストから短期記憶を抜き出し出力

LSTMでできること †

≒ RNNでできること

詳細 †

GRUの仕組みと構造の説明 †

数式と構造 †

数式	GRUセルの構造

※ 「*」はアダマール積と言う要素ごとの積。
リセット・ゲート	更新ゲート

https://axa.biopapyrus.jp/deep-learning/rnn/gru.html

要素の説明 †

数式

rtは、リセット・ゲート・ベクトルと呼ばれる。
- 式は、Xゲート・ベクトルの計算方法で
- \~ht（現情報）を算出する式での使われ方の観点からは、
  ht-1（前情報、前出力）を、どの程度減衰させるかを決める。

ztは、更新ゲート・ベクトルと呼ばれる。
- 式は、Xゲート・ベクトルの計算方法で
- ht（出力）の式での使われ方の観点からは、
  ht（出力）をht-1（前情報、前出力）から~ht（現情報）に、
  どの程度変化させるか？前情報と現情報を指定の配合比率を決める。

\~ht（今の情報）は、

式の意味としては、
・活性化関数含め、ほとんどRNNの式（値のスケールは-1 ～ +1）。
・rt（リセット・ゲート・ベクトル）によってht-1（前情報、前出力）が減衰される点が異なる。

ht（出力）の式での使われ方の観点からは、
ht-1（前情報、前出力）、~ht（現情報）と、配合される情報の一つ。

ht（出力）は、
計算済みのht-1（前情報、前出力）と、~ht（現情報）を、
計算したzt（更新ゲート・ベクトル）の割合でブレンドしたもの。
- ztが０に近いと、ht-1（前情報、前出力）が強調される（文脈に変化がない場合）。
- ztが１に近いと、~ht（現情報）が強調される（文脈に変化がある場合）。

ゲート

リセット・ゲート：過去の情報をどれだけ捨てるかを決定する。
- 入力と重みを使ってrt（リセット・ゲート・ベクトル）を計算する。
- \~ht（今の情報）の計算の回路にrt（リセット・ゲート・ベクトル）を流す。

更新ゲート：過去の情報をどれだけ取り込むかを決定する。
- 入力と重みを使ってzt（更新ゲート・ベクトル）を計算する。
- （前の情報を減衰する）rt（リセット・ゲート・ベクトル）を使って~ht（今の情報）の計算を行う。
- ht（出力）にht-1（前の情報）と~ht（今の情報）を
  どんな比率でブレンドするかをzt（更新ゲート・ベクトル）を使って計算する。

LSTMの仕組みと構造の説明 †

数式と構造 †

htだけでなくCt（コンテキスト）も次の再帰的な入力に引き継ぐ。

数式	セルの構造

※ 「*」はアダマール積と言う要素ごとの積。

　

忘却ゲート	入力ゲート

　

コンテキスト計算	出力ゲート

要素の説明 †

数式

ftは、忘却ゲート・ベクトルと呼ばれる。

式は、Xゲート・ベクトルの計算方法で

Ct（コンテキスト）の式での使われ方の観点からは、
Ct（コンテキスト）に、Ct-1（旧コンテキスト）を、どの程度含めるか？を決める。

itは、入力ゲート・ベクトルと呼ばれる。

式は、Xゲート・ベクトルの計算方法で

Ct（コンテキスト）の式での使われ方の観点からは、
\~Ct（新コンテキスト）に、どの程度変化させるか？を決める。

otは、出力ゲート・ベクトルと呼ばれる。

式は、Xゲート・ベクトルの計算方法で

ht（出力の短期記憶）の式での使われ方の観点からは、
Ct（コンテキスト）中の短期記憶を抜き出す。

\~Ctは、新コンテキストで、

式の意味としては、活性化関数含め、ほとんどRNNの式。

Ct（コンテキスト）の式での使われ方の観点からは、
Ct（コンテキスト）を算出する際にCt-1（旧コンテキスト）にブレンドする
\~Ct（新コンテキスト）を、どの程度含めるか？を決める。

Ctは、長期記憶（コンテキスト）で以下の２つの計算結果を足して計算する。
- ft（忘却ゲート・ベクトル）とCt-1（旧コンテキスト）のアダマール積
- it（入力ゲート・ベクトル）と~Ct（新コンテキスト）のアダマール積

ht（出力の短期記憶）は、
- Ct（コンテキスト）中の短期記憶を抜き出したもの
- Ct（コンテキスト）とot（出力ゲート・ベクトル）のアダマール積

ゲート

入力ゲート
出力ゲート
忘却ゲート

拡張形式 †

Bidirectional LSTM †

双方向LSTM

前後の文脈を加味する。
- 通常のLSTMは前の文脈しか加味しない。
- 例えば、修飾された主語が（後ろの）動詞を見れば人名だと予想し易い等。

構成

forward LSTM
普通のLSTM

backward LSTM
後ろから読むLSTM

出力
以下2つの出力を利用すれば前後のコンテキストを考慮することになる。

           →  ←    ┌ → ┐
hi= concat(hi, hi) = │ hi │
                     │ ← │
                     └ hi ┘

forward LSTMの出力
```
→    →
ht ≒ yt
```

backward LSTMの出力
```
←    ←
ht ≒ yt
```

用例
- Attention（RNN search）

Deep Bidirectional LSTM †

多層双方向LSTM

参考 †

YouTube? †

AIcia Solid Project †