「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
(Recurrent Neural Network: RNN)
特徴 †
- 記憶があり系列データの可変長入力が可能な点が最大の特徴
- 中間層に再帰構造（再帰セル）を追加したニューラルネットワークの総称。
- 特に自然言語や音声データの時間的構造を学習する。
- 時間順序を持つ可変長の系列データ入力を扱える。
- 過去の系列を記憶した上で将来の予測ができる。
- 一時刻前の中間層の出力を自らの入力に戻す。
- 情報を一時的に記憶して振る舞いを動的に変化させる。
- 長期に渡る特徴の学習は苦手。
- 勾配消失・爆発の問題（の回避方法、BPTT法が定着
- 重み衝突（入力重み衝突、出力重み衝突）
- 入力重み衝突：入力が重要なら重みを大きくするが、時系列を考慮できない。
- 出力重み衝突：出力（再起の入力）が重要なら重みを大きくするが、時系列を考慮できない。
構造 †
再帰構造 †
- 隠れ層（追加可能）
- 隠れ層 → 隠れ層（再帰）
- オプション：（隠れ層 → 隠れ層（再帰））
- オプション：（隠れ層 → 隠れ層（全結合））
表記方法 †
- 時間軸で展開している（最大で入力する系列データ分展開）。
- 書き方（上下左右）
- 上：出力
- 下：入力
- 左：展開（時系列の前
- 右：展開（時系列の後
トポロジー †
- 多対１（Seq2Vec）
- 系列→符号化
- 系列の意味を符号化する（Encoder）。
- 例：記事のトピック分類や時系列データ予測
- １対多（Vec2Seq）
- 符号 → 系列
- 符号の意味を系列化する（Decoder）。
- 例：画像のキャプション（見出し説明文）生成
RNNでできること †
系列データ（順序関係に重要な意味のあるデータ）の解析
画像処理 †
その他 †
系列データ †
時系列データの変動 †
- 長期変動（トレンド）
- 通り長期に渡る全体的な上がり下がりの変動
- 毎日（週/月/年）の、より長い期間で同じ傾向が見れられる。
- 周期変動（季節性）
- 一定期間ごとに繰り返される周期的な上下変動
- 年単位や月単位、週単位の周期等が考えられる。
- 不規則変動（残差）
- 長期変動、周期変動を除去したあとに残った傾向
- ランダムに発生するであろうノイズ
説明系列と目的系列、教師データ化 †
- 目的系列は１つの系列から成る。
- 説明系列は複数の系列から成るケースがある。
- 目的系列を教師データに変換するには
元データからｘタイムステップずらす。
- １ステップ先を予想する場合、ｘ＝１
- ３ステップ先を予想する場合、ｘ＝３
- 説明系列と目的系列は１つの同じ系列であるケースがあり、この場合、
目的系列は説明系列をｘタイムステップずらして教師データを作成する。
時系列データのデータ分割 †
- 時系列を維持して訓練・テストのデータ分割を行う。
- ランダムとかシャッフルをして取り出さない
詳細 †
順伝播 †
Wh、Wx、bの変数の再帰的な訓練が必要（xt, ht-1が入力、htが出力）
なお、h0は0だが、RNN Encoder DecoderのDecoderでは０ではない。
- h0=tanh(h-1Wh+x0Wx+b)
- h1=tanh(h0Wh+x1Wx+b)
- ...
- hn=tanh(hn-1Wh+xnWx+b)
ちなみに、 †
- x, hはベクトルで、例えば言語系であれば、単語のベクトル表現が入力される。
- 再帰セル以外はDNNと同じで、なんらかの層を積み重ねる。
- 例えばDNNの全結合層や、別のRNNの再帰の層を積み重ねる事ができる。
- 入力データは再帰的に変わるが重み、Wh、Wxは同じものを指している。
出力層は... †
- 時系列だと回帰で恒等関数、言語系だと分類問題なのでSoftmax関数などになる。
- 損失関数も問題に合わせたものを選択する。
逆伝播 †
- 学習で重みは誤差逆伝播法で更新されるが、以下の2つのパスがあるよね？
- って、例えば言語系でコレで何を学習できんのよ？と考えるが
ノード数が多いんだろうねと（何ノードあるのだろう？）。
BPTT法 †
- Backpropagation Through Time: 通時的誤差逆伝播法
- DNNと同様に誤差逆伝播法による学習ができる｡
- 二乗誤差関数（回帰）、クロスエントロピー誤差（分類）
- 出力層から入力層へ遡る。再帰層は時間方向にも遡る。
- 再帰層は前再帰の出力を入力に使っているので
再帰後の勾配の算出に再帰前の勾配の算出が必要。
Truncated BPTT法 †
- サンプル毎ではなくタイムステップ毎に誤差を算出
- ミニバッチのｎ番目のｘ行目とのｎ+１番目のｘ行目は連続性を保つこと。
RTRL法 †
というものもあるらしい。
RNNの発展形 †
Bidirectional RNN †
（バイディレクショナル リカレントネットワーク）
- 前方向のRNN層に加え、逆方向のRNN層も追加。
- 過去だけでなく未来の情報も利用し効果的に予測。
RNN Encoder Decoder †
- Seq2Seqモデルとも呼ばれ、機械翻訳や質問応答タスクで使用されることが多い。
- RNN Encoderによってエンコードされた情報をRNN Decoderの始めの内部状態として入力。
Attention機構 †
「時間の重み」の概念をネットワークに組み込んだもの。
- 近年、Attention機構を追加することにより精度が向上したモデルも多い。
- Attentionの重みによってどの時間の入力を重視しているか確認することが可能。
- 機構
- メモリアクセスのようなもので、
- メモリセルをKey・Valueの対で構成する。
- Queryに近いKeyでメモリセルからValueを返す。
- y = f(x, h(, r)) の精度向上に関する情報 r を、
x, h に応じて、メモリから拾い上げる機能を実現する。
- 自己アテンション
- Key・Value生成とQueryの生成が同じデータから行われる。
- 系列の文脈に応じて重要な情報を拾いながらベクトル列の特徴抽出を行う。
- ソースターゲット・アテンション
- Key・Value生成とQueryの生成が異なるデータから行われる。
- ...
参考 †
YouTube? †
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
