Encoder-Decoder と Sequence-to-Sequence のバックアップ(No.3) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

バックアップ一覧
ソースを表示
Encoder-Decoder と Sequence-to-Sequence は削除されています。
- 1 (2023-06-09 (金) 00:14:07)
- 2 (2023-06-09 (金) 00:48:40)
- 3 (2023-06-15 (木) 00:15:57)
- 4 (2023-06-15 (木) 16:29:32)
- 5 (2023-06-15 (木) 20:15:22)
- 6 (2023-06-15 (木) 20:52:20)
- 7 (2023-06-19 (月) 15:29:56)
- 8 (2023-06-20 (火) 14:38:45)
- 9 (2023-06-23 (金) 17:22:56)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- 順伝播型ニューラルネットワーク（FNN）
- ディープニューラルネットワーク（DNN）
- 畳み込みニューラルネットワーク（CNN）
- 再帰型ニューラルネットワーク（RNN）
  - 長短期記憶ニューラルネットワーク（LSTM）
  - Encoder-Decoder と Sequence-to-Sequence

目次 †

目次
概要
詳細
- 機械翻訳での利用
  - Encoder-Decoder
  - Attention（RNN search）
参考
- YouTube
  - AIcia Solid Project

概要 †

コチラで説明した通り。

詳細 †

機械翻訳での利用 †

Encoder-Decoder †

Encoder：
GRUを使用して、
- 文（x1, x2, ... ,xi）を意味ベクトルC（ht）へ変換。
- 意味ベクトルC（ht）は一番最後の再帰段階の隠れ状態

Decoder：
GRUを使用して、

確率分布を出して単語を選ぶ（BEAM search）。

P(yi)=P(yi|yi-1, Si^(d), C)

RNNにはどの再帰の段階でも
コンテキスト（C（ht））と隠れ状態（Si^(d)）を入力する。

RNNへの入力は一番最初の再帰段階ではBOS

RNNからの出力は単語の確率分布（p(yi)）で、
確率分布（p(yi)）から単語（yi）を選ぶ（BEAM search）

RNNへの入力はニ番目以降の再帰段階では
前段の出力（p(yi-1)）から選択した単語（yi-1）

RNNからの出力は一番最後の再帰段階ではEOS

Attention（RNN search） †

参考 †

YouTube? †

AIcia Solid Project †