自己符号化器（AE：オートエンコーダ） のバックアップ(No.18)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 自己符号化器（AE：オートエンコーダ） へ行く。
  • 1 (2023-05-31 (水) 11:51:43)
  • 2 (2023-05-31 (水) 11:58:02)
  • 3 (2023-06-19 (月) 15:29:46)
  • 4 (2023-06-19 (月) 20:48:46)
  • 5 (2023-06-19 (月) 23:27:37)
  • 6 (2023-06-20 (火) 14:38:39)
  • 7 (2023-06-26 (月) 17:53:28)
  • 8 (2023-06-27 (火) 18:35:07)
  • 9 (2023-06-27 (火) 23:13:58)
  • 10 (2023-06-27 (火) 23:29:11)
  • 11 (2023-06-28 (水) 11:53:58)
  • 12 (2023-06-28 (水) 17:33:16)
  • 13 (2023-06-29 (木) 12:50:10)
  • 14 (2023-06-29 (木) 16:05:23)
  • 15 (2023-06-29 (木) 20:38:42)
  • 16 (2023-06-29 (木) 23:48:26)
  • 17 (2023-06-30 (金) 01:40:05)
  • 18 (2023-06-30 (金) 09:30:10)
  • 19 (2023-06-30 (金) 16:07:08)
  • 20 (2023-06-30 (金) 20:53:59)
  • 21 (2023-07-03 (月) 14:05:05)
  • 22 (2023-07-03 (月) 16:55:05)
  • 23 (2023-07-03 (月) 18:56:17)
  • 24 (2023-07-04 (火) 14:05:38)
  • 25 (2023-07-20 (木) 17:44:22)
  • 26 (2023-07-20 (木) 20:36:24)
  • 27 (2023-07-21 (金) 13:44:03)
  • 28 (2023-07-21 (金) 16:30:44)
  • 29 (2023-07-21 (金) 20:40:43)
  • 30 (2023-07-24 (月) 14:52:49)
  • 31 (2023-07-26 (水) 09:35:55)
  • 32 (2023-08-21 (月) 15:30:10)
  • 33 (2023-11-07 (火) 16:15:26)
  • 34 (2023-11-14 (火) 18:49:05)
  • 35 (2023-11-15 (水) 12:52:38)
  • 36 (2023-11-24 (金) 12:57:47)
  • 37 (2024-02-20 (火) 17:25:33)
  • 38 (2024-02-27 (火) 15:21:42)
  • 39 (2024-04-03 (水) 18:22:05)

---

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • 一般的なフツーのニューラルネットワーク
    • 順伝播型ニューラルネットワーク（FNN）
    • ディープニューラルネットワーク（DNN）
    • 畳み込みニューラルネットワーク（CNN）
  • 再帰型ニューラルネットワーク（RNN）
    • 長短期記憶ニューラルネットワーク（LSTM）
    • RNN Encoder-Decoder（Sequence-to-Sequence）
  • 生成モデル系のニューラルネットワーク
    • 自己符号化器（AE：オートエンコーダ）
    • 敵対的生成ネットワーク（GAN）

目次 †

概要 †

自己符号化器（AE：オートエンコーダ）、自己識別機とも呼ばれる。

歴史 †

• 元々、（入出力兼務の）可視層と隠れ層の２層のニューラルネットワーク、展開すれば、３層のニューラルネットワークで、

• 勾配消失問題を事前学習とファイン・チューニングによって解決しニューラルネットワーク発展の礎となった。

• AEのポイントは、可視層より隠れ層の次元（数）を少なくしてある（情報の圧縮）。

• このAEを積み重ね、ディープAE、正確には、積層AEを作成（ジェフリー・ヒントン）。
  層の積み重ねは、事前学習とファイン・チューニングによって達成される。
  • はじめに事前学習を行い層を積み重ねていく。
  • 最上部に層を足し、教師あり学習にする（？）
    • ロジスティク回帰層
      
    • 回帰問題の場合、線形回帰層

• 最後の仕上げにファイン・チューニング（全体で再学習）する。

特徴 †

教師あり、なし †

• 入力データと一致するデータを出力することを目的とする教師なし学習
• データとしては教師なしだが（、学習としては）、入力データを用いた教師あり学習。

入出力を一致させる。 †

• 入出力が一致するように各エッジの重みを調整
  
• 出力と入力に対して誤差を算出し、その差が小さくなるように誤差逆伝播法を用い重みを学習する。

特徴表現の獲得 †

隠れ層の次元を小さくして情報量を小さくした特徴表現を獲得する。
（入力の情報を圧縮される。→ 学習の結果、重みとして要約される。）

• 入力したデータをEncoderで潜在空間上の特徴量（潜在変数ｚ）に圧縮（次元削減・特徴抽出）し、

• 潜在空間上の特徴量（潜在変数ｚ）からDecoderで復元（再び戻して出力）する。

• 潜在空間：何かしらの分布を仮定した潜在空間を学習

※ EncoderもDecoderもニューラルネットワーク

種類 †

様々な種類があるもよう。

• 変分AE（VAE : Variational auto-encoder）
• スタック型AE
• スパースAE
• ディープAE
• デノイジングAE
• , etc.

できること †

様々な用途で利用されている。

• ロボティクス
• 異常検知
• 需要予測

詳細 †

変分オートエンコーダ（VAE） †

• 画像生成では変分オートエンコーダ（VAE）を使う。
• AEを活用、学習データが何らかの分布に基づいて生成されていると仮定
• 生成される画像は鮮明ではなく、ぼやけた画像になる。

仕組み †

• Encoder
  • 入力データが多次元ガウス分布として符号化され、その分布から潜在変数ｚをサンプリング。
  • つまり、多次元ガウス分布を記述する平均 μ と分散 σ^2 を返すようにEncoderを学習。

• Decoder
  • サンプリングされた潜在変数ｚから、元々の入力データを再構成したものを出力。

潜在変数z †

• 層
  • Encoder
    • μ,σ^2 = encoder(x)

• 中間層
  • z～N(μ, σ^2)
  • ノイズ : ϵ～N(0, I)
  • z = μ+σϵ

• Decoder
  • X=decoder(z)

• 潜在空間上の特徴量、潜在変数ｚ...
  • ...は入力x1, x2を、異なる潜在変数の領域に正規分布に沿ってマッピング。
  • ...が連続的な分布（正規分布）になっているので、
  • ...を調整することで連続的に生成データが変化する。

最適化 †

x をより良く表現する p(X) のパラメータを学習するには、周辺尤度 logp(X) の最大化を考える。

復元誤差 †

Decoderによる誤差

KLダイバージェンス †

Encoderによる誤差

損失関数 †

復元誤差とKLダイバージェンスの展開式を損失関数として利用することでVAEを最適化出来る

Transformer †

• その情報に注目スべきか判断して情報を処理するAttentionの導入。
• Self-Attention機構の重要性を示し、他の分野にも影響を与えた。
• 汎用性が高くコレを画像処理に応用したのが、Vision Transformer。

※ RNN Encoder-DecoderのAttention機構と同じ目的を達成するが機構は異なる。

アーキテクチャ †

• オートエンコーダ、Attention、全結合層

• RNN Encoder-Decoder（Sequence-to-Sequence）を用いないオートエンコーダ・モデル
  • RNNもCNNも使わず（再帰も畳込も行わず）に
    
  • 入力と出力の文章同士の広範囲な依存関係を捉えられる、
  • Attention機構の概念を導入したオートエンコーダ・モデル

• RNN Encoder-Decoder（Sequence-to-Sequence）の逐次処理を
  オートエンコーダの並列処理に変更して従来モデルの問題を解決。

• Attention機構をMulti-head Attentionに置き換えた、
• 「並列化できない」「長期記憶ができない（大域的な特徴・ニュアンスを捉え難い）」問題を解決。
  • 並列計算で高速な学習が可能になった。
  • 後半に行けばいくほど昔の記憶を維持するのが難しくなる問題を解決。
  • Positional Encoding（位置エンコーディング）でベクトルに語順情報を付加。

パフォーマンス †

RNN Encoder-Decoder（Sequence-to-Sequence）系よりも早くて精度が高い

• 処理が速い：並列化によって学習時間を大幅に短縮。
  • データを逐次処理する必要がなく、
  • 並列化で訓練時間が圧倒的に削減でき
  • ビッグデータで効率的に学習できる。

• 精度が高い：英独翻訳タスクで従来モデルの最良結果を超える。
• 汎用性が高い：汎用的で、大規模なモデルも構築可能

タスクの概要と構造 †

• 翻訳タスク
  スペイン語 → 英語
  • Yo tengo gatos → I have cats
  • ...と、catsを予測するTransformer.

• 入力と出力
  翻訳タスク（Yo tengo gatos → I have cats）

• 入力
  • Self-Attention：「Yo tengo gatos」
  • Masked Self-Attention：「I have [cats]」※ []はMask

• 出力
  • 次単語予測（BEAM search）：「cats」を予想する。
  • Decoderが通常のSeq2seqのように逐次的に単語を出力していく。

• 以下の前処理が処理前に行われる。
  • ストップワード削除済み原文
  • Embeding：単語の分散表現で512次元のベクトルに圧縮
  • Positional Encoding：単語の順番情報を埋込。

• Encoderの出力を一気にDecoderに入れる。

• 構造

  #ref(): File not found: "Transformer0.png" at page "自己符号化器（AE：オートエンコーダ）"	#ref(): File not found: "Transformer1.png" at page "自己符号化器（AE：オートエンコーダ）"
  https://qiita.com/omiita/items/07e69aef6c156d23c538

• Encoder
  文章を意味に変換する。
  • Self-Attention（Multi-head Attention）
    1文の単語だけを使って計算された単語間の照応関係を付加

    	I	have	cats
    I	0.88	0.10	0.02
    have	0.08	0.80	0.12
    cats	0.03	0.14	0.83

• Position-Wise Feed-Forward Networks（PFFN）
  2層のDNN：FFN(x) = ReLU(xW1+b1)W2+b2

• Decoder
  意味を文章に変換する。
  
  • Masked Self-Attention（Multi-head Attention）
    予想する単語の部分をマスクした文の単語だけを使って計算された単語間の照応関係を付加

• Source-Target Attention（Multi-head Attention）
  ここまでの出力をQueryに、Encoderの出力をKeyとValueにして
  Multi-Head AttentionでAttentionを計算し異なる時系列データの照応関係情報を獲得

• Position-Wise Feed-Forward Networks（PFFN）
  2層のDNN：FFN(x) = ReLU(xW1+b1)W2+b2

• 全結合層（元の次元に戻す）・Softmax関数（確率分布（p(yi)））

オートエンコーダ †

• 左半分がEncoder

• N=6層のTransformer Blockで構成されていて、6層とも同じ構造。

• 各Transformer Block層は2つのサブ層で構成される。

• Self-Attention（Multi-head Attention）層は文脈を埋込。
  文脈の理解力が高いAttentionの進化版で複数箇所の重要な部分に注目することができる。

• Position-Wise Feed-Forward Networks層は...
  ・入力はQと同サイズのトークン・ベクトルが並んだ文章で
  ・Position-Wiseは各トークン毎（位置単位）に計算をすると言う意味

• それぞれのサブ層の後にはAdd＆Normがある。
  • Add：残差接続
  • Norm：Layer Normalization（学習高速化の正規化）

• 右半分がDecoder
  • N=6層のTransformer Blockで構成されていて、6層とも同じ構造。
  • 各Transformer Block層は2つのサブ層で構成される。
  • 2つのサブ層の間にエンコーダの出力を受け取る
    Source-Target Attention（Multi-head Attention）層が追加されている。

Transformer Block †

Transformer ≒ Transformer Block

• RNNのAttention機構と同様に、Q、K、VからAttentionを計算するが、
  コチラでは、後述のMulti-head Attentionと言う機構を使用する。

• 計算結果（Qと同サイズ）をQのAdd＆Norm（前述）をする。

• 計算結果をPosition-Wise Feed-Forward Networksに適用。

• さらに計算結果（入力と同サイズ）をAdd＆Norm（前述）をする。

• 最終的なTransformer Blockの出力とする。

#ref(): File not found: "Transformer5.png" at page "自己符号化器（AE：オートエンコーダ）"

https://agirobots.com/multi-head-attention/

Multi-head Attention †

• Multi-head Attention
  • Single-Head Attention（Scaled Dot-Product AttentionとLinear層からなる）を並列化したもの。
  • 獲得された学習パラメタを可視化すると並列に並んでいる各Single-Headが異なる注意表現を獲得している（後述の①）。
  • これは、後述のScaled Dot-Product AttentionのK、Vの値を決める重み、出力を調整する重みの学習になる。

• Single-Head Attention
  HeadとはLinear層*3とScaled Dot-Product Attention層*1の4つの組合せ

• Linear層
  Scaled Dot-Product Attention層の直前に学習パラメタを持つLinear層を設け、
  多種多様な特徴部分空間における注意表現を学習可能にする柔軟性を獲得させている。

• Scaled Dot-Product Attention層
  • 内積に基づく注意計算を行うだけとなっていて内部に学習パラメタを持たない。
  • スケール化内積注意と訳せるだけに、内積を利用したベクトル間の類似性に基づく変換を行う注意機構

    #ref(): File not found: "Transformer10.png" at page "自己符号化器（AE：オートエンコーダ）"	#ref(): File not found: "Transformer11.png" at page "自己符号化器（AE：オートエンコーダ）"
    	・Qは横ベクトルqの縦ベクトル ・Kは横ベクトルkの縦ベクトル ・Vは横ベクトルvの縦ベクトル（KV（kv）はペアになっている）
    	QをqにしてSingle-Head Attentionで考えると、qtKは、同様に、qkの内積（類似度）の横ベクトルになる。また、√dkは、次元が大きくなると長くなるので補正する。コレを同様にSoftmaxで重み（Attention_Weight）に変換し、この重み（Attention_Weight）とVのdot積＝加重和がCi（文脈を加味した単語ベクトル）になる。
    	Attention(q, K, V)では、qとkiが似ていて場合 Pi≒1 他≒0となる場合、kiとの類似度に応じたVの加重和はほぼviになる。Attention(Q, K, V)はバッチで処理。
    https://agirobots.com/multi-head-attention/

• Concat＋Linear層（前述の③、④）
  • Concat
  • Linear：活性化関数が恒等関数（なのでPosition-Wise Feed-Forward Networksがある）

数式のポイントとベクトルの内容 †

• 数式のポイント
  Xは縦ベクトルではなく横ベクトル、WXではなくXW（= tWtX）

• ベクトルの内容
  

  文のベクトル	#ref(): File not found: "Transformer12.png" at page "自己符号化器（AE：オートエンコーダ）"	#ref(): File not found: "Transformer14.png" at page "自己符号化器（AE：オートエンコーダ）"
  QKVのベクトル	#ref(): File not found: "Transformer13.png" at page "自己符号化器（AE：オートエンコーダ）"
  QKVから計算して得たCi（文脈を加味した単語ベクトル）
  #ref(): File not found: "Transformer15.png" at page "自己符号化器（AE：オートエンコーダ）"		#ref(): File not found: "Transformer16.png" at page "自己符号化器（AE：オートエンコーダ）"	#ref(): File not found: "Transformer17.png" at page "自己符号化器（AE：オートエンコーダ）"
  並列に並んでいる各Single-Headが異なる注意表現を獲得している
  #ref(): File not found: "Transformer18.png" at page "自己符号化器（AE：オートエンコーダ）"
  https://agirobots.com/multi-head-attention/

参考 †

• 【図解】誰でもわかるTransformer入門！凄さ・仕組みをわかりやすく解説 - すえつぐのNLP&LLM
  https://nlpillustration.tech/?p=2171

• 自然言語処理 | DeepSquare?
  https://deepsquare.jp/tag/language/
  • 自然言語処理の必須知識 Transformer を徹底解説！
    https://deepsquare.jp/2020/07/transformer/
  • 自然言語処理の必須知識 BERT を徹底解説！
    https://deepsquare.jp/2020/09/bert/

Qiita †

• 深層学習界の大前提Transformerの論文解説！
  https://qiita.com/omiita/items/07e69aef6c156d23c538
• 【深層学習】図で理解するAttention機構
  https://qiita.com/ps010/items/0bb2931b666fa602d0fc

YouTube? †

AIcia Solid Project †

AI教室 AIRS-Lab †

AGIRobots †

以下はブログ側

• ［Transformers入門］日本語のセンチメント分析
  https://agirobots.com/transformers-sentiment-analysis/

• 【Transformerの基礎】Multi-Head Attentionの仕組み
  https://agirobots.com/multi-head-attention/

• 【詳説】Attention機構の起源から学ぶTransformer
  https://agirobots.com/attention-mechanism-transformer/

• Transformerについて本質を分かりやすく解説！
  https://agirobots.com/essence-transformer/

• Scaled Dot-Product Attentionの本当の凄さを考える
  https://agirobots.com/essence-of-scaled-dot-product-attention/

• 強化学習のパラダイムシフト！Decision Transformerとは？
  https://agirobots.com/decision-transformer/

     

Site admin: TechInfoOfMicrosoftTech

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.076 sec.