敵対的生成ネットワーク（GAN）のバックアップ(No.2) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- 順伝播型ニューラルネットワーク（FNN）
- ディープニューラルネットワーク（DNN）
- 畳み込みニューラルネットワーク（CNN）
- 再帰型ニューラルネットワーク（RNN）
  - 長短期記憶ニューラルネットワーク（LSTM）
  - Encoder-Decoder と Sequence-to-Sequence?
- 生成モデル系のニューラルネットワーク
  - 自己符号化器（AE：オートエンコーダ）
  - 敵対的生成ネットワーク（GAN）

目次 †

目次
概要
- 特徴
- できること
詳細
- システム
- DCGAN
参考

概要 †

（Generative Adversarial Network: GAN）

特徴 †

本物データと見分けのつかない贋作データを出力する。

教師なし学習で使用される人工知能アルゴリズムの一種

ゼロサムゲームフレームワークで互いに競合する
2つのニューラルネットワークのシステムによって実装される。

イアン・J・グッドフェローによって提案された

2つのニューラルネットワークを競わせながら学習させるアーキテクチャで、
生成モデル側（Generator）と識別モデル側（Discriminator）が学習する。
- Generator
- Discriminator

できること †

データの特徴を抽出して学習し、実在しないデータを生成できる（生成モデル）。

変分オートエンコーダやボルツマンマシンなど
以前からある生成モデルと比べてより鮮明な贋作データの生成が可能。

詳細 †

システム †

Generator †

生成側は識別側を欺こうと学習

Generatorは入力にランダムノイズベクトルzを受け取る。
学習が進むにつれどんどん精度の高い贋作データを生成できるようになる。
最終的に学習が十分に完了すると、Generatorのみで贋作データを生成できる。
2つのネットワークの競合関係は、損失関数を共有

Discriminator †

識別側はより正確に識別しようと学習

Discriminatorは本物データとGeneratorの生成した贋作データを受け取る。
入力が本物データである確率を出力する。
学習が終わるとデータ生成タスクには不要になる。
2つのネットワークの競合関係は、損失関数を共有

損失関数を共有 †

GeneratorとDiscriminatorが影響し合って学習を進める
通常のニューラルネットワークとは違うBCELoss(Binary Cross Entropy loss)を用いる。
交差エントロピーに似ているもののGeneratorとDiscriminatorが互いに依存した式。

それぞれ以下のような最適化を目指す。
- Generator：log(D(G(z))) を最大化
- Discriminator：log(D(x))+log(1−D(G(z)))を最大化

DCGAN †

畳み込みニューラルネットワーク（CNN）をGANに取り入れることで画像の生成性能を上昇させたモデル。
数多くのGANのアーキテクチャにはDCGANが基礎として導入されている（？）。

以下、MINSTを使ったDCGAN実装

Generator †

100次元のランダムノイズのベクトルから32x32の画像を生成
ConvTranspose2d（転置畳み込み）を使用し画像サイズを拡張

Discriminator †

LeakyReLUとSigmoidの畳み込みニューラルネットワーク（CNN）

統合 †

main的な
- DataLoader?の定義
- 損失関数の定義
- Generatorの呼び出し
- Discriminatorの呼び出し
- それぞれにAdamを設定
- 指定のエポック回数、train関数を呼び出す。

関数の共通の引数
- Generator
- Discriminator
- GeneratorのOptimizer（Adam
- DiscriminatorのOptimizer（Adam
- Criterion（損失関数
- DataLoader?

train関数
1エポックの処理

手続
以下を1エポック分、繰り返す。
- ランダムノイズを生成し贋作画像の生成
- 学習データ（本物画像＋贋作画像）を作成
- update_discriminator関数呼び出し
- update_generator関数呼び出し
- 平均の損失を算出

update_discriminator関数
Discriminatorのパラメタ更新を行う。
- 本物データで順伝播、贋作データで順伝播
- 上記２つの損失を合計して逆伝播してパラメタ更新

update_generator関数
Generatorのパラメタ更新を行う。
- Discriminatorを贋作データで順伝播
- 損失を計算（損失関数は共通なので）
- Generatorで損失を逆伝播してパラメタ更新

参考 †