敵対的生成ネットワーク（GAN）のバックアップ(No.3) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- 順伝播型ニューラルネットワーク（FNN）
- ディープニューラルネットワーク（DNN）
- 畳み込みニューラルネットワーク（CNN）
- 再帰型ニューラルネットワーク（RNN）
  - 長短期記憶ニューラルネットワーク（LSTM）
  - Encoder-Decoder と Sequence-to-Sequence?
- 生成モデル系のニューラルネットワーク
  - 自己符号化器（AE：オートエンコーダ）
  - 敵対的生成ネットワーク（GAN）

目次 †

目次
概要
- 特徴
- できること
詳細
- システム
- DCGAN
参考
- YouTube
  - AI教室 AIRS-Lab

概要 †

（Generative Adversarial Network: GAN）

特徴 †

本物データと見分けのつかない贋作データを出力する。

教師なし学習で使用される人工知能アルゴリズムの一種

ゼロサムゲームフレームワークで互いに競合する
2つのニューラルネットワークのシステムによって実装される。

イアン・J・グッドフェローによって提案された

2つのニューラルネットワークを競わせながら学習させるアーキテクチャで、
生成モデル側（Generator）と識別モデル側（Discriminator）が学習する。
- Generator
- Discriminator

できること †

データの特徴を抽出して学習し、実在しないデータを生成できる（生成モデル）。

変分オートエンコーダやボルツマンマシンなど
以前からある生成モデルと比べてより鮮明な贋作データの生成が可能。

詳細 †

システム †

Generator（生成器） †

生成側は識別側を欺こうと学習

入力にランダムなノイズ・ベクトルzを受け取る。
ランダムなノイズ・ベクトルzから贋作データを生成する。
Discriminatorが贋作データを本物データと識別するように学習する。
学習が進むにつれどんどん精度の高い贋作データを生成できるようになる。
学習が終わるとGeneratorのみでデータ生成タスクを実行できる。
2つのネットワークの競合関係は、損失関数を共有

Discriminator（識別器） †

識別側はより正確に識別しようと学習

本物データとGeneratorの生成した贋作データを受け取る。
入力が本物データである確率を出力する。
データの真贋を正しく識別するように学習する。
学習が終わるとデータ生成タスクには不要になる。
2つのネットワークの競合関係は、損失関数を共有

損失関数を共有 †

GeneratorとDiscriminatorが影響し合って学習を進める
通常のニューラルネットワークとは違う損失関数を用いる。

交差エントロピーに似ているもののGeneratorとDiscriminatorが互いに依存した式。
- Discriminatorは真贋を判断し、正しくラベル付けをする確率「D(x)」を最大化しようとする。
- 一方で、Generatorは自身が生成した偽物データG(z)を、Discriminatorが贋作とラベル付する確率「log(1−D(G(z)))」を最小化しようとする。

Discriminatorが正しくラベル付けできた場合、
- 「D(x)」の値が大きくなり、「logD(x)」も大きくなり
- さらにGが偽物だとバレることで、「D(G(z))」が小さくなる。

結果、「log(1−D(G(z)))」が大きくなりDiscriminatorが優勢になる。

Generatorが本物に近いデータを作れた場合、
- 「G(z)」の値が大きくなり（？）、「D(G(z))」も大きくなる。
- さらにDiscriminatorが正しくラベル付けできなくなることで、「D(x)」の値が小さくなり、「logD(x)」も小さくなる。

結果、「log(1−D(G(z)))」が小さくなりGeneratorが優勢になる。

それぞれ以下のような最適化を目指す。
- Generator：log(D(G(z))) ≒ 識別の誤差を最大化
- Discriminator：log(D(x))+log(1−D(G(z))) ≒ ？を最大化

DCGAN †

CNNをGANに取り入れることで画像の生成性能を上昇させたモデル。
数多くのGANのアーキテクチャにはDCGANが基礎として導入されている（？）。

以下、MINSTを使ったDCGAN実装

Generator †

100次元のランダムノイズのベクトルから32x32の画像を生成
ConvTranspose2d（転置畳み込み）を使用し画像サイズを拡張

Discriminator †

LeakyReLUとSigmoidの畳み込みニューラルネットワーク（CNN）

統合 †

mainの手続
- DataLoader?の定義
- 損失関数の定義
- Generatorの呼び出し
- Discriminatorの呼び出し
- それぞれにAdamを設定
- 指定のエポック回数、train関数を呼び出す。

関数の共通の引数
- Generator
- Discriminator
- GeneratorのOptimizer（Adam
- DiscriminatorのOptimizer（Adam
- Criterion（損失関数
- DataLoader?

train関数
1エポックの処理

手続
以下を1エポック分、繰り返す。
- ランダムノイズを生成し贋作画像の生成
- 学習データ（本物画像＋贋作画像）を作成
- update_discriminator関数呼び出し
- update_generator関数呼び出し
- 平均の損失を算出

update_discriminator関数
Discriminatorのパラメタ更新を行う。
- 本物データで順伝播、贋作データで順伝播
- 上記２つの損失を合計して逆伝播してパラメタ更新

update_generator関数
Generatorのパラメタ更新を行う。
- Discriminatorを贋作データで順伝播
- 損失を計算（損失関数は共通なので）
- Generatorで損失を逆伝播してパラメタ更新

損失関数の謎 †

BCELoss(Binary Cross Entropy loss)を用いる。
実装を見ると、確かに、損失関数を共有しているがGeneratorの逆伝播が謎。
- Discriminatorと同じ損失関数
- 出力層は32x32の画像だけど？

参考 †

YouTube? †

AI教室 AIRS-Lab †

https://www.youtube.com/playlist?list=PLcd5jOpoEDGBDqiRMS4eqkfBwl28ixRYc