敵対的生成ネットワーク（GAN）のバックアップ(No.11) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る（ニューラルネットワーク、画像処理とコンピュータビジョン（AI））
- 一般的なフツーのニューラルネットワーク
- 再帰型ニューラルネットワーク（RNN）
  - 長短期記憶ニューラルネットワーク（LSTM）
  - RNN Encoder-Decoder（Sequence-to-Sequence）
- 生成モデル系のニューラルネットワーク
  - 自己符号化器（AE：オートエンコーダ）
  - 敵対的生成ネットワーク（GAN）

目次 †

概要 †

（Generative Adversarial Network: GAN）

特徴 †

本物データと見分けのつかない贋作データを出力する。

教師なし学習で使用される人工知能アルゴリズムの一種

ゼロサムゲームフレームワークで互いに競合する
2つのニューラルネットワークのシステムによって実装される。

イアン・J・グッドフェローによって提案された

2つのニューラルネットワークを競わせながら学習させるアーキテクチャで、
生成モデル側（Generator）と識別モデル側（Discriminator）が学習する。
- Generator
- Discriminator

できること †

データの特徴を抽出して学習し、実在しないデータを生成できる（生成モデル）。

変分オートエンコーダやボルツマンマシンなど
以前からある生成モデルと比べてより鮮明な贋作データの生成が可能。

詳細 †

システム †

#ref(): File not found: "GAN.png" at page "敵対的生成ネットワーク（GAN）"

ttps://cvml-expertguide.net/wp-content/uploads/2021/09/GAN_Adversarial-Training.png

Generator（生成器） †

生成側は識別側を欺こうと学習

入力にランダムなノイズ・ベクトルｚを受け取る。
ランダムなノイズ・ベクトルｚから贋作データを生成する。
Discriminatorが贋作データを本物データと識別するように学習する。
学習が進むにつれどんどん精度の高い贋作データを生成できるようになる。
学習が終わるとGeneratorのみでデータ生成タスクを実行できる。

Discriminator（識別器） †

識別側はより正確に識別しようと学習

本物データとGeneratorの生成した贋作データを受け取る。

入力が本物データである確率を出力する。
- 本物データの場合1に近い値を返す。
- 贋作データの場合0に近い値を返す。

データの真贋を正しく識別するように学習する。
学習が終わるとデータ生成タスクには不要になる。

損失関数を共有 †

2つのネットワーク（GeneratorとDiscriminator）は損失関数を共有することで、学習が効果的に進む。

GeneratorとDiscriminatorが影響し合って学習を進める。

通常のニューラルネットワークとは違うバイナリ交差エントロピー関数を用いる。

唐突に価値関数 †

「D(x)」は（損失関数ではなく）価値関数中に出てくる正しくラベル付けをする確率で、
それぞれ最適化を目指して理想的な性能を有するようになった場合、「D(x)」は0.5になる。

#ref(): File not found: "1.png" at page "敵対的生成ネットワーク（GAN）"

※ 大本の評価関数のディティールが不明なので説明を見ても意味不明。

DCGAN †

（Deep Convolutional GAN）

CNNをGANに取り入れることで画像の生成性能を上昇させたモデル。

数多くのGANのアーキテクチャにはDCGANが基礎として導入されている（？）。

以下、MINSTを使ったDCGAN実装例を用いて説明。

Generator †

CNNの逆

100次元のランダムノイズのベクトルから32x32の画像を生成
ConvTranspose2d（転置畳み込み）を使用し画像サイズを拡張

Discriminator †

LeakyReLUとSigmoidの畳み込みニューラルネットワーク（CNN）

実装で要素を統合 †

mainの手続
- DataLoader?の定義
- 損失関数の定義
- Generatorの呼び出し
- Discriminatorの呼び出し
- それぞれにAdamを設定
- 指定のエポック回数、train関数を呼び出す。

関数の共通の引数
- Generator
- Discriminator
- GeneratorのOptimizer（Adam
- DiscriminatorのOptimizer（Adam
- Criterion（損失関数
- DataLoader?

train関数
1エポックの処理

手続
以下を1エポック分、繰り返す。
- ランダムノイズを生成し贋作画像の生成
- 学習データ（本物画像＋贋作画像）を作成
- update_discriminator関数呼び出し
- update_generator関数呼び出し
- 平均の損失を算出

update_discriminator関数
Discriminatorのパラメタ更新を行う。
- 本物データで順伝播、贋作データで順伝播
- 上記２つの損失を合計して逆伝播してパラメタ更新

update_generator関数
Generatorのパラメタ更新を行う。
- Discriminatorを贋作データで順伝播
- 損失を計算（損失関数は共通なので）
- Generatorで損失を逆伝播してパラメタ更新

損失関数の謎 †

BCELoss(Binary Cross Entropy loss)を用いる。

実装を見ると、確かに、損失関数を共有しているがGeneratorの逆伝播が謎。
- Discriminatorと同じ損失関数
- 出力層は32x32の画像だけど？

Generator → Discriminatorと繋げて順伝播するので、
Discriminator → Generatorと繋げて逆伝播するらしい。
- 話は理解できるが、画像の出力 → 入力の部分の逆伝播の実装はよく解らない。
- その際、Discriminatorのパラメタ更新は行わないらしい。
- 実装、そうなってる？（PyTorchのloss_G.backward()って実装が謎（笑））

CGAN †

（Conditional GAN）

日本語に訳すと条件付き敵対的生成ネットワーク
GANとの相違点はGeneratorとDiscriminatorの入力に条件ベクトルｙが追加される点
条件ベクトルｙはクラス・ラベルだけでなくどんな様式のデータでも良い。

#ref(): File not found: "CGAN.png" at page "敵対的生成ネットワーク（GAN）"

https://benrishi-ai.com/pix2pix02/

価値関数 †

下記を除いて同じ。

D(x)→D(x|y)
D(G(z))→D(G(z|y))

学習 †

Generator：ｚとｙのベクトル連結
Discriminator：ｙのベクトルではなく、
１画像＋クラス数分の画像（ラベルに対応する画像が白、ソレ以外の画像は黒）

※ 条件ベクトルｙは、どんな様式のデータでも良いとなった場合、Discriminatorのケースはどうなる？

ソフトウェア、サービス †

pix2pix †

CVPR2017で発表された論文で提案されたGANベースのスタイル変換モデル
- 画像とそれを変換した画像を学習して変換を学習する。
- 以下のようなタスクを処理する。
  - 線画の着色
  - グレースケール画像のRGB画像化
  - 航空写真の地図画像化

内部でU-Netを使用している。
- CGANの応用で条件ベクトルを与える代わりにスタイル変換前の画像を与える。
- GeneratorのネットワークにはSemantic Segmentationで利用されるU-Netを用いるDCGAN。
- Encoder-decoderでは共通の特徴量が欠損し、U-Netを用いることで写真の基本構造を維持できる。

DiscriminatorではPatchGANというアイデアが取り込まれている。
- 判定で画像1枚全体を本物・偽物で識別するのではなく画像全体を複数のパッチに分割して
- パッチ単位で本物・偽物を識別し各パッチの真偽値の平均がDiscriminatorの出力とする。

輪郭がぴったりペアになっている教師画像を大量に使用

#ref(): File not found: "pix2pix.png" at page "敵対的生成ネットワーク（GAN）"

https://benrishi-ai.com/pix2pix02/

出力の例
#ref(): File not found: "pix2pix2.png" at page "敵対的生成ネットワーク（GAN）"

L1 / cGAN / L1+cGANの比較ですL1+cGANが一番上手く生成できる（L1はL1正則化を、cGANはU-Netを用いる場合）。
#ref(): File not found: "pix2pix3.png" at page "敵対的生成ネットワーク（GAN）"

CycleGAN †

GANベースのスタイル変換モデル
教師画像の輪郭（形状・位置）はバラバラで良い。

参考 †

YouTube? †

AI教室 AIRS-Lab †

https://www.youtube.com/playlist?list=PLcd5jOpoEDGBDqiRMS4eqkfBwl28ixRYc