敵対的生成ネットワーク（GAN）のバックアップ(No.17) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る（ニューラルネットワーク、画像処理とコンピュータビジョン（AI））
- 一般的なフツーのニューラルネットワーク
- 再帰型ニューラルネットワーク（RNN）
  - 長短期記憶ニューラルネットワーク（LSTM）
  - RNN Encoder-Decoder（Sequence-to-Sequence）
- 生成モデル系のニューラルネットワーク
  - 自己符号化器（AE：オートエンコーダ）
  - テキスト生成系（Transformer系）
  - 敵対的生成ネットワーク（GAN）

目次 †

概要 †

（Generative Adversarial Network: GAN）

特徴 †

本物データと見分けのつかない贋作データを出力する。

教師なし学習で使用される人工知能アルゴリズムの一種

ゼロサムゲームフレームワークで互いに競合する
2つのニューラルネットワークのシステムによって実装される。

イアン・J・グッドフェローによって提案された

2つのニューラルネットワークを競わせながら学習させるアーキテクチャで、
生成モデル側（Generator）と識別モデル側（Discriminator）が学習する。
- Generator
- Discriminator

できること †

データの特徴を抽出して学習し、実在しないデータを生成できる（生成モデル）。

変分オートエンコーダやボルツマンマシンなど
以前からある生成モデルと比べてより鮮明な贋作データの生成が可能。

詳細 †

システム †

#ref(): File not found: "GAN.png" at page "敵対的生成ネットワーク（GAN）"

ttps://cvml-expertguide.net/wp-content/uploads/2021/09/GAN_Adversarial-Training.png

Generator（生成器） †

生成側は識別側を欺こうと学習

入力にランダムなノイズ・ベクトルｚを受け取る。
ランダムなノイズ・ベクトルｚから贋作データを生成する。
Discriminatorが贋作データを本物データと識別するように学習する。
学習が進むにつれどんどん精度の高い贋作データを生成できるようになる。
学習が終わるとGeneratorのみでデータ生成タスクを実行できる。

Discriminator（識別器） †

識別側はより正確に識別しようと学習

本物データとGeneratorの生成した贋作データを受け取る。

入力が本物データである確率を出力する。
- 本物データの場合1に近い値を返す。
- 贋作データの場合0に近い値を返す。

データの真贋を正しく識別するように学習する。
学習が終わるとデータ生成タスクには不要になる。

順伝播と逆伝播 †

GeneratorとDiscriminatorが影響し合って学習を進める。

Generator → Discriminatorと繋げて順伝播するので、
Discriminator → Generatorと繋げて逆伝播するらしい。
- Generatorが学習する際、Discriminatorのパラメタ更新は行わないらしい。
- Discriminatorが学習する際、Generatorのパラメタ更新は行わないらしい。

損失関数 †

2つのネットワーク（GeneratorとDiscriminator）は損失関数を共有することで、学習が効果的に進む。

通常のニューラルネットワークとは違うバイナリ交差エントロピー関数を用いる。

価値関数 †

#ref(): File not found: "1.png" at page "敵対的生成ネットワーク（GAN）"

DCGAN †

（Deep Convolutional GAN）

CNNをGANに取り入れることで画像の生成性能を上昇させたモデル。

数多くのGANのアーキテクチャにはDCGANが基礎として導入されている（？）。

CGAN †

（Conditional GAN）

日本語に訳すと条件付き敵対的生成ネットワーク
GANとの相違点はGeneratorとDiscriminatorの入力に条件ベクトルｙが追加される点
条件ベクトルｙはクラス・ラベルだけでなくどんな様式のデータでも良い。

#ref(): File not found: "CGAN.png" at page "敵対的生成ネットワーク（GAN）"

https://benrishi-ai.com/pix2pix02/

価値関数 †

下記を除いて同じ。

D(x)→D(x|y)
D(G(z))→D(G(z|y))

学習 †

Generator：ｚとｙのベクトル連結
Discriminator：ｙのベクトルではなく、クラス数分の画像（ラベルに対応する画像が白、ソレ以外の画像は黒）。

ソフトウェア、サービス †

pix2pix †

CVPR2017で発表された論文で提案されたGANベースのスタイル変換モデル
- 画像とそれを変換した画像を学習して変換を学習する。
- 以下のようなタスクを処理する。
  - 線画の着色
  - グレースケール画像のRGB画像化
  - 航空写真の地図画像化

内部でU-Netを使用している。
- CGANの応用で条件ベクトルを与える代わりにスタイル変換前の画像を与える。
- GeneratorのネットワークにはSemantic Segmentationで利用されるU-Netを用いるDCGAN。
- Encoder-decoderでは共通の特徴量が欠損し、U-Netを用いることで写真の基本構造を維持できる。

DiscriminatorではPatchGANというアイデアが取り込まれている。
- 判定で画像1枚全体を本物・偽物で識別するのではなく画像全体を複数のパッチに分割して
- パッチ単位で本物・偽物を識別し各パッチの真偽値の平均がDiscriminatorの出力とする。

輪郭がぴったりペアになっている教師画像を大量に使用

#ref(): File not found: "pix2pix.png" at page "敵対的生成ネットワーク（GAN）"

https://benrishi-ai.com/pix2pix02/

出力の例
#ref(): File not found: "pix2pix2.png" at page "敵対的生成ネットワーク（GAN）"

L1 / cGAN / L1+cGANの比較ですL1+cGANが一番上手く生成できる（L1はL1正則化を、cGANはU-Netを用いる場合）。
#ref(): File not found: "pix2pix3.png" at page "敵対的生成ネットワーク（GAN）"

CycleGAN †

GANベースのスタイル変換モデル
教師画像の輪郭（形状・位置）はバラバラで良い。

参考 †

YouTube? †

AI教室 AIRS-Lab †

https://www.youtube.com/playlist?list=PLcd5jOpoEDGBDqiRMS4eqkfBwl28ixRYc