「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †概要 †色々なオプションがある。 XXに関するテクニック †学習に関するテクニック †学習に関する問題点 †勾配(降下法)と誤差逆伝播法 †勾配(降下法) †誤差逆伝播法 †勾配降下法アルゴリズムの選択 †SGD †
MomentumSGD †
NesterovAG †(Nesterov Accelerated Gradient)
AdaGrad? †(Adaptive Gradient)
※ ε = 0.001 RMSprop †(Root Mean Square Propagation)
※ ε = 0.001、β = 0.9 AdaDelta? †
※ β = 0.9 Adam †(ADAptive Moment estimation)
※ ε = 0.001、β1 = 0.9、β2 = 0.999 実装例 †重みの初期値 †重みの初期値戦略 †学習結果はこの初期値に大きく影響される。収束する・しないや、収束の質に影響する。
活性化関数の出力分布 †勾配消失や表現力の制限問題を回避するよう
Xavier、He †活性化関数の出力が広がりを持った分布になるように重みの初期値を設定する。 バッチ正規化 †(Batch Normalization) 概要 †
計算 †(Bはミニバッチの集合的な意味)
実装時 †BatchNormalization?
学習時と推論時 †
ハイパーパラメタとチューニング †選択 †最適化 †過学習を抑止する方法 †データ拡張 †(data augmentation) <画像の場合>
<言語の場合>
<音声の場合>
出力の分布調整 †機械学習と同様のアンサンブル手法 †バギング、ブースティング、ブートストラップ、スタッキング 機械学習と同様の正則化 †機械学習と同様、明示的な正則化の重みの減衰(Weight Decay) 陰的正則化機能 †
ハイパーパラメタとチューニング †早期終了(early stopping) †ドロップアウト(Dropout) †
ドロップコネクト(Dropconnect) †
転移学習 †
概要 †
詳細 †
ファイン・チューニング †学習済みモデルに手を加えて(、重みを初期値し、)、 概要 †転移学習との違いは、既存部分を再学習するかどうか。 詳細 †転移学習との違いに関してのみ言及。
構築方法 †
転移学習とファイン・チューニングの違い †出力層の再学習は共通しているが、 転移学習 †学習済みモデルには手を加えず、学習を行い新たにモデルを作成
ファイン・チューニング †学習済みモデルにも手を加えて、学習を行い新たにモデルを作成
転移学習とファイン・チューニングの実装 †参考 †
|