![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfrastructure.osscons.jp]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。 -[[戻る>DS]] --[[G検定：試験対策]] --E資格：試験対策 *目次 [#g9b4fe7a] #contents *概要 [#c21c806a] 資格取得：2024/9 **[[実施概要>DS#wbf2ef30]] [#a9b1645a] **[[シラバス>DS#abc69387]]の変更 [#o177dba4] -頻繁に改定されているので公式情報をチェックする。 --https://www.jdla.org/certificate/engineer/ --https://note.com/tks849/n/n0459c72571b6 -AIの分野は技術進歩が活発では頻繁に変更されているため。 --[[認定プログラム>#t6776534]]に含まれるが試験で出題されない「グレー網掛：オプション（出題対象外）」が存在する。 --以下は、1.0-1.1で出題範囲から削除された項目だが、[[認定プログラム>#t6776534]]によっては教材から「削除していない」。 【応用数学】 ◆線形代数 ◇特異値分解 【機械学習】 ◆機械学習の基礎 ◇教師あり学習アルゴリズム ◇教師なし学習アルゴリズム ◇確率的勾配降下法 【深層学習】 ◆順伝播型ネットワーク ◇アーキテクチャの設計 ◇誤差逆伝搬法およびその他の微分アルゴリズム ※以下のみ ・全結合 MLP での誤差逆伝搬法 ◆深層モデルのための最適化 ◇基本的なアルゴリズム ※以下のみ ・ネステロフのモメンタム ◆畳み込みネットワーク ◇構造出力 ◇データの種類 ◇効率的な畳み込みアルゴリズム ◆回帰結合型ニューラルネットワークと再帰的ネットワーク ◇回帰結合型のニューラルネットワーク ※以下のみ ・教師強制と出力回帰のあるネットワーク ・有向グラフィカルモデルとしての回帰結合型のネットワーク ・RNNを使った文脈で条件付けされた系列モデリング ◇深層回帰結合型のネットワーク ◇再帰型ニューラルネットワーク ◇複数時間スケールのための Leaky ユニットとその他の手法 ※以下のみ ・時間方向にスキップ接続を追加 ・接続の削除 ◆深層学習の適応方法 ◇画像認識 ・VGG **学習コンテンツ [#y31d734b] -全般的に熟れていない印象があり、 -初学者が知っておくべき重要なポイントを理解できたのが、わりと後半だった。 --機械学習、深層学習ともに、AIは、逆問題的に処理する（学習して推論する）。 --機械学習、深層学習の学習では、主に、データの分布や、確率分布を学習している。 --順問題だと、すべての因果関係を知っている必要がある。 ---因果関係が複雑な問題の場合は、コレは現実的ではない。 ---逆問題の場合、トレンド（因果関係中の前提条件相当）が変わったら再学習すれば良い。 --学習は、関数による近似で行っている。この近似を数理最適化やパラメタ推定と呼ぶ。 ---[[代表的な数理最適化やパラメタ推定には、最小二乗法、最尤法、ベイズ法などがある。>機械学習の理論#r91e67ac]] ---機械学習には、関数で近似する以外の様々なアルゴリズム（木、SVM、クラスタリング、主成分分析）もあるので、この限りではない。 --深層学習 ---のニューラルネットは、この関数に該当するが、合成関数による表現力と、誤差逆伝播法による計算可能性を併せ持っているのが特徴。 ---の特徴は、非構造データからの特徴量抽出をニューラルネットの多層化された合成関数を通過する中で自動的に行う点にある（CNN→畳み込み、LM→アテンション）。 -Q:「ChatGPTはなぜ、人が話す命令を理解して回答できるのか？」~ （関数の近似と言う理解ではピンとこない）~ A:「言語モデルはの確率的に次単語予測を行う生成モデルだから。」 **[[認定プログラム>#t6776534]] [#o64fe056] について思う事。 ***コンテンツ [#afef82bf] -認定プログラムによっては内容が異なると思われ、不安がある。 -認定プログラムのコンテンツでは理解できずネットを参照している時間が長かった。 -認定プログラムを完了してからシラバスを眺めても解らないモノが多々ある状態。 -認定プログラムを完了してから[[黒本>#b5c97cd9]]を眺めても解らない問題が多々ある状態。 -認定プログラムはシラバスの「グレー網掛：オプション（出題対象外）」も含んでいる。 -認定プログラムには試験に出ないプログラム実習も長時間あり、足切り的な意味もありそう。~ （ただし、実務的にはプログラム実習の方が圧倒的に役に立つが） ***認定の感想 [#jdd82b99] -以下の様な感想がWeb上にあり、所詮は足切り用と言う感もある。 --値段相応なのか、資料は統一性が無く、突貫でかき集めたような内容。 --2業者のプログラムを受講したが、業者次第で、網羅性が異なっている。 --終了試験、終了試験直後の状況は3-4割の正答率 ---事例A：認定プログラム終了試験では初見で解ける問題が3割程度という感触だった。 ---事例B：認定プログラム修了後に[[黒本>#b5c97cd9]]をやったら正答率は5割に届かない壊滅的な理解度だった。 ---事例C：認定プログラムは修了できたものの、E資格の[[黒本>#b5c97cd9]]をやった結果、~ 正答率が4割程度かつ、回答を見ても理解に時間がかかるといった絶望的な状況。 -特に、認定プログラム終了時に足りないと感じている部分~ --応用数学（%%逆行列、固有値、特異値%%、ベイズ統計、情報量系） ---講義を聞いたダケだと計算・得点できない。 ---修了試験～本試験対策でようやく暗記スべき計算の手順を見い出せる。 ---更にネット上で勉強を進めると概念的にも理解できるようになってくる。 --深層学習 ---基礎のDNN、CNN、RNNなどの基本要素~ ・認定プログラムのコンテンツ側が丁寧に説明しているかと言えばそうではない。~ ・コンテンツだけでは心もとないのでカサゴの本を使って理解するもソレだけでは得点できない。~ ・例えば、CNNの[[im2col>#q3f9e8cf]]の問題などは本試験対策として象徴的ではある（しかし私が受験した時は出題されなかった笑）。 ---高難易度の問は想定問題と独自学習の対策の併用が必要？~ ・言語モデルやTransformerについては深く理解したが、其々にソレだけのコストを払うのは難しそう。~ ・高度なモデル、物体検出系、領域検出系、AE系、GAN系、深層強化学習系~ ・その他モデル、GNN、%%GCN%%、距離学習、%%メタ学習%%。 --認定プログラム中の「試験対策」は[[黒本>#b5c97cd9]]より内容が圧倒的に薄い。 ***修了者ナンバー [#e2f56eb9] 認定プログラムを完了すると入手できるはずだが、e-learningが完了していても自動的に発行されないものが多いので注意する。 -ある認定プログラムでは、e-learning完了後にWeb上の試験に合格して修了者ナンバー依頼を出す。 -ある認定プログラムでは、e-learningの巻末にある認定テストに合格するだけではなく、レポート提出なども必要で紛らわしい。 -修了者ナンバーは直近の試験日に合わせると、認定プログラム終了の１ヶ月前位に全要件を満たして申請する必要がある。 -認定プログラム完了後の4択試験の正答率が3-4割と考えると、１ヶ月前認定を受け１ヶ月で対策するスケジュールは難しい。 ※ 余談だが2024/2に取得した修了者ナンバーは3万5千番代だったが合格者数は、8千人未満で、認定取得も、資格取得していない人が相当数居る事が解る。~ -資格合格率は6割程度で、その値を使用して計算すると、2万人以上は合格者が居てもおかしくはないが、実際は、認定者の2(.2)割の8千人程度に留まっている。~ -実際に、認定取得後、[[黒本>#b5c97cd9]]チャレンジしても、3-4割程度しか得点できないので、更にココから、1か月程度の学習が必要になる[[黒本>#b5c97cd9]]周回が必要になるので、受験していない人も多そう。 **試験対策 [#k7e003a3] ***[[G検定>G検定：試験対策#t6b79a11]]と異なる点 [#kb29a898] -試験はCBTでありググれないので暗記が必要な所は暗記が必要になる。 -[[G検定>G検定：試験対策#t6b79a11]]と同じ４択だが、過去問が公開されていない。 -数学的なバックグラウンド（理解）を持っていないと、学習に時間がかかる。 --が、高校数学までの数学知識の一部、大学教養レベルで、文系でもなんとなかる。 --が、深い下位スタックには理工系の大学数学レベルの知識が必要になる部分もある。 --ただ、試験は4択なので、概念的、上位スタックを理解しておけば回答は可能。 --数理最適化の部分を高校数学までの知識で理解し、さらに高度な部分は概念的理解にとどまる印象。 -範囲は[[G検定>G検定：試験対策#t6b79a11]]より狭いが（思ったより広く且つ）深い。 --故に体積（面積？）的にはE資格の方が大きく、且つ、難易度は高い印象。 --実務で使用しない数学的理解やライブラリ内部の実装も問われる。 --更に高難易度の問が多いので、対策以前の勉強自体も想定問題が中心になる。~ （通常、下位スタックを網羅的に学習するコンテンツは提供されておらず、また、時間的な制約で出来ない）。 ***勉強方法 [#yd9da5ac] -シラバスに沿った学習は、先ずは、[[認定プログラム>#t6776534]]で行うことになる。 --改定タイミングに依存するが[[黒本>#b5c97cd9]]より[[認定プログラム>#t6776534]]の方が最新のシラバスに沿っている。 --著名な対策業者書籍の[[黒本>#b5c97cd9]]は問題提示後に各問題の解説を行うスタイルになっている。 -[[認定プログラム>#t6776534]]のコンテンツ、修了試験、模擬試験は別物と考えた方が良い。 --オススメの試験の勉強方法は[[黒本>#b5c97cd9]]を解く事で、講座は模擬試験を除き復習はオススメされていない。 -過去問が公開されていないので過去問対策はできない（[[認定プログラム>#t6776534]]付属の模擬試験は可能）。 --[[認定プログラム>#t6776534]]で認定を取った後は、以下を留意して[[黒本>#b5c97cd9]]での試験対策を行う。 ---認定プログラムのコンテンツはシラバスの「グレー網掛：オプション（出題対象外）」も含んでいる。 ---認定プログラム中の「模擬試験」は[[黒本>#b5c97cd9]]より内容が薄く解説も十分でない。 ---認定プログラム中の「模擬試験」は[[黒本>#b5c97cd9]]より最新動向が反映されている。 ***[[黒本>#b5c97cd9]]での試験対策 [#d04817ab] -シラバスの出題対象外を除いて例題を解いていく。 -[[黒本>#b5c97cd9]]には想定問題・模擬試験が収録されている。 -想定問題・模擬試験という体裁だが、体系的かつ重要ポイントが抑えてある。 -3・4周やれば十分合格できる。7周で100%に到達するらしい。 --1周、%%20時間%%1ヶ月程度、後半は%%3時間%%半日程度で1周できるらしい。 --その状態で正解率は80-90%弱で合格（合格ライン65%）（...と言われていたが、過去形かもしれない）。 -最近は、[[黒本>#b5c97cd9]]からの出題が減り、[[認定プログラム>#t6776534]]からの出題が増えているらしい。~ --シラバスの変更に[[黒本>#b5c97cd9]]が追い付いていない（高度な深層学習の問題が増えている）。 --2022年8月の時点で問題集第2版（2022年2月以前の範囲）がカバーしていたのは全体の60～70％ ***Python [#c683a001] について、 -[[黒本>#b5c97cd9]]の巻末の知識集が役立つ。 -行列演算がキーとなる。axisの方向など。 ***その他 [#ac2b5c64] -新シラバスの、[[認定プログラム>#t6776534]]や[[黒本>#b5c97cd9]]の、カバー範囲外はどの様に勉強するか？ --シラバスの変更に[[黒本>#b5c97cd9]]が追い付いていない。 --[[認定プログラム>#t6776534]]の模擬試験も、シラバス変更がされた場合はどうするか？ --（私は丁度、[[認定プログラム>#t6776534]]完了後、シラバス変更を跨いで受験した） -ぶっつけ本番で捻りが入ったケース（畳み込みの工夫によるパラメタ数の削減 → 計算量の削減 問題）は対応困難。 -過去問なし、シラバス変更などを考えると、過去問でなくても模擬試験にアクセスできると良いのだが、なかなか無いのが実情。 **数学には [#d533a0a0] ビビらなくて良い。 ***[[基礎>#sa8fae77]] [#p0952ae6] シラバスにはない。 -微分 -行列計算 ***[[応用>#o35f8483]] [#p0952ae6] 応用以降はシラバスにある。 ＜行列＞ -行列計算は機械学習・深層学習で必要。 -機械学習の簡単な最小二乗法は逆行列で解ける。 -深層学習の順伝播、逆伝播は行列計算の塊。 -固有値・特異値分解 --固有値分解 ---主成分分析（PCA） ---グラフベースのクラスタリング ---スペクトルクラスタリング --特異値分解 ---主成分分析（PCA） ---データ圧縮 ---協調フィルタリング ＜[[最適化>機械学習の理論#r91e67ac]]＞ -最小二乗法はそれほど難しくはないが、 -最尤法とベイズの定理についても理解しておくこと。 ***数式 [#l14d8bb0] -先ず、計算方法を示す数式もあるが、そうでないモノも多い。 -また、高校数学では解かないといけないが、解くものでないモノも多い。 -多くの式は実際に計算するものではないので暗記すれば良いが（4択で計算している時間もない）、~ 記号の羅列を暗記するのは難いので、式の意味を理解したり、式の導出を行ったりすることで覚える。 -数式は自然言語で数行に渡る説明を一目で示したもの。（リメディアル教育コンテンツでも方程式＝説明）~ プログラム実装の土台となっている数学的な理論を図示したグランド・デザイン的なモノになっている。 --数式の意味が理解できる ≒ 設計を理解できる。 --数式の意味が理解できる ≒ プログラムを実装できる。 ***式の導出 [#e2ef132e] -式の導出については、基本的な定理を知っていれば導出できるケースが多い。 -GPTは数式の計算過程も教えてくれるので、数式をコピペして質問すると良い。 -生成AI系言語モデル（GPTなど）は数式の計算過程も教えてくれるので、数式をコピペして質問すると良い。 --TeXやPPTで記述した式をコピペすれば式を理解してくれる。 --加えて計算過程を示せと命令すれば、計算過程を教えてくれる。 ***全体の理解 [#p1f754b3] -...には数式（理論）⇔ 設計図（組立）⇔ プログラム（実装）が必要。 --例えば、CNNの畳み込みを数式で記載することはできる。 --ただし、それぞれの要素自体の説明には自然言語が必要になる。 --また、それぞれの要素の関連の説明にも自然言語が必要になる。 --更に、実際の実装についても、自然言語（＋図表）による説明が必要になる。 --例えば、[[im2col>#q3f9e8cf]]で空間的なイメージや実装の理解が困難な場合、~ （例えば高次元配列の次元の入換や計算量を減らすためのトリッキーな実装）~ 図表でも難しいので、自然言語の脚注で対応することになる。~ -...と言う事は、即ち自然言語の説明を読めってことだが、 --行間なく自然言語での説明が記述されているコンテンツも少ない。 ---（今の所、）数式については[[認定プログラム>#t6776534]]の説明は全然ダメ。 ---ググって動画やブログを掘り当ててナントカ理解するような状況。 --なお、自分で解読するには以下で行うようだが難易度が高い。~ （AIcia Solid Project曰く以下の試行で解読可能とのことだが） ---特別な値を代入してみる。 ---増減を考える。 ---極限を考える。 --昨今、生成AIが使えるようになってきているので、 ---コレに数式を説明させるとよい。 ---TeXやPPTで記述した式をコピペすれば式を理解してくれる。 ***高度なモデル [#h4703990] -得に、VAEやGANなどの生成モデルの数式は、理論の雰囲気を掴む程度。 -また、強化学習系は難しいものが多い。[[黒本>#b5c97cd9]]に丸暗記と書かれているものも。 ***そもそも数式とは？ [#y9687497] -ChatGPTに質問するとよい。~ プロンプト「そもそも数式とは？」 -更に回答から認識を確認する。 --プロンプト ---数式は、人間は理論を自然言語や図表を使用して説明するが、それだと非常に時間がかかるので、記号化し効率を高めていると言えますか？ ---また、公式の導出などの過程を考慮すると、下位スタックをブラックボックス化して再利用して効率を向上させていると言えますか？ --ChatGPT: ---はい、まさにおっしゃる通りです。あなたの考え方は非常に本質的で、数学や数式の存在理由・構造的性質をよく捉えています。以下にそれを整理して説明します。 ---（中略） ---あなたの問いに対する答えは明確に 「はい」 です。この考えは、数学をただの計算技術ではなく、高度に構造化された知的インフラとして理解するうえで非常に重要です。 *詳細 [#zcfefc89] **[[数学的基礎>DS：数学的基礎]] [#sa8fae77] シラバスにはない。 ***[[方程式>DS：数学的基礎#j3fee0e0]] [#l20528d2] ***[[微分・積分>DS：数学的基礎#lf3eb63f]] [#vee560af] ***[[微分・偏微分>DS：数学的基礎#m7396d67]] [#id1afb9f] **応用数学 [#o35f8483] -出題量内訳 10% -約9割正解が目標 ***[[線形代数>DS：数学的基礎#g24ed58a]] [#jb4c4e7e] -行列計算 --[[逆行列>DS：数学的基礎 - 線形代数#f43a484c]] --[[固有値>DS：数学的基礎 - 線形代数#m9ae68cd]]・[[特異値>DS：数学的基礎 - 線形代数#eb2ec602]]分解 ***確率分布 [#jb618cea] -基礎 --[[確率・統計>DS：数学的基礎#p50f0ad2]] --[[記述統計･推計統計>統計解析#ye8cca29]] --[[統計学と機械学習>機械学習（machine learning）#j2c969ca]] --[[期待値（連続、離散）>統計解析#uc4eb504]]、 --[[分散>統計解析#m656dd23]]、[[共分散>統計解析#bad01586]] --各種の分布 ---[[ベルヌーイ分布>統計解析#aa908967]] ---[[正規分布（ガウス分布）>統計解析#ef7464d6]] ***パラメタ推定 [#h5549d84] -[[誤差関数、平均二乗誤差、最小二乗法>機械学習の理論#k0b12fbe]] -[[尤度関数、対数尤度、最尤推定>機械学習の理論#a78d0b4a]] -[[ベイズ則、ベイズ推定>ベイズ統計#za029df0]] -MAP推定 ***[[機械学習・情報理論>機械学習（machine learning）#z83dd630]] [#n7c05637] -自己情報量 -エントロピー ≒ 平均情報量 ≒ シャノン・エントロピー -交差エントロピー（クロスエントロピー）→ [[対数尤度関数>#h5549d84]] -結合エントロピー、条件付きエントロピー、相互情報量 -KLダイバージェンス（相対エントロピー、KL情報量）、JSダイバージェンス **機械学習 [#bc5dcff9] -出題量内訳 35% -約9割正解が目標 ***[[機械学習の概観>機械学習（machine learning）]] [#nf0b5fcd] [[機械学習、教師あり学習、教師なし学習、半教師あり学習>機械学習（machine learning）#aeb76d7f]] ***[[機械学習の最適化>機械学習の理論#r91e67ac]] [#s6c11a0d] （[[パラメタ推定>#h5549d84]]） ***パターン認識 [#ob190e80] -[[クラスタ>統計解析#df844c06]] -[[正則化>統計解析#i38c7fea]] ***[[アルゴリズム>統計解析#lcaf7a28]] [#p062033f] ***学習上の課題点 [#o01963da] -[[過少適合>機械学習（machine learning）#l377f5cd]]・[[過剰適合>機械学習（machine learning）#l377f5cd]] -[[独立同時分布>機械学習（machine learning）#o0d1539c]]・[[正則化回帰>統計解析#i38c7fea]] -[[次元の呪い>G検定：試験対策#x917bfed]] -[[グリッド・サーチ、ランダム・サーチ>機械学習（machine learning）#k6cdefb0]] -[[パラメトリック・モデル、ノンパラメトリック・モデル>機械学習（machine learning）#h574b7c5]] ***検証集合 [#sc147f4a] -[[訓練データ・検証データ・テストデータ>機械学習（machine learning）#za50e7d8]]：[[訓練誤差、汎化誤差>深層学習のテクニック#q2b741ae]] -[[交差検証：ホールドアウト法、k-分割交差検証法>データマイニング（DM）- CRISP-DM#o1f41712]] ***性能指標 [#v75e884d] -[[RMSE/MSE、MAE>データマイニング（DM）- CRISP-DM#uf759972]]（[[損失関数でもある>データマイニング（DM）- Python - CNN#bbaf9696]]） -[[混同行列（正解率(Accuracy)、適合率(Precision)、再現率(Recall)、F値）>データマイニング（DM）- CRISP-DM#uf759972]] -[[ROC曲線、AUC（ROC 曲線の下部分の面積）>データマイニング（DM）- CRISP-DM#uf759972]] **深層学習（[[DNN>ニューラルネットワーク#ge448516]]） [#g6e0f9fd] 深層学習（[[DNN>#g6e0f9fd]]、[[CNN>#m6ceff0f]]、[[RNN>#f41a0407]]）合わせて -出題量内訳 50% -約5割正解が目標 ***[[多層パーセプトロン>パーセプトロン]] [#t19a8cab] 全結合層、重み、バイアス ***[[活性化関数>ニューラルネットワーク#m155734b]] [#cd567303] -[[（中間層の）活性化関数>ニューラルネットワーク#m155734b]] -[[出力層の活性化関数>ニューラルネットワーク#zdf50e01]]と[[損失関数（誤差関数）>#w21703e3]] ***[[損失関数（誤差関数）>ニューラルネットワーク（学習）#l7995afd]] [#w21703e3] ***[[勾配降下法>ニューラルネットワーク（学習）#v7a3cd9d]] [#reee1719] [[アルゴリズム>深層学習のテクニック#ma318ba7]] ***[[誤差逆伝播法>深層学習の誤差逆伝播法]] [#xaaed09c] [[計算グラフ>深層学習の誤差逆伝播法#nb05eda0]]、[[合成関数の偏微分、連鎖律>深層学習の誤差逆伝播法#y13d4b28]]、[[勾配消失>ニューラルネットワーク#id252e38]] ***[[ミニバッチ学習>ニューラルネットワーク（学習）#h15bc15d]] [#dc1f95fc] ***[[重みの初期値>深層学習のテクニック#o35805ae]] [#w7bb6be6] ***正規化 [#ud8e7974] -[[データ正規化>データマイニング（DM）- CRISP-DM#v9d19242]] -[[バッチ正規化>深層学習のテクニック#t3c6ab88]]~ [[重みの初期値>#w7bb6be6]]よりも汎用的で内部共変量シフトを防ぐ。 ***[[ハイパーパラメタとチューニング>深層学習のテクニック#g80ab15e]] [#f5e71c5e] ＝性能向上 ***[[過学習対策>ニューラルネットワーク#c342ee03]] [#f5e71c5e] ＝「汎化」性能向上 -[[データ拡張>深層学習のテクニック#l8a79d61]] -[[出力の分布調整>深層学習のテクニック#rf986b56]]~ --[[重みの初期値>#w7bb6be6]] --[[データ正規化、バッチ正規化>#ud8e7974]] -[[機械学習と同様のアンサンブル手法>深層学習のテクニック#v44f2bbc]] -正則化 --[[機械学習と同様の正則化>深層学習のテクニック#q7425431]] --[[深層学習での陰的正則化>深層学習のテクニック#q1834025]] ***その他 [#ve654ee9] -（特徴）[[表現学習>人工知能（AI）#ubeaa11d]]~ -学習済みモデルに手を加える。 --[[転移学習>深層学習のテクニック#ebe9edcc]] --[[ファイン・チューニング>深層学習のテクニック#ea94272b]] -スパース表現 --[[L1正則化>#f5e71c5e]] --[[ドロップアウト（Dropout）>深層学習のテクニック#hf3c7a28]] **深層学習（[[CNN>畳み込みニューラルネットワーク（CNN）]]） [#m6ceff0f] 深層学習（[[DNN>#g6e0f9fd]]、[[CNN>#m6ceff0f]]、[[RNN>#f41a0407]]）合わせて -出題量内訳 50% -約5割正解が目標 ***[[畳み込み>畳み込みニューラルネットワーク（CNN）#wf1a76fb]] [#e03b287b] ***[[プーリング>畳み込みニューラルネットワーク（CNN）#j79f3aa4]] [#idc0b920] ***[[データ集合の拡張>深層学習のテクニック#l8a79d61]] [#kae4be85] -[[TensorFlow・Keras]]では[[OpenCV]]で実装 -[[PyTorch]]ではtorchvisionで実装 ***[[CNNでの正規化>データマイニング（DM）- Python - CNN#yb34decb]] [#l4568d81] ***im2col実装 [#q3f9e8cf] **深層学習（[[RNN>再帰型ニューラルネットワーク（RNN）]]） [#f41a0407] 深層学習（[[DNN>#g6e0f9fd]]、[[CNN>#m6ceff0f]]、[[RNN>#f41a0407]]）合わせて -出題量内訳 50% -約5割正解が目標 ***[[RNNの内容>再帰型ニューラルネットワーク（RNN）#z103dfa9]] [#t3bdf0a1] ***[[長期依存性の課題>再帰型ニューラルネットワーク（RNN）#e3900069]] [#t1f3d4f7] ***[[Sequence-to-Sequence>再帰型ニューラルネットワーク（RNN）#vca3fbb0]] [#ec5f57b0] ***[[RNNの実装>再帰型ニューラルネットワーク（RNN）#uc5ee5c5]] [#qbe45ce1] ***[[RNN Encoder-Decoder>再帰型ニューラルネットワーク（RNN）#ye7bfc6b]] [#ebbd7934] ***[[Bidirectional RNN（双方向 RNN）>再帰型ニューラルネットワーク（RNN）#o8fd0b3d]] [#ye06f4c1] ***[[ゲート付きRNN(LSTM)>長短期記憶ニューラルネットワーク（LSTM）]] [#q3980032] ***[[ゲート付きRNN(GRU)>長短期記憶ニューラルネットワーク（LSTM）]] [#i426ba2b] **分野別の深層学習 [#k06c1892] ***[[画像処理>画像処理とコンピュータビジョン（AI）]] [#da2b855a] -[[物体識別>画像処理とコンピュータビジョン（物体識別）]] -[[物体検出>画像処理とコンピュータビジョン（物体検出）]] -[[領域検出>画像処理とコンピュータビジョン（領域検出）]] -[[特定領域検出>画像処理とコンピュータビジョン（特定領域検出）]] -指標 --[[Intersection-over-Union (IoU)>画像処理とコンピュータビジョン（物体検出）]] --[[mean Average Precision(mAP)>画像処理とコンピュータビジョン（物体検出）]] ***[[言語処理>言語処理（AI）]] [#b0fc0fde] -[[ベクトル化>言語処理（AI）#k2009143]] -[[NLPモデル>言語処理（AI）#vff8ca8d]] -[[LLM>言語処理（AI）#x6414d9b]] **高度なモデル [#n2e437d6] ***[[AE>自己符号化器（AE：オートエンコーダ）]] [#g650816a] ***[[GAN>敵対的生成ネットワーク（GAN）]] [#p2523ca2] ***GNN [#nf485da9] ***GCN [#le84e666] ***距離学習 [#q41c2875] ***メタ学習 [#q4005d5b] ***[[深層強化学習>強化学習（Reinforcement Learning）#s6c0e580]] [#y112f6cc] **[[深層学習の説明性（XAI）>データマイニング（DM）- CRISP-DM#e5a7f1fc]] [#cc16adaa] ***CAM、Grad-CAM [#pa1017a9] ***LIME、SHAP [#s46b227c] **その他 [#i595f38f] ***Few / One / Zero-Shot [#oa0d4921] -一般的なFew / One / Zero-Shot learningは[[転移学習・ファインチューニング>深層学習のテクニック#ebe9edcc]]の延長上。 -[[GPT-3におけるFew / One / Zero-Shot>テキスト生成系（Transformer系）#s981eea4]]は、インコンテキスト・ラーニングの延長上。 **[[開発・運用環境>深層学習（deep learning）#ad2081d8]] [#pa4b3f8c] -出題量内訳 5% -約9割正解が目標 ***[[モデルの軽量化>深層学習（deep learning）#c83ee43f]] [#o49290a0] -プルーニング（枝刈り）、 -蒸留(Distillation) -量子化（Quantization） ***[[分散深層学習>深層学習（deep learning）#wdb9491a]] [#uda0a624] -モデル並列化 -データ並列化 ***[[ハード・システム基盤>深層学習（deep learning）#z56e0733]] [#hcb7c8ba] *参考 [#p00f5076] -E資格試験の4分野の出題傾向とその勉強方法｜tks~ https://note.com/tks849/n/n40ed5222c6a4 -【JDLA E資格2023#2】受験の振り返り - Goodな生活~ https://www.goodnalife.com/entry/2023/08/30/082816 -深層学習についてのレポート（E資格・黒本対策）~ https://1drv.ms/p/s!Amfs5caPP9r5kSqPW2ZsZfWm8DKm **認定プログラム [#t6776534] 金額が安いプログラムはそれなり。 **認定プログラム事業者 [#we81a8d3] ***AI_STANDARD [#yf5c762a] -実際、受けた。 -廉価だった。 -実装編は良かった。 -解説は寄せ集め感があった。 ***Study-AI [#kfb3874a] -実際、受けた。 -法人向けのもので高価だった。 -実装編はあまり良くなかった。 -ベースは[[ラビットチャレンジ>#xe115ddc]]のHG専用コース -[[ラビットチャレンジ>#xe115ddc]]は情報が多くて良い。 -解説は、良いものもあるが、属人的でバラツキがある感じ。 -振り返って全体的に難しいと感じるのは解説が良くないせい。 ***ラビットチャレンジ [#xe115ddc] -個人でやるならコレの一般コースが良さそう。 -高額なプレミアムコースは[[上記の法人向けのモノ>#kfb3874a]]だと思うが、~ 「質問対応あり」と言っても、それは、あまり活用しなかった。 ***AI研究所 [#wa87c3b0] 公開情報が多かったのでサンプルとして -E資格の過去問はあるの？E資格の過去問状況や難易度と試験対策の方法まとめ~ https://ai-kenkyujo.com/certification/e-shikaku/eshikaku-kakomon/ -E資格の難易度は高い？理由や原因から難易度の対策方法を知ろう~ https://ai-kenkyujo.com/certification/e-shikaku/eshikaku-nanido/ -E資格のおすすめ参考書5選！E資格を勉強するなら参考書を上手に使え！~ https://ai-kenkyujo.com/certification/e-shikaku/eshikaku-sankousyo/ -E資格のシラバスが2022年8月度より大きく改定！ 新シラバスの変更点を徹底解説~ https://ai-kenkyujo.com/certification/e-shikaku/ai-eshikaku-syllabus/ ***事業者一覧 [#x33f58bd] 他にもいろいろありそう -E資格認定プログラム事業者一覧 - 一般社団法人日本ディープラーニング協会【公式】~ https://www.jdla.org/certificate/engineer/programs/bizlist/ **YouTube [#ea6f312a] -LIVE 日本ディープラーニング協会主催「E資格ガイダンス」~ https://www.youtube.com/watch?v=uVUNDcX75DQ -E資格受験予定者必見！合格者が語るE資格の勉強方法~ https://www.youtube.com/watch?v=mKL6ga1tWIc -【AVILEN】E資格合格者インタビュー~ https://www.youtube.com/playlist?list=PLyhf9sfzdojh5GaFTq7q82F0XKL-u66iZ -中学生から分かるAI数学[E資格対応]~ https://www.youtube.com/playlist?list=PLWlPLLc6IHrjupzHbgktYIcgf1rjeh2xO **Qiita [#v2363eb6] ***E資格 [#p7cdbf8a] -「E資格」の検索結果~ https://qiita.com/search?q=E%E8%B3%87%E6%A0%BC -E資格を取得した話~ https://qiita.com/neppysan/items/8256c20d413d466863e2 -e資格おすすめ書籍~ https://qiita.com/rw-nue/items/8cd7c6d90905a81f05db -E資格対策の暗記シート~ https://qiita.com/sshuv/items/6a0b2a0bfb1dd61d0d30 -E資格（2022#2）に合格するため、残り1ヶ月でできること #機械学習~ https://qiita.com/h-k-nyosu/items/b0623432ae1449a9d416 ***jun40vn [#f2d710cf] -機械学習の基礎 --１ 微分・積分メモ~ https://qiita.com/jun40vn/items/f12fcbdd242d972ed488 --２ 線形代数メモ~ https://qiita.com/jun40vn/items/15627062d5f1e1dcec2e --３ 確率・統計メモ~ https://qiita.com/jun40vn/items/461cb349ace7f7315bc0 -応用数学 --確率分布~ https://qiita.com/jun40vn/items/3590c8d17648c5f1dfd9 --情報理論~ https://qiita.com/jun40vn/items/0d7582ef3be7101f7f36 -機械学習 --データ前処理~ https://qiita.com/jun40vn/items/c188694217ad9788800f --回帰モデルの性能評価を行ってみる~ https://qiita.com/jun40vn/items/1b63bfe3bda5b0c78d94 --分類モデルの性能評価を行ってみる~ https://qiita.com/jun40vn/items/6870f8f574d1dac51547 --ノルム、正則化~ https://qiita.com/jun40vn/items/8cb3de6b14d80e1f2220 -深層学習 --クロスエントロピー~ https://qiita.com/jun40vn/items/6546f06f9a1a623198fd --活性化関数たち~ https://qiita.com/jun40vn/items/2ca86ab6b821ae20086c --ソフトマックス関数~ https://qiita.com/jun40vn/items/fc805ccb273da108ad96 --最適化手法~ https://qiita.com/jun40vn/items/644a8d3a43cdaed59aa3 --確率的勾配降下法(SGD)のシミュレーション~ https://qiita.com/jun40vn/items/bf5125290fef5d7320da --誤差逆伝播法~ https://qiita.com/jun40vn/items/0dd88f71fb7f2c73b3f7 --行列積の誤差逆伝播~ https://qiita.com/jun40vn/items/de5ddeca4962edbd1bc2 --シグモイド関数の誤差逆伝播~ https://qiita.com/jun40vn/items/4469b947d4157cc98c39 --バッチ正規化~ https://qiita.com/jun40vn/items/2105467cea35f179ea45 --正則化の効果を見える化する~ https://qiita.com/jun40vn/items/82d2bd36543a0e8cd1ff --im2colの実装の工夫に驚いた件~ https://qiita.com/jun40vn/items/d2e8711cabc9cfb1e0d5 ***MeiyByeleth [#d5a71e61] （E資格対策） -線形代数 --特異値分解について~ https://qiita.com/MeiyByeleth/items/c0d9859bf37cab4a009a -応用数学 --E資格の確率・統計について~ https://qiita.com/MeiyByeleth/items/ed6525590abfb185b652 --ベイズの定理について~ https://qiita.com/MeiyByeleth/items/4106988e53bd8fdc1a5e --情報理論について~ https://qiita.com/MeiyByeleth/items/6f6caafa59e515f09db9 -機械学習 --E資格の機械学習の基礎について~ https://qiita.com/MeiyByeleth/items/e1e1394a5bfa10e7ce08 --機械学習の流れのまとめ~ https://qiita.com/MeiyByeleth/items/dde7c7b6c631c2e6b784 --検証集合について~ https://qiita.com/MeiyByeleth/items/f30d501da4334b97bcfe --教師あり学習について~ https://qiita.com/MeiyByeleth/items/4015351ef9e56b645969 --教師なし学習について~ https://qiita.com/MeiyByeleth/items/92a852890b88a79f0e82 --ハイパーパラメータの選択について~ https://qiita.com/MeiyByeleth/items/beff52446a78521c8dd6 --決定木の違いについて~ https://qiita.com/MeiyByeleth/items/1cdbe3226cdc0f70b358 --強化学習について~ https://qiita.com/MeiyByeleth/items/ea8eba059cc9426231ee -深層学習 --DeepLearningの歴史、学習方法について~ https://qiita.com/MeiyByeleth/items/5b1b8946551103ae74b3 --活性化関数について~ https://qiita.com/MeiyByeleth/items/999cecb68ae384206fcd --softmax with loss Layerの実装~ https://qiita.com/MeiyByeleth/items/f53052a9cad9ece3308a --誤差逆伝播法について~ https://qiita.com/MeiyByeleth/items/5c52d9feeb0bb5f74ae5 --深層モデルの最適化について~ https://qiita.com/MeiyByeleth/items/b8930b8afa55b1244d95 --畳み込みネットワーク(CNN)について~ https://qiita.com/MeiyByeleth/items/5b210831cd866a7b42cf --深層学習の適用方法：画像認識編~ https://qiita.com/MeiyByeleth/items/bb14700b4324e2908ddf --回帰結合型ニューラルネットワーク(RNN)について~ https://qiita.com/MeiyByeleth/items/f7b359876f693ea8e480 --GRUの覚え方~ https://qiita.com/MeiyByeleth/items/4b306bee7db173899af5 --RNN vs LSTM vs GRU~ https://qiita.com/MeiyByeleth/items/65959ad543dfe39f3e99 --深層学習の適用方法：自然言語処理編~ https://qiita.com/MeiyByeleth/items/a3c5a9a074d88241b4bc --生成モデルについて~ https://qiita.com/MeiyByeleth/items/050ca769dae387e8019a -開発・運用環境 --開発・運用環境について~ https://qiita.com/MeiyByeleth/items/ba444684f761b830d4ea -E資格の予想問題を作ってみる --数学編~ https://qiita.com/MeiyByeleth/items/e71c631185cd5d39a705 --機械学習編~ https://qiita.com/MeiyByeleth/items/2fac526bbcab07ece4d7 --深層学習編~ https://qiita.com/MeiyByeleth/items/c9256c029852ab3a9487 ***深層学習 Day n系 [#a4183f72] -https://qiita.com/Helvetica822 -https://qiita.com/amateur2020 -https://qiita.com/kimura_zzz -https://www.slideshare.net/ssuser60e2a31 **zenn [#v947027e] ***E資格 [#l022beac] https://zenn.dev/search?q=E%25E8%25B3%2587%25E6%25A0%25BC ***robes [#c4407051] -E資格（スクラップ、スレッド形式）~ https://zenn.dev/robes/scraps/ae5f2712d9047a **書籍 [#g43dd7ec] ***[[ゼロつく>深層学習（deep learning）#w79e9c10]] [#g2fc0d03] （ゼロから作るDeep Learning） -本格的な入門書 -外部のライブラリに頼らずPythonでゼロからディープラーニングを作る -これにより、ディープラーニングの原理を学び実装レベルで理解する。 ***黒本 [#b5c97cd9] 徹底攻略ディープラーニングE資格エンジニア問題集 第2版 - インプレスブックス~ https://book.impress.co.jp/books/1120101184 -想定問題・模擬試験が収録。双方に相対的に重厚な解説が付録している。 -黒本で対策すれば合格できる（と言われていた、しかし、過去形かも）。 -問題は「解説 → 問題」ではなく「問題 → 解説」のフォーマットなので、 --シラバスの体系を網羅した対策と言えるかどうか？は疑問が残る。 --（しかも、黒本改定がシラバス改定に追いついておらず古い） --ただし、合格を目標にした場合は、本書での学習効率は良いと思われる。
