LLM Engineering：Master AI、Large Language Models＆Agents のバックアップ(No.13)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• LLM Engineering：Master AI、Large Language Models＆Agents へ行く。
  • 1 (2025-07-26 (土) 15:04:21)
  • 2 (2025-07-26 (土) 15:46:32)
  • 3 (2025-07-31 (木) 12:07:47)
  • 4 (2025-08-02 (土) 16:34:13)
  • 5 (2025-08-04 (月) 17:53:02)
  • 6 (2025-08-05 (火) 13:26:33)
  • 7 (2025-08-15 (金) 02:38:23)
  • 8 (2025-08-15 (金) 14:48:57)
  • 9 (2025-08-16 (土) 23:45:51)
  • 10 (2025-08-17 (日) 11:17:22)
  • 11 (2025-08-17 (日) 17:55:15)
  • 12 (2025-08-17 (日) 18:53:13)
  • 13 (2025-08-18 (月) 03:47:12)
  • 14 (2025-08-18 (月) 14:31:23)
  • 15 (2025-08-18 (月) 18:15:34)
  • 16 (2025-08-19 (火) 11:42:04)
  • 17 (2025-08-19 (火) 19:02:19)
  • 18 (2025-08-21 (木) 10:11:26)
  • 19 (2025-08-21 (木) 22:04:27)
  • 20 (2025-08-22 (金) 15:26:28)
  • 21 (2025-08-25 (月) 15:42:00)

---

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る > 教育系
  • LLM Engineering：Master AI、Large Language Models＆Agents
  • The Complete Agentic AI Engineering Course (2025)

目次 †

概要 †

• https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models/
• 日本語タイトル：世界10万人が学んだ講師が教えるLLM開発(日本語字幕)
  https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models-japanese/

このコースは、生成AIと大規模言語モデル（LLM）の世界に飛び込みたいと願う、AIエンジニア、データサイエンティスト、そして開発者を目指す方に最適です。わずか8週間で、実践的なアプリケーションを構築し、最先端の技術を習得することで、AIへの理解を飛躍的に深めることができます。急速に進化するAI業界で、他社との差別化を図るための実践的な経験を積むことができます。ぜひご参加いただき、AIテクノロジーのリーダーへの第一歩を踏み出しましょう！

1. 最初のLLM製品の構築: トップモデルとトランスフォーマーの探索
   企業の Web サイトをインテリジェントにスクレイピングしてナビゲートする AI 搭載のパンフレット ジェネレーターを作成。
2. マルチモーダルChatボットの構築: LLM、 Gradio UI、エージェントの活用
   UI と関数呼び出しを備えた航空会社向けのマルチモーダル顧客サポート エージェントを構築。
3. OSSのGen AI: Hugging Faceを使った自動化ソリューションの構築
   オープンソース モデルとクローズド ソース モデルの両方を使用して、音声から会議の議事録とアクション項目を作成するツールを開発。
4. LLM対決: コード生成とビジネスタスクのためのモデルの評価
   Python コードを最適化された C++ に変換してパフォーマンスを 60,000 倍向上させる AI を作成。
5. RAG をマスターする: ベクトル埋め込みと LangChain を使用した高度なソリューションの構築
   RAG を使用して AI ナレッジ ワーカーを構築し、企業関連のすべての問題の専門家になる。
6. LoRA/QLORAを用いたFrontier大規模言語モデルの微調整
   フロンティア モデルを使用して短い説明から製品の価格を予測します。
7. 価格予測で Frontier と競合できるように、オープンソースモデルを微調整。
   価格予測で Frontier と競合できるように微調整されたオープンソース モデルを実行。
8. モデルと連携した自律マルチエージェントシステムの構築
   モデルと連携してお買い得品を見つけ、特別バーゲンを通知する自律マルチエージェント システムを構築します。

• RAG、微調整、エージェントワークフローなど、LLMソリューションのパフォーマンスを向上させる最新の手法を比較対照します。
• 主要な10のフロンティアLLMと10のオープンソースLLMを比較検討し、与えられたタスクに最適な選択肢を選択できるようになります。

詳細 †

• トレーニング・コンテンツでは良いことを言うがソコから０から学ぶものではなく、知っている人が、ソレを思い出すレベルのモノ。
• 故に、Python、Jupyter Notebook、DNN、Transformer、LLM、Embedding、RAG、ファインチューニングなどについての基礎知識は必要と言える。
• しかし、これらの前提知識（E資格相当）がなくとも、コードを書けるようにするだけの目的で、コンテンツは十分に機能はする。
• 英語版のトランスクリプトは微妙なので日本語版を選択する。と言うか、時間の関係からか、講師はコードの詳細をあまり解説できていない。
• しかし、幸いにも、詳細の解説はGitHub上に実装されているので、Copilotに生成してもらうことで代替できる。講師より詳細に説明してくれる。
• ちなみに講師のローカル環境はMACのM1だが、私は、WindowsのWSL2のUbuntuだった。プロキシ環境下、特にSSLフォワード・プロキシでは少々手こずる可能性がある。
• ちなみに、GPUが必要になるような箇所については、Google Clabを使用している。GPU付きのVMを準備する場合は、コチラ や コチラが参考にはなる。

前提ソフト †

パッケージ †

https://github.com/ed-donner/llm_engineering/blob/main/requirements.txt

python-dotenv
jupyterlab
ipywidgets
requests
numpy
pandas
scipy
scikit-learn
matplotlib
gensim
torch
transformers
tqdm
openai
gradio
langchain
langchain-core
langchain-text-splitters
langchain-openai
langchain-chroma
langchain-community
datasets==3.6.0
matplotlib
google-generativeai
anthropic
chromadb
plotly
jupyter-dash
beautifulsoup4
pydub
modal
ollama
psutil
setuptools
speedtest-cli
sentence_transformers
feedparser
protobuf==3.20.2
wandb

アプリ †

• JupyterLab & Gradio

• Ollama（クライアント）
• Hugging Face（クライアント）

• LangChain
• ChromaDB
• Beautiful Soup

サービス †

• OpenAIなどフロンティア・モデル

• Ollama（サーバー）
• Hugging Face（サーバー）
  • 各種モデルの検索利用
  • モデル・データ保存
  • スペース・エンドポイント

• WandB：学習状況の可視化
• Modal：サーバーレス環境

Week1 †

GPT-4o、Claude 3.5などのフロンティア・モデルを活用し、商用プロジェクトを構築

• https://github.com/ed-donner/llm_engineering/tree/main/week1
• https://github.com/OpenTouryoProject/DxCommon/tree/master/Notebook/path/ed-donner_llm/week1
• https://drive.google.com/drive/folders/1fto2Bu5xPDRJZs1APoGq_xGYpdyLk_HG

Day0 †

Day1に含まれる内容だが、環境構築などが中心なので切り出した。

• 内容
  • WindowsやMACでOllama（C++版LLMをローカルで実行できるプラットフォーム）を使ってローカル環境でLLM（大規模言語モデル）のLlama 3.2を実行、スペイン語学習用の会話を実演。
  • ローカル環境で様々なLLMを試し、特に Qwen2.5の多言語理解力の強さを実感
  • 前提環境（Git、Anaconda or venv&pip、JupyterLab、ChatGPT、Claudeの構築をMAC/Windowsで実演）とサポートの話
  • ChatGPT、Claudeなどの強力なフロンティア・モデルを使うための設定手順（課金方法や、.envファイルを使用し環境変数にAPIキーを設定する手順）

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week1/Guide%20to%20Jupyter.ipynb
  • https://github.com/ed-donner/llm_engineering/blob/main/week1/Intermediate%20Python.ipynb
  • https://github.com/ed-donner/llm_engineering/blob/main/week1/troubleshooting.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week1/Guide%20to%20Jupyter_ja.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week1/Intermediate%20Python_ja.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week1/troubleshooting_ja.ipynb

Day1 †

• 内容
  • ウェブページをBeautifulSoup?でスクレイピングする。
  • これをフロンティア・モデルに入力し要約させる。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week1/day1.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week1/day1_ja.ipynb
  • https://drive.google.com/file/d/1MQSeUp4P-516w9t3KEA4EU4rV-IxGoxp/view

Day2 †

• 内容
  • 様々なフロンティア・モデル、OSSモデル、モデルの利用方法、などについて解説。
  • ローカルモデル Llama を Python から呼び出し、Day1の要約ツールに組み込む

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week1/day2%20EXERCISE.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week1/day2%20EXERCISE_ja.ipynb
  • https://drive.google.com/file/d/12k6OQb0i83Htn_B3SoYAuZWX2JMl9Tl3/view

Day3 †

• 内容
  • 様々なフロンティア・モデルの特徴・違い・強み・弱みを理解し、ビジネスやプロジェクトでの活用を考える。
  • 複数のLLM（ChatGPT、Claude、Gemini、Cohere Command-R Plusなど）を比較しながら質問を投げかける実演
  • 評価項目（ビジネス適合性、自己認識と能力評価、哲学的・人間中心的、単純計算・テキスト分析）

• モデルによって得意・不得意があり（得意分野、限界、比較）複雑な推論や分析に強いモデルは精度が高い
  • 「ハワイから17まで跳ぶのに虹はいくつ必要か？」GPT-2、GPT-4o（マルチモーダル、イメージ画像出力）
  • GPT-4oの新機能「Canvas」を使ったインタラクティブなコード作業
  • Claudeの特徴「思慮深い応答」「倫理・安全性への配慮」「コード生成とClaude Artifacts機能」
  • Google Geminiはニュアンス理解が弱く、Cohere Command-R Plusは知識活用に優れるが単純計算や明確なルールのタスクには弱い。
  • Meta AI（Llamaのフロントエンド）、Perplexity（検索エンジンベース）事実に基づいた質問や時事問題への回答が得意。

• GPT-4o（Alex）、Claude 3 Opus（Blake）、Gemini 1.5 Pro（Charlie）を用いたリーダー選出ゲームを実施。

• コンテンツ
  • https://drive.google.com/file/d/1Hgb-LfN48qNw43pZH4Qjn21oDIK-EIZK/view

Day4 †

• 内容
  • トランスフォーマーの歴史とLLMの基礎概念、創発的知能の理解 を中心に、実際の応用やモデル比較の事例も交えて説明
  • 最近のAI分野の動向（プロンプトエンジニアの台頭と衰退、カスタムGPTの人気と飽和、Copilotの重要性、エージェントAI）
  • LLMのパラメタと規模、従来のモデルとの比較、LLMの特徴的な強さは、桁違いに多いパラメタ数による精緻な出力制御能力にある。
  • トークン（文字単位モデル、単語単位モデル）、LLMのトークナイザのトークン化のアプローチ（文字単語の中間）、数字や特殊文字の扱いなど。
  • コンテキストウィンドウとは「LLMが一度に参照できる過去の情報量の総和」であり、これが生成可能な出力の質や範囲に直接影響する。
  • フロンティア・モデルのチャットUIとAPIの課金構造の違い、API利用時のコストの注意点、代替手段としてOllamaが使えることを説明。
  • Vellumのリーダーボードでコンテキストウィンドウとトークン単価を理解することで、モデル利用の規模感やコスト感覚を把握可能。

• コンテンツ
  • https://drive.google.com/file/d/1ir-9DXG-CrX5Cc2BMGtq7ZFSiGJn2hU-/view

Day5 †

• 内容：OpenAI APIでワンショットプロンプティングしマーケティングパンフレット生成ツールを作る実践
  • JupyterLab上でウェブスクレイピングを行い、GPT-4o miniを活用して企業パンフレット用の情報収集と整理を効率的に行う
  • GPT-4oを活用してウェブサイトのリンクを収集・選別し、会社のパンフレットに必要な関連リンクをJSON形式で出力。
  • PythonとGPT-4o miniを使った「ウェブページ情報の自動収集 → AIによる整理 → 会社パンフレット生成」という一連の流れを解説。
  • まとめ：システムプロンプトで生成結果を制御しつつLLMを複数回呼び出して情報を収集・統合、最後にストリーミングで出力を見せる。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week1/day5.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week1/day5_ja.ipynb
  • https://drive.google.com/file/d/1WljFFLTtxSXJ3GWA5J_m16MkMlHIU7Ep/view

• エクササイズ：自分専用の学習支援ツールを作り、GPTやLlamaを使ってコードの質問に答えさせる演習
  • https://github.com/ed-donner/llm_engineering/blob/main/week1/week1%20EXERCISE.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week1/week1%20EXERCISE_ja.ipynb

Week2 †

GradioでUI構築、マルチモーダルAIアシスタント/Chatボットを開発

• https://github.com/ed-donner/llm_engineering/tree/main/week2
• https://github.com/OpenTouryoProject/DxCommon/tree/master/Notebook/path/ed-donner_llm/week2
• https://drive.google.com/drive/folders/1jCI353qY35jwOIh42rN-bXi3NAcaIeda

Day1 †

• 内容
  • GPT-3.5 Turbo、GPT-4o mini、GPT-4o Max、Claude 3.5、Gemini 1.5 Flashを使い、データサイエンティスト向けのジョークを生成。
  • 複数Chatボットの会話を管理・生成する方法を学びながら、API操作とPythonのリスト操作 (zip) に慣れるための実践演習。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week2/day1.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week2/day1_ja.ipynb
  • https://drive.google.com/file/d/1qEONBGzava3RMZMfcLPAewq88DIWOucG/view

Day2 †

• 内容：
  • Gradioで、フロントエンド開発の煩雑さを省略しLLMのプロトタイプ用UIを迅速に作成・公開
  • 「GradioでのシンプルなUI作成→関数呼び出し→公開URL共有」 の基本フローを体験
  • GPT-4o・Claudeのモデル選択ドロップダウン、Markdown形式かつストリーミングでの応答表示
  • Gradio上で複数モデル対応のストリーミングチャットUIとパンフレット生成UIを簡単に作る。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week2/day2.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week2/day2_ja.ipynb
  • https://drive.google.com/file/d/16UJl8VnPrSXn_pcP4BwuRflWfOuE7TUq/view

Day3 †

• 内容
  • LLMを利用したChatボットの仕組みとプロンプト設計のコツを学び、Gradioで実際にチャットUIを作る。
  • 重要な仕組みの解説
    • LLM自体は「過去を覚えている」わけではなく、毎回すべての会話履歴をAPI経由で渡しているだけ。
    • OpenAI APIはリスト形式のメッセージを特殊なトークンを含むシーケンスに変換してLLMに渡す。
    • チャット向けモデルは訓練を通じて「システム」「ユーザー」「アシスタント」といった特殊トークンの意味を学習している。
  • 例示や架空会話はワンショット／マルチショット、RAG的な情報補強、条件付き追加メッセージなどのプロンプティング

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week2/day3.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week3/day1_ja.ipynb
  • https://drive.google.com/file/d/1-XRVeQsr1eYISgW4hynIMffcDsBzvYFW/view

Day4 †

• 内容
  • 「航空会社のカスタマーサポートエージェント」を構築し、ユーザーが「パリに行きたい」と入力すると、航空券の価格を提示できるようにする。
  • システムプロンプト設定、Gradioを使ったチャット実装、ツール（Function calling）をLLMに組み込む。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week2/day4.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week2/day4_ja.ipynb
  • https://drive.google.com/file/d/1xMsUcB8PFZF5SRcNnnlzpi8Lzc2yvR9R/view

Day5 †

• 内容
  • day4.ipynbの内容にマルチモーダル化、音声出力を加える。
  • ツール連携・画像生成・音声出力を統合したマルチモーダル対応のChatボット実装と活用

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week2/day5.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week2/day5_ja.ipynb
  • https://drive.google.com/file/d/1MWhq8l1u2sOBjwER726Q1AQdgStiiH9S/view

• エクササイズ：Day5の内容に、音声入力、翻訳処理、チケット予約機能を加える。
  • https://github.com/ed-donner/llm_engineering/blob/main/week2/week2%20EXERCISE.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week2/week2%20EXERCISE_ja.ipynb

Week3 †

Hugging Faceを用いたOSSモデル活用（Pipelines API、トークナイザ、モデル探求）をGoogle Colab上で行う。

• https://github.com/ed-donner/llm_engineering/blob/main/week3/
• https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week3/
• https://drive.google.com/drive/folders/1bb5GrJCu9KjIXQRN32tibQ4JxLaWLW5E

Day1 †

• 内容
  • Hugging Face公式サイトでの基本操作（アカウント作成、プロフィール・設定）と主要機能「Models」「Datasets」「Spaces」
  • Google Colabの使い方：クラウド上のNotebook環境、有料で高速GPUを活用でき、Googleドライブへのアクセス、APIキー管理も可能。
  • Google Colab上でHugging FaceのOSS-LLMの推論（パイプライン）を実行し、テキスト 画像 音声を生成する。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week3/day1.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week3/day1%2Bcolab_ja.ipynb
  • https://drive.google.com/file/d/1qRVh6kxMwaC_AIRiGBWdL7Us1RimRYtr/view

Day2 †

• 内容
  • Hugging Faceのコード操作には大きく2つのモード「推論（モデルの実行）」「低レベルAPIの利用」がある。
  • 様々なタスクのデモ、GPU（T4）を使用しテキスト解析、生成、翻訳、画像生成、音声生成（タスク用のモデルを自動でロード）。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week3/day2.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week3/day2%2Bpipelines_ja.ipynb
  • https://drive.google.com/file/d/1IETNHXEhFMOT9vJQJ2-qvVPhdCY2m0l4/view

Day3 †

• 内容
  • Hugging Faceの低レベルAPIを使い、トークナイザとモデルの内部動作を理解しつつ、実際にトークン化を体験
  • 準備とログイン、Llama 3.1モデルの利用、トークナイザの作成、エンコード・デコード、特殊トークン、語彙と追加情報
  • チャット向けモデルのinstructバリアントとそのトークナイザの構造や特徴を比較・理解し、適切に使うことの重要性の解説。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week3/day3.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week3/day3%2Btokenizers_ja.ipynb
  • https://drive.google.com/file/d/1FxZX6qtMVbTCjKxBYaNcC88ZzDqnDMZs/view

Day4 †

• 内容
  • Hugging Faceの低レベルAPIを使い、複数のオープンソースモデルで推論・テキスト生成を実践
  • Google ColabでのLLM実行準備、量子化によるメモリ効率化、モデルロードと内部構造確認
  • モデルの次元とトークナイザを確認、入力をトークン化して GPU に送信、出力生成、
  • 小型化・量子化モデルでも十分動作、出力は関数化・ストリーミング化して扱いやすく

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week3/day4.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week3/day4%2Bmodels_ja.ipynb
  • https://drive.google.com/file/d/1Y3RayCrxYBxlw2bRemrjP7_5HiaJde3M/view

Day5 †

• 内容：会議の議事録作成アプリケーションの構築
  • Hugging FaceのMeetingBank?で入手可能な米国の議会音声ファイルを使用
  • 音声録音をWhisper-1 モデルでテキストに変換（フロンティアモデル/API）
  • 議事録をLlama 3.1 8B instructで作成（オープンソースモデル）
  • 要約、アクションアイテム、担当者の抽出
  • 結果をMarkdownでストリーミング表示

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week3/day5.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week3/day5%2Bmmp_ja.ipynb
  • https://drive.google.com/file/d/1kM1ubrzpcM6FvyCYkWsbrf13_GcXK6wz/view

• エクササイズ
  • 指定した条件に応じて合成の個人情報データセットを生成
  • https://github.com/ed-donner/llm_engineering/tree/main/week3/community-contributions

Week4 †

モデル選択とベンチマーク、コード生成課題（Python → 高速C++変換）

• https://github.com/ed-donner/llm_engineering/tree/main/week4
• https://github.com/OpenTouryoProject/DxCommon/tree/master/Notebook/path/ed-donner_llm/week4
• https://drive.google.com/drive/folders/1BmGfacX2Sny6ACiHQWu5LdQz57vSDerd

Day1 †

（座学）

• 内容
  • ベンチマークやリーダーボードを活用しつつ、コスト・性能・制約を総合的に考えて「目前のタスクに最適なLLMを選ぶ」
  • LLMの「パラメタ数と学習データ量のバランスを示すスケーリング則」「ベンチマークやリーダーボード」

• コンテンツ
  • https://drive.google.com/file/d/1D1DYGD0Z4aYVRhGft99A4rBpnsrueg2h/view

Day2 †

（座学）

• 内容
  • LLMを比較・選定するための多様なリーダーボードやアリーナの活用方法を学び、実際のビジネスユースケースを通してLLMの適用範囲を理解
  • Chatボット・アリーナは人間によるLLM比較投票の場であり、最新ランキングやモデルの実力を体感しつつ、楽しみながら貢献できる
  • LLM（大規模言語モデル）の商業的利用例を5つの分野で紹介：法律分野（Harvey）人材・採用分野（Nebula）レガシーコード移植（B.AI）医療分野（Salesforce...）教育分野（Khanmigo）

• コンテンツ
  • https://drive.google.com/file/d/1Dq33avENp1oQ7TbiEs9CjDa-X8r2ZjMF/view

Day3 †

• 内容
  • 商業的価値のあるソリューションを構築し、LLM（フロンティアモデル）を使ってコード生成を行う。
  • 円周率計算/最大部分配列和のPythonコードを効率的なC++に変換するツールを作成、また、コードを実行して性能を測定する。
  • リーダーボードでのモデル比較の確認と、PythonコードをC++に最適化するためのLLM利用方法の実践準備。
  • GPT-4oとClaude 3.5 Sonnet、もしくは、GPT-4.1を切り替えてテスト。LLMをのタスクに対する顕著な性能差を確認できる。
  • 「Pythonコードを入力 → LLMを切り替えつつC++にストリーミング変換 → 実行 → 出力表示」を、カスタムGradio UIで試せるプロトタイプ開発。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week4/day3.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week4/day3_ja.ipynb
  • https://drive.google.com/file/d/1IFYmxpkC45XbhXVJwWr2TusDIS0rrojz/view

Day4 †

• 内容
  • Day3のタスクにおいて、オープンソースモデルがフロンティアモデルに対抗できるかを確認。
  • CodeQwen?、CodeGemma?をHugging Faceの Inference Endpoints を利用してリモートでモデルを呼び出す方法が便利。
  • Day3の実装を更に改良（UX向上、拡張対応（モデル、コンパイラ）エラー事前回避）
  • 結論としては、当然、オープンソースモデルよりもフロンティアモデルのほうが高性能という結果に。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week4/day4.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week4/day4_ja.ipynb
  • https://drive.google.com/file/d/146h-zEsdVAJOhO13WzxUn0hITFzUQTCq/view

Day5 †

（座学）

• 内容
  • 生成AIの評価方法にモデル中心（技術的指標）とビジネス中心（成果指標）があり、両者を連携して使用することで、バランスの良い評価が可能。
  • 課題の提案：既存ソリューションの調整（モデル追加）、新課題（コーディングツール、ユニットテスト生成ツール、株式取引コードジェネレーター）

• コンテンツ
  • https://drive.google.com/file/d/1Axdza1LFxqzMsMccmjpmEGZfTmi1ZBqA/view
  • https://github.com/ed-donner/llm_engineering/tree/main/week4/community-contributions

Week5 †

• RAG（検索拡張生成）を学び、自分用RAGパイプラインを構築
• 架空の保険テクノロジー企業「Insure」を題材に、シンプルなDIY・RAG実装を構築

• https://github.com/ed-donner/llm_engineering/tree/main/week5
• https://github.com/OpenTouryoProject/DxCommon/tree/master/Notebook/path/ed-donner_llm/week5
• https://drive.google.com/drive/folders/12D0yUoT9THr8D0poyYQZjCVMymTudHmf

Day1 †

• 内容
  • 従業員の姓をキー、HR記録を値とする辞書は、文字列の完全一致に依存するため、脆弱でスケーラブルではない。
  • RAGの重要な要素であるベクトル埋め込み（テキストの意味を数値化し、RAGで関連情報を効率的に検索する技術）

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week5/day1.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week5/day1_ja.ipynb
  • https://drive.google.com/file/d/1zi0I3euFSirMtCrsAS9o09SoYxhudjkR/view

Day2 †

• 内容
  • LangChainはRAGやLLMアプリケーションの開発を効率化する便利なツール、必要性がやや低下しているものの、依然として有効。
  • LangChainを用いたドキュメントの読み込み、チャンク分割、メタデータ付与の実践を通じ、RAG実装のための準備を学ぶ。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week5/day2.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week5/day2_ja.ipynb
  • https://drive.google.com/file/d/1_Ym0JP9Rt6S5ddAkaMd5FaVfgUZAKdDW/view

Day3 †

• 内容
  • OpenAI Embeddingsでチャンクをベクトルに変換し、Chromaベクトルデータベースに保存。ベクトルの可視化を通じて、データベースの仕組みを理解。
  • Chromaニ保存したベクトルは1,536次元なので2Dや3Dに次元削減して散布図を作成し可視化。ドキュメントの種類毎に色分けし上手く分類できていることを確認。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week5/day3.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week5/day3_ja.ipynb
  • https://drive.google.com/file/d/19WwAIU-lgRgLYIinJAzs89-_2SL6kest/view

Day4 †

• 内容
  • LangChainの3つの抽象化（LLM、Retriever、Memory）を使い、わずか4行のコードでRAGパイプラインを構築し、対話型アシスタントを実現する方法を解説。
  • 最後にInsureの知識ベースを活用したRAGパイプラインが、シンプルなコードで構築され、正確な情報検索と文脈に応じた回答生成が可能であることが実証される。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week5/day4.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week5/day4_ja.ipynb
  • https://drive.google.com/file/d/1RV4_2kvcbZBh0rtWxaXDiOUPCRm-M8V_/view

Day5 †

• 内容
  • LangChainのDSL言語や内部動作、RAGの一般的な問題の診断・修正方法について説明し、本番プロジェクトでの活用をサポート。
  • RAGのエキスパートからマスターへ（VDB切替とLangChainの抽象化の利点、LangChainのLCEL、RAGの問題の診断と修正方法）
  • プロジェクトのトレースの結果、RAGシステムが適切なチャンク（文書の断片）を検索できていないことが判明
  • チャンキング戦略の見直、オーバーラップ調整、チャンク数の調整で、チャンク数を既定値3→25に増やしてコレを解決。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week5/day5.ipynb
  • https://github.com/ed-donner/llm_engineering/blob/main/week5/day4.5.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week5/day5_ja.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week5/day4.5_ja.ipynb
  • https://drive.google.com/file/d/1KdhhLgA5js1Ulwj9-8txpJY-L5TN2BH3/view

• エクササイズ
  • RAGを応用し、個人的なAIアシスタントを構築することで、個人の生産性を高めることを目的としたプロジェクト
  • https://github.com/ed-donner/llm_engineering/tree/main/week5/community-contributions

Week6 †

• ビジネス課題を設定、従来のMLモデルとフロンティアモデル、ファインチューニングで解決を試みる。
• 製品の説明文から価格を推定するeコマースにおける回帰モデルの領域に転移学習とファインチューニングを応用。

• https://github.com/ed-donner/llm_engineering/tree/main/week6
• https://github.com/OpenTouryoProject/DxCommon/tree/master/Notebook/path/ed-donner_llm/week6
• https://drive.google.com/drive/folders/1AX8xV-9Keqay6GJLgVvrWE9Gits45lT8

Day1 †

• 内容
  • LLMのファインチューニングやRAGプロジェクトに不可欠なデータの発見と作成について解説。
    • データは自社データ、Kaggle、Hugging Faceなどから入手可能で、特にHugging Faceが推奨されている。
    • 学習に適したデータセットを構築するため6ステップ（データの調査、構造化、可視化、品質評価、価値向上）を踏む。
    • 実際のデータセット構築（データセットの分析と課題の洗い出し、形式確認、除外（欠損、データ長、値の分布））
    • ファインチューニング用データクレンジング（不要なテキストや部品番号などをクリーンアップし、180トークンに調整）

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week6/day1.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week6/day1_ja.ipynb
  • https://drive.google.com/file/d/1fxmuy_z46zxSJK2lekyVFibGTDoxoxeR/view

Day2 †

• 内容
  • Hugging FaceからAmazonの複数カテゴリの280万件以上の商品情報を取得
  • データの不均衡の是正（価格の偏り、カテゴリの偏り）し約40万件に絞りHugging Face Hubにアップロードする。

• LLM（大規模言語モデル）をビジネス上の問題に適用するための5段階の戦略
  • 理解 (Understand)：ビジネス要件、成功の測定方法、非機能要件（予算、レイテンシなど）を深く掘り下げて文書化
  • 準備 (Prepare)：既存のソリューションを調査してベンチマーク、LLMを比較し、データセットを構築
  • 選択 (Select)：準備段階で定めた基準に基づき、最も適したLLMを選択
  • カスタマイズ (Customize)：RAGやファインチューニングなどでモデルの性能を向上させる。
  • 製品化 (Productize)：モデルを本番環境に導入する方法について議論します。

• モデル最適化の3つの主要なアプローチ（プロンプティング、RAG、ファインチューニングについて解説
  • プロンプティング：最も手軽で低コストだが、コンテキストウィンドウのサイズに制限がある。
  • RAG：大量のデータを効率的に処理できスケーラブルだが、VDBが必要で、チャンク取得～適切なコンテキスト追加に課題がある。
  • ファインチューニング：強力な手段になり得るが、構築が難しく、多量のデータと高い学習コストが必要。また「破滅的忘却」のリスクがある。

• AIプロジェクトを本番稼働させるための5つのステップ
  • 理解（ステップ1）: 課題特定、成功指標定義、必要なデータとリソースの特定:
  • 準備（ステップ2）: データセットの収集・前処理・特徴量エンジニアリング
  • 選択（ステップ3）: ベースモデルや適用する技術の選択
  • カスタマイズ（ステップ4）: チューニングやカスタマイズ

• 本番稼働（ステップ5）:
  ・APIの定義と構築: モデルを呼び出すためのAPIを定義し、オープンソースモデルやフロンティアモデルを使用。
  ・デプロイと監視: モデルとAPIをどのようにホストし、デプロイするかを決定し、セキュリティやスケーリングを監視。
  ・継続的な改善: ビジネス指標を測定し、モデルの再学習やパフォーマンス改善を継続的に行う。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week6/day2.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week6/day2%2Blite_ja.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week6/day2%2Bgoogle_colab_ja.ipynb
  • https://drive.google.com/file/d/1dsmLNi8I7GEdzmzWWCxRTxM6mpSMGG1e/view

Day3 †

• 内容

• 伝統的な機械学習手法で、商品説明文から価格をどれだけ正確に予測できるかを確認
  • 特徴量エンジニアリング: データから価格を予測するための重要な要素を抽出し「特徴量」として使用。
  • ベクトル化：BoW: 単語の出現回数を数えベクトル化、Word2Vec: 単語をより高度な方法でベクトル化
  • 回帰モデルの使用：LinearRegression?、LinearSVR、RandomForestRegressor?など
  • 以降コレラをまとめた予測関数をテスト用クラス「Tester」でテストデータに適用し結果を視覚的に要約表示する。

• Testerから、以下のような結果が得られる。
  • Random: Error: $340
  • Average: Error: $145
  • Features & LinearRegression?: Error: $140
  • BoW & LinearRegression?: Error: $115
  • Word2Vec & LinearRegression?: Error: $115
  • Word2Vec & LinearSVR: Error: $115
  • Word2Vec & RandomForestRegressor?: Error: $100

※ BoWの次元は1000、Word2Vecの次元は400だったこともあり。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week6/day3.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week6/day3_ja.ipynb
  • https://drive.google.com/file/d/1dFJqidIDSdXKuR0AzbOXinO2uJryn2AY/view

Day4 †

• 内容
  • [Day3>#pe1f8ba1]]の価格を推定を人間による予測、フロンティア・モデルよる予測で行う。
  • 価格予測をする場合、assistant role の最後の数文字の次単語予測のために通常と少々異なるセットアップを行う。

• Testerから、以下のような結果が得られる。
  • Human: Error: $126
  • gpt_4o_mini: Error: $80
  • gpt_4o_frontier: Error: $75
  • claude_3.5_sonnet: Error: $100

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week6/day4.ipynb
  • https://github.com/ed-donner/llm_engineering/blob/main/week6/day4-results.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week6/day4_ja.ipynb
  • https://drive.google.com/file/d/1Ku5zRxMHl3CgcOaxBL9RfyvHGwo9BNpc/view

Day5 †

• 内容
  • フロンティア・モデルをファインチューニングの3つのステップ（データ準備、学習（実行）、評価と調整）
  • OpenAIは50～100個のサンプルを推奨しているが、このセッションではテスト結果に基づいて500個のサンプルを使用。
  • 学習データと検証データは、JSON Lines（.jsonl）という特殊な形式で準備する。
  • JSONLファイルを、OpenAI APIを使ってアップロードしてファインチューニングを実行する。
  • ファインチューニングの結果は、Weights & Biases（WandB）で様子を詳細にモニタリングできる。
  • 学習は10-15分で終わり通知される。エポックを数回繰り返すと過学習の傾向が出てくる。
  • ファインチューニング済みモデル名を渡してAPIを呼び出しテストすることが出来る。

• Testerから、以下のような結果が得られる。
  • gpt_Fted: Error: $91
  • ビジネス指標（合計差額）が悪化（素の方が精度が高かった）
  • しかし、1000を超えるような非常に高い外れ値の予測が是正された。

• フロンティアモデルにおけるファインチューニングの主な目的（使い所はかなり限られそう）

  1. プロンプトでは実現できない初期出力のスタイルやトーンを設定
  2. フォーマットなど特定の種類の出力を生成する際の信頼性を向上させる
  3. 複雑なプロンプトに従えない問題を修正し従順性を高める
  4. エッジケース（例外的な入力）に対処する
  5. プロンプトでは難しい新スキル・タスクを実行

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week6/day5.ipynb
  • https://github.com/ed-donner/llm_engineering/blob/main/week6/day5-results.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week6/day5_ja.ipynb
  • https://drive.google.com/file/d/14HyYM4q2LAyXh87hdHnzN_ZMkC6V4Vt1/view

Week7 †

• OSSモデルをファインチューニングし、フロンティアモデルに匹敵する性能を目指す
• LoRA（Low-Rank Adaptation of Large Language Models）量子化やQLoRAの技法を使う。

• https://github.com/ed-donner/llm_engineering/tree/main/week7
• https://github.com/OpenTouryoProject/DxCommon/tree/master/Notebook/path/ed-donner_llm/week7
• https://drive.google.com/drive/folders/1ULCcnhgfj-8WApZjib1YJXxOWDy063b9

Day1 †

• 内容
  • QLoRA（Quantized LoRA）は、大規模な言語モデルを限られたGPUメモリ上で動かすための効率的な手法。
  • QLoRAの3つの主要ハイパーパラメタ（R、α、ターゲットモジュール）の説明
  • Google Colab上でHugging FaceのPEFTライブラリを用いLlama 3.1にLoRA (Low-Rank Adaptation) を行う。
  • QLoRAの設定を行うことで、Llama 3.1のGPUメモリの消費量がどのように変化するかを観測する。
  • 4ビット量子化をすると、32ビット → 4ビットなので、大凡 4/32 = 1/8 にGPUメモリを圧縮できる。
  • LoRAでは学習されるパラメタが追加されサイズが増えるが、PEFTだけに僅かなパラメタサイズの増加で済む。

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week7/day1.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week7/day1%2Bqlora_intro_ja.ipynb
  • https://drive.google.com/file/d/1ZyFC4KkTJ9lNL00rrtXu_nwq2uwRPdbK/view

Day2 †

• 内容
  • Testerから、以下のような結果が得られる。
    • Llama 3.1 : Error: $395

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week7/day2.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week7/day2%2Bbase_model_evaluation_ja.ipynb
  • https://drive.google.com/file/d/1eep3nry2eSDzmANnKTtVjInxMwpeE_VS/view

Day3 †

• 内容

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week7/day3%20and%204.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week7/day3-4%2Btraining_ja.ipynb
  • https://drive.google.com/file/d/1R9b9z3hzmGsKAf1TZDiRPpV_3LgWGy9x/view

Day4 †

• 内容

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week7/day3%20and%204.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week7/day3-4%2Btraining_ja.ipynb
  • https://drive.google.com/file/d/1TvsWXPnHv5N7aMY8d__puQNS445_SkxD/view

Day5 †

• 内容
  • Testerから、以下のような結果が得られる。
    • Llama 3.1 FTed: Error: $52
    • Llama 3.1 FTed + α: Error: $47

• コンテンツ
  • https://github.com/ed-donner/llm_engineering/blob/main/week7/day5.ipynb
  • https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/week7/day5%2Btesting_our_Fine-tuned_model_ja.ipynb
  • https://drive.google.com/file/d/1VBE2VoDJV4K2uNXhcd5rusVZkyM0y4to/view

Week8 †

最後に複数のエージェントが協力する完全自律型AIソリューションを構築

• https://github.com/ed-donner/llm_engineering/tree/main/week8
• https://github.com/OpenTouryoProject/DxCommon/tree/master/Notebook/path/ed-donner_llm/week8
• https://drive.google.com/drive/folders/16iDKfT0SmXpMk_G8etEAL_fevx4e2wCL

Day1 †

• 内容

• コンテンツ

Day2 †

• 内容

• コンテンツ

• gpt_4o_mini + RAG: Error: $48
• RandomForest?: Error: $100
• Ensemble: Error: $55-50

Day3 †

• 内容

• コンテンツ

Day4 †

• 内容

• コンテンツ

Day5 †

• 内容

• コンテンツ

参考 †

コード †

• https://github.com/ed-donner/llm_engineering/
• 日本語化：https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ed-donner_llm/

スライド †

https://drive.google.com/drive/folders/1JwNorpRHdnf_pU0GE5yYtfKlyrKC3CoV

     

Site admin: TechInfoOfMicrosoftTech

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.118 sec.