LLM Engineering：Master AI、Large Language Models＆Agents
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-[[戻る>テキスト生成系（Transformer系）]] > [[教育系>テキ...
--LLM Engineering：Master AI、Large Language Models＆Agents
--[[The Complete Agentic AI Engineering Course (2025)]]
*目次 [#e3e1ba25]
#contents
*概要 [#vac8f383]
-https://www.udemy.com/course/llm-engineering-master-ai-a...
-日本語タイトル：世界10万人が学んだ講師が教えるLLM開発(日...
https://www.udemy.com/course/llm-engineering-master-ai-an...
このコースは、生成AIと大規模言語モデル（LLM）の世界に飛び...
+最初のLLM製品の構築: トップモデルとトランスフォーマーの...
企業の Web サイトをインテリジェントにスクレイピングしてナ...
+マルチモーダルChatボットの構築: LLM、 Gradio UI、エージ...
UI と関数呼び出しを備えた航空会社向けのマルチモーダル顧客...
+OSSのGen AI: Hugging Faceを使った自動化ソリューションの...
Open系モデルとClosedモデルの両方を使用して、音声から会議...
+LLM対決: コード生成とビジネスタスクのためのLLMの評価~
Python コードを最適化された C++ に変換してパフォーマンス...
+RAG をマスターする: ベクトル埋め込みと LangChain を使用...
RAG を使用して、企業関連のすべての問題の専門家になるAIナ...
+最終課題パートA – フロンティアLLMの利用とファインチュー...
フロンティアLLMと、そのとファインチューニングを使用して短...
+最終課題パートB – 価格予測でフロンティアLLMと競合できる...
価格予測でフロンティアLLMと競合できるようにファインチュー...
+最終課題パートC – LLMと連携した自律マルチエージェントシ...
LLMと連携してお買い得品を見つけ、特別バーゲンを通知する自...
-RAG、ファインチューニング、エージェントワークフローなど...
-主要な10のフロンティアLLMと10のOSS-LLMを比較検討し、与え...
*詳細 [#j613c3c6]
-前提
--座学でML/DL/LLMに関する良いことを言うケースがあるが、ソ...
--故に、Python、Notebook、ML/DN/LM、Embedding、Transforme...
--しかし、これらの前提知識（E資格相当）がなくとも、コード...
-解説
--英語版のトランスクリプトは微妙なので日本語版を選択する...
--幸いにも、詳細の解説はGitHub上にコードが配置されている...
-その他、個人的に思ったコト
--オープン系のLLMエンジニアリングの一般常識的な知識が得ら...
---開発環境：[[JupyterLab]]、[[Google Colaboratory]]、Mod...
---ツール類：[[OpenAI]]などLLMクライアント、UI（Gradio、S...
---RAG/Agent：LangChain/LlamaIndex/ChromaDB、[[OpenAI/Cre...
---ローカル系：[[Ollama]]、[[Hugging Face]] Hub/Python li...
--講師の嗜好として、プロダクト使いで概念を学ばせるが、商...
--LLMを価格推論（回帰）に使用しているのは、主要なユースケ...
--もっともニーズのある知識付与のファインチューニングにつ...
**前提ソフト [#k9c64f19]
***環境 [#m5c5df63]
-ちなみに講師のローカル環境はMACのM1だが、私は、[[WSL2 Ub...
-[[プロキシ環境下、特にSSLフォワード・プロキシでは少々手...
-ちなみに、GPUが必要になるような箇所については、[[Google ...
-GPU付きのVMを自分で準備する場合は、[[コチラ>OSSのLLM#we2...
***パッケージ [#jb3706dc]
https://github.com/ed-donner/llm_engineering/blob/main/re...
python-dotenv
jupyterlab
ipywidgets
requests
numpy
pandas
scipy
scikit-learn
matplotlib
gensim
torch
transformers
tqdm
openai
gradio
langchain
langchain-core
langchain-text-splitters
langchain-openai
langchain-chroma
langchain-community
datasets==3.6.0
matplotlib
google-generativeai
anthropic
chromadb
plotly
jupyter-dash
beautifulsoup4
pydub
modal
ollama
psutil
setuptools
speedtest-cli
sentence_transformers
feedparser
protobuf==3.20.2
wandb
-[[OpenAI]]などフロンティアLLM（クライアント）
-[[Hugging Face]]（クライアント）
-[[LangChain]]
-[[LlamaIndex]]
-[[ChromaDB>LLMのRAG#jb21532e]]
-UI（Gradio、Streamlit）
-Beautiful Soup：スクレイピング
-deep_translator：自動翻訳ライブラリ
***アプリ [#fb2336fb]
-[[JupyterLab]]
-[[Ollama]]
***サービス [#xf04b0e9]
-[[Google Colaboratory]]
-[[OpenAI]]などフロンティアLLM（サーバー）
-[[Ollama]]（サーバー）
-[[Hugging Face]]（サーバー）
--各種LLMの検索利用
--LLMデータ保存
--スペース・エンドポイント
-WandB：学習状況の可視化
-Modal：サーバーレス環境
-Pushover：プッシュ通知
**Week1 [#nb460890]
-最初のLLM製品の構築: トップモデルとトランスフォーマーの...
--GPT-4o、Claude 3.5などのフロンティアLLMを活用し、商用プ...
--企業の Web サイトをインテリジェントにスクレイピングして...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/1fto2Bu5xPDRJZs1...
***Day0 [#l4d14a4e]
Day1に含まれる内容だが、環境構築などが中心なので切り出し...
-表題
--コールドオープン：LLMエンジニアリングにいきなり飛び込む
--WindowsとMacでのローカルLLMデプロイのための[[Ollama]]設定
--ローカルLLMの力を解き放つ：[[Ollama]]でスペイン語チュー...
--LLMエンジニアリングロードマップ：8週間で初心者からマス...
--LLMアプリケーションの構築：チャットボット、RAG、エージ...
--ウォール街からAIへ：Ed DonnerがLLMエンジニアになるまで...
--LLM開発環境のセットアップ：ツールとベストプラクティス
--Macセットアップガイド：LLMプロジェクトのためのJupyter L...
--LLMエンジニアリングのためのAnacondaセットアップ：Window...
--LLMプロジェクトのための代替Pythonセットアップ：Virtuale...
--LLM開発のための[[OpenAI API]]セットアップ：キー、価格、...
--APIキーを安全に保管するための.envファイルの作成
-要約
--WindowsやMACで[[Ollama]]（C++版LLMをローカルで実行でき...
--ローカル環境で様々なLLMを試し、特に Qwen2.5の多言語理解...
--前提環境（[[Git]]、[[Anaconda or venv&pip>Python]]、[[J...
--[[ChatGPT]]、Claudeなどの強力なフロンティアLLMを使うた...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
***Day1 [#a59af573]
-表題
--すぐに成果を実感するプロジェクト：AI搭載ウェブページ要...
--[[OpenAI]]のGPT-4とBeautiful Soupを使ったテキスト要約の...
--1日目のまとめ：LLMエンジニアリングの主要な学びと次のス...
-要約
--ウェブページをBeautifulSoupでスクレイピングする。
--これをフロンティアLLMに入力し要約させる。
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1MQSeUp4P-516w9t3KEA4EU...
***Day2 [#n485e7c9]
-表題
--LLMエンジニアリングをマスターする：AI開発のための主要ス...
--フロンティアLLMを理解する：GPT、Claude、OSS-LLM
--ローカルLLM推論のための[[Ollama]]の使い方：PythonとJupy...
--ハンズオンLLMタスク：テキスト要約における[[OpenAI]]と[[...
-要約
--様々なフロンティアLLM、OSSモデル、モデルの利用方法、な...
--OSSモデルの Llama をローカルで Python から呼び出し、[[D...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/12k6OQb0i83Htn_B3SoYAuZ...
***Day3 [#r32a2864]
-表題
--フロンティアLLM：GPT-4、Claude、Gemini、LLAMAの比較
--主要LLMの比較：長所とビジネス応用
--GPT-4o vs O1 Previewの探求：パフォーマンスの主な違い
--創造性とコーディング：GPT-4oのCanvas機能を活用する
--Claude 3.5のアライメントとアーティファクト作成：詳細な...
--LLM比較：気まぐれなタスクと分析的なタスクにおけるGemini...
--Meta AIとPerplexityの評価：LLM出力のニュアンス
--LLMリーダーシップチャレンジ：創造的なプロンプトによるLL...
-要約
--様々なフロンティアLLMの特徴・違い・強み・弱みを理解し、...
--複数のLLM（ChatGPT、Claude、Gemini、Cohere Command-R Pl...
--評価項目（ビジネス適合性、自己認識と能力評価、哲学的・...
--LLMによって得意・不得意があり（得意分野、限界、比較）複...
---「ハワイから17まで跳ぶのに虹はいくつ必要か？」GPT-2、G...
---GPT-4oの新機能「Canvas」を使ったインタラクティブなコー...
---Claudeの特徴「思慮深い応答」「倫理・安全性への配慮」「...
---Google Geminiはニュアンス理解が弱く、Cohere Command-R ...
---Meta AI（Llamaのフロントエンド）、Perplexity（検索エン...
--GPT-4o（Alex）、Claude 3 Opus（Blake）、Gemini 1.5 Pro...
-コンテンツ
--https://drive.google.com/file/d/1Hgb-LfN48qNw43pZH4Qjn2...
***Day4 [#od451d4b]
-表題
--リーダーシップの勝者を発表：楽しいLLMチャレンジ
--AIの旅を探る：初期モデルからトランスフォーマーまで
--LLMのパラメタを理解する：GPT-1から兆単位の重みを持つLLM...
--GPTのトークン化を解説：LLMはテキスト入力をどう処理するか
--コンテキストウィンドウがLLMに与える影響：トークン制限の...
--LLMのコストをナビゲートする：API価格 vs チャットインタ...
--LLMのコンテキストウィンドウ比較：GPT-4 vs Claude vs Gem...
--4日目のまとめ：主要な学びと実践的な洞察
-要約
--トランスフォーマーの歴史とLLMの基礎概念、創発的知能の理...
--最近のAI分野の動向（プロンプトエンジニアの台頭と衰退、...
--LLMのパラメタと規模、従来のモデルとの比較、LLMの特徴的...
--トークン（文字単位モデル、単語単位モデル）、LLMのトーク...
--コンテキストウィンドウとは「LLMが一度に参照できる過去の...
--フロンティアLLMのチャットUIとAPIの課金構造の違い、API利...
--Vellumのリーダーボードでコンテキストウィンドウとトーク...
-コンテンツ
--https://drive.google.com/file/d/1ir-9DXG-CrX5Cc2BMGtq7Z...
***Day5 [#e98b3e13]
-表題
--[[OpenAI API]]とPythonでAI搭載のマーケティングパンフレ...
--JupyterLabチュートリアル：AI搭載の会社パンフレットのた...
--LLMにおける構造化出力：AIプロジェクトのためのJSONレスポ...
--パンフレットコンテンツのレスポンス作成とフォーマット
--最終調整：JupyterLabでのマークダウンとストリーミングの...
--Multi-Shotプロンプティングをマスターする：AIプロジェク...
--課題：カスタマイズされたLLMベースのチューターを開発する
--第1週のまとめ：達成事項と次のステップ
-要約~
[[OpenAI API]]でワンショットプロンプティングしマーケティ...
--JupyterLab上でウェブスクレイピングを行い、GPT-4o miniを...
--GPT-4oを活用してウェブサイトのリンクを収集・選別し、会...
--PythonとGPT-4o miniを使った「ウェブページ情報の自動収集...
--まとめ：システムプロンプトで生成結果を制御しつつLLMを複...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1WljFFLTtxSXJ3GWA5J_m16...
-エクササイズ：自分専用の学習支援ツールを作り、GPTやLlama...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
**Week2 [#cd823d7a]
-マルチモーダルChatボットの構築: LLM、 Gradio UI、エージ...
--GradioでUI構築、マルチモーダルAIアシスタント/Chatボット...
--UI と関数呼び出しを備えた航空会社向けのマルチモーダル顧...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/1jCI353qY35jwOIh...
***Day1 [#w2161064]
-表題
--複数のAI APIをマスターする：LLMエンジニアのための[[Open...
--AIレスポンスのストリーミング：PythonでのリアルタイムLLM...
--[[OpenAI]]とClaude APIを使った敵対的AI会話の作成方法
--AIツール：開発者のためのトランスフォーマーとフロンティ...
-要約
--GPT-3.5 Turbo、GPT-4o mini、GPT-4o Max、Claude 3.5、Gem...
--複数Chatボットの会話を管理・生成する方法を学びながら、A...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1qEONBGzava3RMZMfcLPAew...
***Day2 [#b25d88bf]
-表題
--GradioでAI UIを構築する：LLMエンジニアのための迅速なプ...
--Gradioチュートリアル：[[OpenAI]] GPTのインタラクティブ...
--Gradio UIでGPTとClaudeのストリーミングレスポンスを実装...
--GradioでマルチLLMチャットインターフェースを構築：GPT vs...
--高度なAI UIの構築：[[OpenAI API]]からGradioを使ったチャ...
-要約
--Gradioで、フロントエンド開発の煩雑さを省略しLLMのプロト...
--「GradioでのシンプルなUI作成→関数呼び出し→公開URL共有」...
--GPT-4o・ClaudeのLLM選択ドロップダウン、Markdown形式かつ...
--Gradio上で複数LLM対応のストリーミングチャットUIとパンフ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/16UJl8VnPrSXn_pcP4BwuRf...
***Day3 [#pc9a1a50]
-表題
--AIチャットボットの構築：Gradioでカスタマーサポートアシ...
--[[OpenAI]]とGradioで対話型AIチャットボットを構築：ステ...
--Multi-Shotプロンプティングとコンテキスト強化によるチャ...
--AIツールをマスターする：LLMに自分のマシンでコードを実行...
-要約
--LLMを利用したChatボットの仕組みとプロンプト設計のコツを...
--重要な仕組みの解説
---LLM自体は「過去を覚えている」わけではなく、毎回すべて...
---[[OpenAI API]]はリスト形式のメッセージを特殊なトークン...
---チャット向けLLMは訓練を通じて「システム」「ユーザー」...
--例示や架空会話はワンショット／マルチショット、RAG的な情...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1-XRVeQsr1eYISgW4hynIMf...
***Day4 [#p461ec06]
-表題
--LLMでAIツールを使用する：LLMの能力を強化する
--AI航空会社アシスタントの構築：[[OpenAI]] GPT-4でツール...
--LLMにカスタムツールを装備する方法：[[OpenAI]]関数呼び出...
--AIツールをマスターする：APIで高度なLLM搭載アシスタント...
-要約
--「航空会社のカスタマーサポートエージェント」を構築し、...
--システムプロンプト設定、Gradioを使ったチャット実装、[[...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1xMsUcB8PFZF5SRcNnnlzpi...
***Day5 [#me6c71fd]
-表題
--マルチモーダルAIアシスタント：画像と音声生成の統合
--マルチモーダルAI：JupyterLabでのDALL-E 3画像生成の統合
--マルチモーダルAIエージェントの構築：音声＆画像ツールの...
--マルチモーダルAIアシスタントの構築方法：ツールとエージ...
-要約
--[[day4.ipynb>#p461ec06]]の内容にマルチモーダル化、音声...
--ツール連携・画像生成・音声出力を統合したマルチモーダル...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1MWhq8l1u2sOBjwER726Q1A...
-エクササイズ：Day5の内容に、音声入力、翻訳処理、チケット...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
**Week3 [#t4e6a9d7]
-OSSのGen AI: [[Hugging Face]]を使った自動化ソリューショ...
--[[Hugging Face]]を用いたOSS-LLM活用（Pipelines API、ト...
--Open系モデルとClosedモデルの両方を使用して、音声から会...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/drive/folders/1bb5GrJCu9KjIXQR...
***Day1 [#ja607f6a]
-表題
--[[Hugging Face]]チュートリアル：OSS-LLMとデータセットを...
--[[Hugging Face]] Hubを探る：AI開発者のためのモデル、デ...
--[[Google Colab>Google Colaboratory]]入門：機械学習のた...
--[[Google Colab>Google Colaboratory]]との[[Hugging Face]...
--[[Google Colab>Google Colaboratory]]をマスターする：[[H...
-要約
--[[Hugging Face]]公式サイトでの基本操作（アカウント作成...
--[[Google Colaboratory]]の使い方：クラウド上のNotebook環...
--[[Google Colaboratory]]上で[[Hugging Face]]のOSS-LLMの...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1qRVh6kxMwaC_AIRiGBWdL7...
***Day2 [#s8e8d87e]
-表題
--[[Hugging Face]] Transformers：PythonでAIタスクにパイプ...
--[[Hugging Face]]パイプライン：TransformersライブラリでA...
--[[Hugging Face]]パイプラインをマスターする：MLタスクの...
-要約
--[[Hugging Face]]のコード操作には大きく2つのモード「推論...
--様々なタスクのデモ、GPU（T4）を使用しテキスト解析、生成...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1IETNHXEhFMOT9vJQJ2-qvV...
***Day3 [#j201d72e]
-表題
--OSS-LLMのトークナイザを探る：Llama、Phi-2、Qwen、Starco...
--AIにおけるトークン化技術：LLAMA 3.1モデルでAutoTokenize...
--トークナイザの比較：OSS-LLMのためのLlama、PHI-3、QWEN2
--[[Hugging Face]]トークナイザ：高度なAIテキスト生成の準備
-要約
--[[Hugging Face]]の低レベルAPIを使い、トークナイザとモデ...
--準備とログイン、Llama 3.1モデルの利用、トークナイザの作...
--チャット向けLLMのinstructバリアントとそのトークナイザの...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1FxZX6qtMVbTCjKxBYaNcC8...
***Day4 [#d617e322]
-表題
--[[Hugging Face]]モデルクラス：OSS-LLMでの推論の実行
--[[Hugging Face]] Transformers：Bits & BytesでLLMを読み...
--[[Hugging Face]] Transformers：OSS-LLMでジョークを生成...
--[[Hugging Face]] Transformersをマスターする：モデル、パ...
-要約
--[[Hugging Face]]の低レベルAPIを使い、複数のOSS-LLMで推...
--[[Google Colaboratory]]でのLLM実行準備、量子化によるメ...
--モデルの次元とトークナイザを確認、入力をトークン化して ...
--小型化・量子化モデルでも十分動作、出力は関数化・ストリ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1Y3RayCrxYBxlw2bRemrjP7...
***Day5 [#lb49aeed]
-表題
--フロンティアLLMとOSS-LLMを組み合わせた音声テキスト要約
--[[Hugging Face]]と[[OpenAI]]を使ったAIによる議事録生成
--合成テストデータ生成ツールの構築：ビジネス向けOSS-LLM
-要約：会議の議事録作成アプリケーションの構築
--[[Hugging Face]]のMeetingBankで入手可能な米国の議会音声...
--音声録音をWhisper-1 モデルでテキストに変換（フロンティ...
--議事録をLlama 3.1 8B instructで作成（オープンソースLLM）
--要約、アクションアイテム、担当者の抽出
--結果をMarkdownでストリーミング表示
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1kM1ubrzpcM6FvyCYkWsbrf...
-エクササイズ
--指定した条件に応じて合成の個人情報データセットを生成
--https://github.com/ed-donner/llm_engineering/tree/main/...
**Week4 [#oa3eab63]
-LLM対決: コード生成とビジネスタスクのためのLLMの評価
--LLM選択とベンチマーク、コード生成課題（Python → 高速C++...
--Python コードを最適化された C++ に変換してパフォーマン...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/1BmGfacX2Sny6ACi...
***Day1 [#hcde7af3]
（座学）
-表題
--適切なLLMの選択方法：オープンソースLLMとクローズドソー...
--チンチラ・スケーリング則：LLMのパラメタと学習データサイ...
--LLMベンチマークの限界：過学習と学習データ漏洩
--LLMの評価：明かされる6つの次世代ベンチマーク
--[[Hugging Face]] OpenLLM Leaderboard：OSS-LLMの比較
--LLMリーダーボードをマスターする：オープンソースLLMとク...
-要約
--ベンチマークやリーダーボードを活用しつつ、コスト・性能...
--[[LLMの「パラメタ数と学習データ量のバランスを示すスケー...
-コンテンツ
--https://drive.google.com/file/d/1D1DYGD0Z4aYVRhGft99A4r...
***Day2 [#o5116b0b]
（座学）
-表題
--LLMの比較：LLMを評価するためのトップ6リーダーボード
--専門LLMリーダーボード：ユースケースに最適なLLMを見つける
--LLAMA vs GPT-4：コード生成のためのLLMのベンチマーク
--人間評価によるLLM：LM Sys Chatbot Arenaを理解する
--LLMの商用応用：法律から教育まで
--コード変換プロジェクトのためのフロンティアLLMとオープン...
-要約
--[[LLMを比較・選定するための多様なリーダーボードやアリー...
--Chatボット・アリーナは人間によるLLM比較投票の場であり、...
--LLMの商業的利用例を5つの分野で紹介：法律分野（Harvey）...
-コンテンツ
--https://drive.google.com/file/d/1Dq33avENp1oQ7TbiEs9CjD...
***Day3 [#mcde8125]
-表題
--高性能C++コード生成のためのフロンティアLLMの活用
--コード生成のためのトップLLM比較：GPT-4 vs Claude 3.5 So...
--LLMによるPythonコードの最適化：GPT-4 vs Claude 3.5
--コード生成の落とし穴：LLMがエラーを生成する時
--驚異的な速さのコード生成：ClaudeがPythonを13,000倍上回...
--LLMによるコード生成のためのGradio UIの構築
--C++コード生成の最適化：GPTとClaudeのパフォーマンス比較
--コード生成におけるGPT-4とClaudeの比較：パフォーマンスベ...
-要約
--商業的価値のあるソリューションを構築し、LLM（フロンティ...
--円周率計算/最大部分配列和のPythonコードを効率的なC++に...
--リーダーボードでのLLM比較の確認と、PythonコードをC++に...
--GPT-4oとClaude 3.5 Sonnet、もしくは、GPT-4.1を切り替え...
--「Pythonコードを入力 → LLMを切り替えつつC++にストリーミ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1IFYmxpkC45XbhXVJwWr2Tu...
***Day4 [#ffcd9f46]
-表題
--コード生成のためのオープンソースLLM：[[Hugging Face]]エ...
--コード生成LLMのための[[Hugging Face]]推論エンドポイント...
--コード生成のためのオープンソースLLMとフロンティアLLMの...
--コード生成の比較：GPT-4、Claude、CodeQuen LLM
--LLMによるコード生成をマスターする：技術とLLM選択
-要約
--[[Day3>#mcde8125]]のタスクにおいて、オープンソースLLMが...
--CodeQwen、CodeGemmaを[[Hugging Face]]の Inference Endpo...
--[[Day3>#mcde8125]]の実装を更に改良（UX向上、拡張対応（L...
--結論としては、当然、オープンソースLLMよりもフロンティア...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/146h-zEsdVAJOhO13WzxUn0...
***Day5 [#maac6fa5]
（座学）
-表題
--LLMパフォーマンスの評価：モデル中心 vs ビジネス中心のメ...
--LLMコード生成をマスターする：Python開発者のための高度な...
-要約
--生成AIの評価方法にモデル中心（技術的指標）とビジネス中...
--課題の提案：既存ソリューションの調整（モデル追加）、新...
-コンテンツ
--https://drive.google.com/file/d/1Axdza1LFxqzMsMccmjpmEG...
--https://github.com/ed-donner/llm_engineering/tree/main/...
**Week5 [#d1e72416]
-RAG をマスターする: ベクトル埋め込みと LangChain を使用...
--RAG（検索拡張生成）を学び、自分用RAGパイプラインを構築
--架空の保険テクノロジー企業「Insure」を題材に、シンプル...
--RAG を使用して企業関連のすべての問題の専門家になるAIナ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/12D0yUoT9THr8D0p...
***Day1 [#v553c4ec]
-表題
--RAGの基礎：外部データを活用してLLMのレスポンスを改善する
--DIY RAGシステムの構築：検索拡張生成の実装
--ベクトル埋め込みを理解する：RAGとLLM検索の鍵
-要約
--従業員の姓をキー、HR記録を値とする辞書は、文字列の完全...
--RAGの重要な要素であるベクトル埋め込み（テキストの意味を...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1zi0I3euFSirMtCrsAS9o09...
***Day2 [#v2a2d1d8]
-表題
--LangChainを解き明かす：LLMアプリケーションのためのRAG実...
--LangChainテキスト分割チュートリアル：RAGシステムのため...
--ベクトルデータベースの準備：RAGにおける[[OpenAI]]埋め込...
-要約
--LangChainはRAGやLLMアプリケーションの開発を効率化する便...
--LangChainを用いたドキュメントの読み込み、チャンク分割、...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1_Ym0JP9Rt6S5ddAkaMd5Fa...
***Day3 [#z2b43f18]
-表題
--ベクトル埋め込みをマスターする：LLMエンジニアリングのた...
--埋め込みの可視化：t-SNEで多次元空間を探る
--RAGパイプラインの構築：ベクトルから埋め込みまでLangChai...
-要約
--[[OpenAI]] Embeddingsでチャンクをベクトルに変換し、[[Ch...
--このベクトルを2Dや3Dに次元削減して散布図を作成し可視化...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/19WwAIU-lgRgLYIinJAzs89...
***Day4 [#w68b8ce3]
-表題
--RAGパイプラインの実装：LangChainにおけるLLM、リトリーバ...
--検索拡張生成をマスターする：ハンズオンLLM統合
--RAGパイプラインをマスターする：効率的なRAGシステムの構築
-要約
--LangChainの3つの抽象化（LLM、Retriever、Memory）を使い...
--最後にInsureの知識ベースを活用したRAGパイプラインが、シ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1RV4_2kvcbZBh0rtWxaXDiO...
***Day5 [#s8c5840f]
-表題
--RAGシステムの最適化：一般的な問題のトラブルシューティン...
--ベクトルストアの切り替え：LangChain RAGパイプラインにお...
--LangChainを解明する：RAGパイプライン構築の舞台裏
--RAGのデバッグ：LangChainでのコンテキスト検索の最適化
--パーソナルAIナレッジワーカーを構築する：生産性向上のた...
-要約
--LangChainのDSL言語や内部動作、RAGの一般的な問題の診断・...
--RAGのエキスパートからマスターへ（VDB切替とLangChainの抽...
--プロジェクトのトレースの結果、RAGシステムが適切なチャン...
--チャンキング戦略の見直、オーバーラップ調整、チャンク数...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1KdhhLgA5js1Ulwj9-8txpJ...
-エクササイズ
--RAGを応用し、個人的なAIアシスタントを構築することで、個...
--https://github.com/ed-donner/llm_engineering/tree/main/...
**Week6 [#mf684991]
-最終課題パートA – フロンティアLLMの利用とファインチュー...
--ビジネス課題を設定、従来のMLモデルとフロンティアLLM、フ...
--製品の説明文から価格を推定するeコマースにおける回帰モデ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/1AX8xV-9Keqay6GJ...
***Day1 [#pc018250]
-表題
--ファインチューニングLLM：推論から学習へ
--LLMファインチューニングのためのデータセットの発見と作成...
--製品説明に関するLLMファインチューニングのためのデータキ...
--学習データの最適化：LLMファインチューニングのためのスク...
--LLMパフォーマンスの評価：モデル中心 vs ビジネス中心のメ...
-要約~
LLMのファインチューニングやRAGプロジェクトに不可欠なデー...
--データは自社データ、[[Kaggle]]、[[Hugging Face]]などか...
--学習に適したデータセットを構築するため6ステップ（データ...
--実際のデータセット構築（データセットの分析と課題の洗い...
--ファインチューニング用データクレンジング（不要なテキス...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1fxmuy_z46zxSJK2lekyVFi...
***Day2 [#vd44cba8]
-表題
--LLMデプロイメントパイプライン：ビジネス問題から本番ソリ...
--プロンプティング、RAG、ファインチューニング：各アプロー...
--LLMの本番化：LLMを大規模にデプロイするためのベストプラ...
--LLM学習のための大規模データセットの最適化：データキュレ...
--LLM学習のためのバランスの取れたデータセットの作成方法：...
--データセットキュレーションの最終化：価格と説明の相関分析
--[[Hugging Face]]で高品質なデータセットを作成し、アップ...
-要約
--[[Hugging Face]]からAmazonの複数カテゴリの280万件以上の...
--データの不均衡の是正（価格の偏り、カテゴリの偏り）し約4...
--LLMをビジネス上の問題に適用するための5段階の戦略
---理解 (Understand)：ビジネス要件、成功の測定方法、非機...
---準備 (Prepare)：既存のソリューションを調査してベンチマ...
---選択 (Select)：準備段階で定めた基準に基づき、最も適し...
---カスタマイズ (Customize)：RAGやファインチューニングな...
---製品化 (Productize)：LLMを本番環境に導入する方法につい...
--LLM最適化の3つの主要なアプローチ（プロンプティング、RAG...
---プロンプティング：最も手軽で低コストだが、コンテキスト...
---RAG：大量のデータを効率的に処理できスケーラブルだが、V...
---ファインチューニング：強力な手段になり得るが、構築が難...
--AIプロジェクトを本番稼働させるための5つのステップ
---理解（ステップ1）: 課題特定、成功指標定義、必要なデー...
---準備（ステップ2）: データセットの収集・前処理・特徴量...
---選択（ステップ3）: ベースモデルや適用する技術の選択
---カスタマイズ（ステップ4）: チューニングやカスタマイズ
---本番稼働（ステップ5）: ~
・APIの定義と構築: LLMを呼び出すためのAPIを定義し、オープ...
・デプロイと監視: LLMとAPIをどのようにホストし、デプロイ...
・継続的な改善: ビジネス指標を測定し、LLMの再学習やパフォ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1dsmLNi8I7GEdzmzWWCxRTx...
***Day3 [#pe1f8ba1]
-表題
--特徴量エンジニアリングとBag of Words：NLPのためのMLベー...
--MLにおけるベースラインモデル：単純な予測関数の実装
--Amazon製品価格予測モデルのための特徴量エンジニアリング...
--LLMパフォーマンスの最適化：高度な特徴量エンジニアリング...
--LLMファインチューニングのための線形回帰：ベースラインモ...
--Bag of Words NLP：MLにおけるテキスト分析のためのCount V...
--サポートベクター回帰 vs ランダムフォレスト：機械学習対決
--従来のMLモデルの比較：ランダムからランダムフォレストまで
-要約
--伝統的な機械学習手法で、商品説明文から価格をどれだけ正...
---特徴量エンジニアリング: データから価格を予測するための...
---ベクトル化：BoW: 単語の出現回数を数えベクトル化、Word2...
---回帰モデルの使用：LinearRegression、LinearSVR、RandomF...
---以降コレラをまとめた予測関数をテスト用クラス「Tester」...
--Testerから、以下のような結果が得られる。
---Random: Error: $340
---Average: Error: $145
---Features & LinearRegression: Error: $140
---BoW & LinearRegression: Error: $115
---Word2Vec & LinearRegression: Error: $115
---Word2Vec & LinearSVR: Error: $115
---Word2Vec & RandomForestRegressor: Error: $100
※ BoWの次元は1000、Word2Vecの次元は400だったこともあり。
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1dFJqidIDSdXKuR0AzbOXin...
***Day4 [#zadf098f]
-表題
--フロンティアLLMの評価：ベースラインフレームワークとのパ...
--人間 vs AI：フロンティアLLMにおける価格予測パフォーマン...
--GPT-4o Mini：価格推定タスクのためのフロンティアLLM評価
--GPT-4とClaudeの比較：価格予測タスクにおけるLLMパフォー...
--フロンティアAIの能力：従来のMLモデルを上回るLLM
--[[OpenAI]]によるLLMのファインチューニング：データ準備、...
-要約
--[Day3>#pe1f8ba1]]の価格を推定を人間による予測、フロンテ...
--価格予測をする場合、assistant role の最後の数文字の次単...
--Testerから、以下のような結果が得られる。
---Human: Error: $126
---gpt_4o_mini: Error: $80
---gpt_4o_frontier: Error: $75
---claude_3.5_sonnet: Error: $100
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1Ku5zRxMHl3CgcOaxBL9Rfy...
***Day5 [#u3292293]
-表題
--LLMのファインチューニングのためのJSONLファイルの準備方法
--ステップバイステップガイド：[[OpenAI API]]でGPTファイン...
--LLMのファインチューニング：Weights & Biasesで学習損失と...
--ファインチューニングされたLLMメトリクスの評価：学習損失...
--LLMファインチューニングの課題：LLMのパフォーマンスが向...
--フロンティアLLMのファインチューニング：最適化のための課...
-要約
--フロンティアLLMをファインチューニングする3つのステップ...
--[[OpenAI]]は50～100個のサンプルを推奨しているが、このセ...
--学習データと検証データは、JSON Lines（.jsonl）という特...
--JSONLファイルを、[[OpenAI API]]を使ってアップロードして...
--ファインチューニングの結果は、Weights & Biases（WandB）...
--学習は10-15分で終わり通知される。エポックを数回繰り返す...
--ファインチューニング済みLLM名を渡してAPIを呼び出しテス...
--Testerから、以下のような結果が得られる。
---gpt_Fted: Error: $91
---ビジネス指標（合計差額）が悪化（素の方が精度が高かった）
---しかし、1000を超えるような非常に高い外れ値の予測が是正...
--フロンティアLLMにおけるファインチューニングの主な目的（...
>
+プロンプトでは実現できない初期出力のスタイルやトーンを設定
+フォーマットなど特定の種類の出力を生成する際の信頼性を向...
+複雑なプロンプトに従えない問題を修正し従順性を高める
+エッジケース（例外的な入力）に対処する
+プロンプトでは難しい新スキル・タスクを実行
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/14HyYM4q2LAyXh87hdHnzN_...
**Week7 [#p7a51156]
-最終課題パートB – 価格予測でフロンティアLLMと競合できる...
--OSS-LLMをファインチューニングし、フロンティアLLMに匹敵...
--[[LoRA（Low-Rank Adaptation of Large Language Models）...
--価格予測でフロンティアLLMと競合できるようにファインチュ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/1ULCcnhgfj-8WApZ...
***Day1 [#x5dd7b82]
-表題
--パラメタ効率の良いファインチューニングをマスターする：L...
--LoRAアダプタ入門：低ランク適応の解説
--QLoRA：LLMの効率的なファインチューニングのための量子化
--LLMの最適化：QLoRAファインチューニングにおけるR、Alpha...
--パラメタ効率の良いファインチューニング：[[Hugging Face]...
--LLMを量子化する方法：8ビット精度でLLMサイズを削減する
--二重量子化とNF4：4ビットLLM最適化のための高度な技術
--PEFTモデルを探る：LLMファインチューニングにおけるLoRAア...
--LLMサイズの概要：量子化されたLLMとファインチューニング...
-要約
--QLoRA（Quantized LoRA）は、LLMを限られたGPUメモリ上で動...
--QLoRAの3つの主要ハイパーパラメタ（R、α、ターゲットモジ...
--[[Google Colaboratory]]上で[[Hugging Face]]のPEFTライブ...
--QLoRAの設定を行うことで、Llama 3.1のGPUメモリの消費量が...
--4ビット量子化をすると、32ビット → 4ビットなので、大凡 4...
--LoRAでは学習されるパラメタが追加されサイズが増えるが、P...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1ZyFC4KkTJ9lNL00rrtXu_n...
***Day2 [#ce5e238d]
-表題
--LLMのファインチューニングに最適なベースモデルの選択方法
--最適なベースモデルの選択：[[Hugging Face]]のLLMリーダー...
--トークナイザの探求：LLAMA、QWEN、その他のLLMの比較
--LLMパフォーマンスの最適化：Llama 3.1の読み込みとトーク...
--LLMへの量子化の影響：パフォーマンス・メトリクスとエラー...
--LLMの比較：パラメタ効率の良いチューニングにおけるGPT-4 ...
-要約
--[[Hugging Face]] Open LLMリーダーボードを使用してLLMを...
--リーダーボードのスコア、インストラクト版の性能、トーク...
--Llama 3.1、Qwen2、Gemma 2、Phi-3などのトークナイザを比...
--[[Hugging Face]] Hubからデータを読み込み、Llama 3.1を使...
--Testerから、以下のような結果が得られる。
---Llama 3.1（4ビット量子化） : Error: $395
---Llama 3.1（8ビット量子化） : Error: $301
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1eep3nry2eSDzmANnKTtVjI...
***Day3 [#m0cc1c1d]
-表題
--QLoRAハイパーパラメタ：LLMのファインチューニングをマス...
--モデル学習におけるエポックとバッチサイズの理解
--学習率、勾配蓄積、オプティマイザの解説
--ファインチューニングのための学習プロセスの設定
--LLMの4ビット量子化LoRAファインチューニングのためのSFTTr...
--LLMのファインチューニング：QLoRAで学習プロセスを開始する
--Weights & Biasesによる学習の監視と管理
-要約
--SFTTrainerセットアップ前にハイパーパラメタを解説（既出...
--基本的なハイパーパラメタ、エポック、バッチサイズ、学習...
--バッチサイズを大きくすると、GPUメモリ消費量が大きくなる...
--Llama 3.1 8Bのファインチューニング概要
---Colab環境（4bitのQLoRAでT4でもできるが、講師はA100を使...
---ライブラリとツール（[[Hugging Face]]のTRL、SFTTrainer...
---データの最大シーケンス長は、GPUメモリに収まるように182...
---データセットは40万件、時間がかかるので、特定カテゴリ2...
--Llama 3.1 8Bのファインチューニング詳細
---[[Hugging Face]]（プル＆プッシュ）とWandB（モニタリン...
---DataCollatorForCompletionOnlyLMを使って、LLMがプロンプ...
---T4でセッションが切れたり、カーネルリスタートが発生する...
---講師はGPUメモリを38/40GB使用、T4を使用する場合は、バッ...
---ちなみに、過学習の傾向が出るためフロンティアLLMと同様...
---（余談：「XXXXはYYYYだ。」と言う100個程度の事実を学習...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1R9b9z3hzmGsKAf1TZDiRPp...
***Day4 [#mca24b20]
-表題
--学習コストを低く抑える：効率的なファインチューニング戦略
--効率的なファインチューニング：QLoRA学習に小規模データセ...
--Weights and BiasesチャートでLLMファインチューニングの進...
--高度なWeights & Biasesツールと[[Hugging Face]]でのモデ...
--エンドツーエンドのLLMファインチューニング：問題定義から...
-要約
--[[Day3>#m0cc1c1d]]で行ったファインチューニングの結果の...
--[[Hugging Face]]をチェックし、Xステップ毎の重みのリビジ...
--WandBをチェックし、深層学習の特徴的な精度向上・損失低下...
---学習序盤の急激な精度向上は「大きな誤差の修正」「簡単な...
---エポックを繰り返した際の再学習で過学習の「可能性」を確...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1TvsWXPnHv5N7aMY8d__puQ...
***Day5 [#i844edb1]
-表題
--LLM学習の4つのステップ：順伝播から最適化まで
--QLoRA学習プロセス：順伝播、逆伝播、損失計算
--モデル学習におけるソフトマックスと交差エントロピー損失...
--ファインチューニングの監視：LLM学習分析のためのWeights ...
--表彰台を再訪：モデルパフォーマンス・メトリクスの比較
--独自のファインチューニング済みLLMのビジネスメトリクスに...
--結果の可視化：GPT-4に勝ったか？
--LLMのハイパーパラメタチューニング：PEFTでモデルの精度を...
-要約
--言語モデルの理論的背景の振り返り（[[言語処理（AI）]] ->...
--ファインチューニングしたLLMを[[Hugging Face]]から取得し...
--ちなみに、以下の「 + α」とは、「上位トークンの確率を使...
--Testerから、以下のような結果が得られる。
---Llama 3.1 FTed: Error: $52
---Llama 3.1 FTed + α: Error: $47
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1VBE2VoDJV4K2uNXhcd5rus...
**Week8 [#n0250424]
-最終課題パートC – LLMと連携した自律マルチエージェントシ...
--最後にこれまでの知識と技術をすべて活用して複数のエージ...
--価格比較プラットフォーム「The Price is Right」はRSSを購...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/16iDKfT0SmXpMk_G...
***Day1 [#va18fb20]
-表題
--ファインチューニングからマルチエージェントシステムへ：...
--自動取引発見システムのためのマルチエージェントAIアーキ...
--Modalを解き明かす：サーバーレス環境にLLMにデプロイする
--クラウド上のLLAMA：LLMを効率的に実行する
--サーバーレスLLM価格設定APIの構築：Modalによるステップバ...
--複数の本番LLMが控える：高度なRAGソリューションの準備
-要約
--「The Price is Right」は7つのエージェントが連携して動作...
---プランニング・エージェント: 下記のエージェントを統合。
---スキャナー・エージェント: RSSフィードからセール情報を...
---メッセージング・エージェント: お得なセール情報をプッシ...
---アンサンブル・エージェント: 3つのモデル（FTed-LLM、RAG...
--FTed-LLMはサーバーレス・プラットフォームのModal.com上で...
--同様に（フロンティアLLM＋）RAG、回帰モデルをエージェン...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/18vMkpZQ5ItOj-kRVSDNp2l...
***Day2 [#s76d167b]
-表題
--エージェントワークフローの実装：RAGにおけるフロンティア...
--大規模Chromaベクトルデータストアの構築：高度なRAGパイプ...
--ベクトル空間の可視化：データ探索のための高度なRAG技術
--RAGのための3D可視化技術：ベクトル埋め込みの探求
--類似製品の発見：LangChainなしでRAGパイプラインを構築する
--RAGパイプラインの実装：検索技術でLLMを強化する
--ランダムフォレスト回帰：トランスフォーマーとMLで価格予測
--アンサンブルモデルの構築：LLM、RAG、ランダムフォレスト...
--まとめ：マルチエージェントシステムとRAG統合の最終化
-要約
--ちなみに、今回のRAGモデルはLangChainを使用せず[[ChromaD...
--また、埋込モデルには、Sentence Transformerという[[Huggi...
--2.0: Sentence Transformerで埋め込みベクトル化し[[Chroma...
--2.1-2: ベクトルを2Dと3Dで可視化し、上手くベクトル化（空...
--2.3: （フロンティアLLM＋）RAGを作成「Tester」でテストデ...
--2.4: 分類木を作成し更にアンサンブル（FTed、RAG、分類木...
--Testerから、以下のような結果が得られる。
---gpt_4o_mini + RAG: Error: $48
---RandomForest: Error: $100
---Ensemble: Error: $55-50
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1h127QjGAvBht2KugX26LD3...
***Day3 [#x94f383d]
-表題
--構造化出力でAIエージェントを強化する：PydanticとBaseMod...
--RSSフィードのスクレイピング：AI搭載の取引選択システムの...
--AIにおける構造化出力：詳細な取引選択のためのGPT-4の実装
--AIワークフローの最適化：正確な価格認識のためのプロンプ...
--自律型エージェントをマスターする：マルチエージェントAI...
-要約
--スキャナー・エージェントで使う[[構造化出力>LlamaIndex#k...
--[[構造化出力>LlamaIndex#k86bd814]]と、以前学んだ[[Funct...
--スキャナー・エージェントを実装（RSSフィードからセール情...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1u1J52WX8G-RGFThtBctKbB...
***Day4 [#m2dd4fea]
-表題
--エージェントAIの5つの特徴：自律性、計画、メモリ
--エージェントAIシステムの構築：Pushoverを通知に統合する
--エージェントAIの実装：自動化ワークフローのための計画エ...
--エージェントフレームワークの構築：LLMとPythonコードの接続
--エージェントワークフローの完成：ビジネスアプリケーショ...
-要約
--メッセージング・エージェントの実装（お得なセール情報をP...
--プランニング・エージェントの実装（各エージェントを統合...
--余談：エージェントの特徴（自律性、タスク分割、プランニ...
--最後にエージェント・フレームワークを開発（主にエージェ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1Z9ICRZEbPFD4hKLbdnv2uu...
***Day5 [#j6da5afc]
-表題
--自律型AIエージェント：人間の入力なしでインテリジェント...
--GradioによるAIエージェント：自律型システムのための高度...
--エージェントAIソリューションのためのGradio UIの最終化
--AIエージェントUIの強化：リアルタイムログ可視化のためのG...
--結果の分析：エージェントフレームワークのパフォーマンス...
--AIプロジェクトの振り返り：LLMエンジニアになるための8週...
-要約
--Gradioを使ってユーザーインターフェースを構築し、ワーク...
--UIでは定期的にエージェント・フレームワークを実行、セー...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1pg57gYBEOsUUH28wJmCGqg...
*参考 [#h778d673]
**コード [#j4ef8292]
-https://github.com/ed-donner/llm_engineering/
-日本語化：https://github.com/OpenTouryoProject/DxCommon/...
**スライド [#h93d4d7b]
https://drive.google.com/drive/folders/1JwNorpRHdnf_pU0GE...
終了行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-[[戻る>テキスト生成系（Transformer系）]] > [[教育系>テキ...
--LLM Engineering：Master AI、Large Language Models＆Agents
--[[The Complete Agentic AI Engineering Course (2025)]]
*目次 [#e3e1ba25]
#contents
*概要 [#vac8f383]
-https://www.udemy.com/course/llm-engineering-master-ai-a...
-日本語タイトル：世界10万人が学んだ講師が教えるLLM開発(日...
https://www.udemy.com/course/llm-engineering-master-ai-an...
このコースは、生成AIと大規模言語モデル（LLM）の世界に飛び...
+最初のLLM製品の構築: トップモデルとトランスフォーマーの...
企業の Web サイトをインテリジェントにスクレイピングしてナ...
+マルチモーダルChatボットの構築: LLM、 Gradio UI、エージ...
UI と関数呼び出しを備えた航空会社向けのマルチモーダル顧客...
+OSSのGen AI: Hugging Faceを使った自動化ソリューションの...
Open系モデルとClosedモデルの両方を使用して、音声から会議...
+LLM対決: コード生成とビジネスタスクのためのLLMの評価~
Python コードを最適化された C++ に変換してパフォーマンス...
+RAG をマスターする: ベクトル埋め込みと LangChain を使用...
RAG を使用して、企業関連のすべての問題の専門家になるAIナ...
+最終課題パートA – フロンティアLLMの利用とファインチュー...
フロンティアLLMと、そのとファインチューニングを使用して短...
+最終課題パートB – 価格予測でフロンティアLLMと競合できる...
価格予測でフロンティアLLMと競合できるようにファインチュー...
+最終課題パートC – LLMと連携した自律マルチエージェントシ...
LLMと連携してお買い得品を見つけ、特別バーゲンを通知する自...
-RAG、ファインチューニング、エージェントワークフローなど...
-主要な10のフロンティアLLMと10のOSS-LLMを比較検討し、与え...
*詳細 [#j613c3c6]
-前提
--座学でML/DL/LLMに関する良いことを言うケースがあるが、ソ...
--故に、Python、Notebook、ML/DN/LM、Embedding、Transforme...
--しかし、これらの前提知識（E資格相当）がなくとも、コード...
-解説
--英語版のトランスクリプトは微妙なので日本語版を選択する...
--幸いにも、詳細の解説はGitHub上にコードが配置されている...
-その他、個人的に思ったコト
--オープン系のLLMエンジニアリングの一般常識的な知識が得ら...
---開発環境：[[JupyterLab]]、[[Google Colaboratory]]、Mod...
---ツール類：[[OpenAI]]などLLMクライアント、UI（Gradio、S...
---RAG/Agent：LangChain/LlamaIndex/ChromaDB、[[OpenAI/Cre...
---ローカル系：[[Ollama]]、[[Hugging Face]] Hub/Python li...
--講師の嗜好として、プロダクト使いで概念を学ばせるが、商...
--LLMを価格推論（回帰）に使用しているのは、主要なユースケ...
--もっともニーズのある知識付与のファインチューニングにつ...
**前提ソフト [#k9c64f19]
***環境 [#m5c5df63]
-ちなみに講師のローカル環境はMACのM1だが、私は、[[WSL2 Ub...
-[[プロキシ環境下、特にSSLフォワード・プロキシでは少々手...
-ちなみに、GPUが必要になるような箇所については、[[Google ...
-GPU付きのVMを自分で準備する場合は、[[コチラ>OSSのLLM#we2...
***パッケージ [#jb3706dc]
https://github.com/ed-donner/llm_engineering/blob/main/re...
python-dotenv
jupyterlab
ipywidgets
requests
numpy
pandas
scipy
scikit-learn
matplotlib
gensim
torch
transformers
tqdm
openai
gradio
langchain
langchain-core
langchain-text-splitters
langchain-openai
langchain-chroma
langchain-community
datasets==3.6.0
matplotlib
google-generativeai
anthropic
chromadb
plotly
jupyter-dash
beautifulsoup4
pydub
modal
ollama
psutil
setuptools
speedtest-cli
sentence_transformers
feedparser
protobuf==3.20.2
wandb
-[[OpenAI]]などフロンティアLLM（クライアント）
-[[Hugging Face]]（クライアント）
-[[LangChain]]
-[[LlamaIndex]]
-[[ChromaDB>LLMのRAG#jb21532e]]
-UI（Gradio、Streamlit）
-Beautiful Soup：スクレイピング
-deep_translator：自動翻訳ライブラリ
***アプリ [#fb2336fb]
-[[JupyterLab]]
-[[Ollama]]
***サービス [#xf04b0e9]
-[[Google Colaboratory]]
-[[OpenAI]]などフロンティアLLM（サーバー）
-[[Ollama]]（サーバー）
-[[Hugging Face]]（サーバー）
--各種LLMの検索利用
--LLMデータ保存
--スペース・エンドポイント
-WandB：学習状況の可視化
-Modal：サーバーレス環境
-Pushover：プッシュ通知
**Week1 [#nb460890]
-最初のLLM製品の構築: トップモデルとトランスフォーマーの...
--GPT-4o、Claude 3.5などのフロンティアLLMを活用し、商用プ...
--企業の Web サイトをインテリジェントにスクレイピングして...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/1fto2Bu5xPDRJZs1...
***Day0 [#l4d14a4e]
Day1に含まれる内容だが、環境構築などが中心なので切り出し...
-表題
--コールドオープン：LLMエンジニアリングにいきなり飛び込む
--WindowsとMacでのローカルLLMデプロイのための[[Ollama]]設定
--ローカルLLMの力を解き放つ：[[Ollama]]でスペイン語チュー...
--LLMエンジニアリングロードマップ：8週間で初心者からマス...
--LLMアプリケーションの構築：チャットボット、RAG、エージ...
--ウォール街からAIへ：Ed DonnerがLLMエンジニアになるまで...
--LLM開発環境のセットアップ：ツールとベストプラクティス
--Macセットアップガイド：LLMプロジェクトのためのJupyter L...
--LLMエンジニアリングのためのAnacondaセットアップ：Window...
--LLMプロジェクトのための代替Pythonセットアップ：Virtuale...
--LLM開発のための[[OpenAI API]]セットアップ：キー、価格、...
--APIキーを安全に保管するための.envファイルの作成
-要約
--WindowsやMACで[[Ollama]]（C++版LLMをローカルで実行でき...
--ローカル環境で様々なLLMを試し、特に Qwen2.5の多言語理解...
--前提環境（[[Git]]、[[Anaconda or venv&pip>Python]]、[[J...
--[[ChatGPT]]、Claudeなどの強力なフロンティアLLMを使うた...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
***Day1 [#a59af573]
-表題
--すぐに成果を実感するプロジェクト：AI搭載ウェブページ要...
--[[OpenAI]]のGPT-4とBeautiful Soupを使ったテキスト要約の...
--1日目のまとめ：LLMエンジニアリングの主要な学びと次のス...
-要約
--ウェブページをBeautifulSoupでスクレイピングする。
--これをフロンティアLLMに入力し要約させる。
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1MQSeUp4P-516w9t3KEA4EU...
***Day2 [#n485e7c9]
-表題
--LLMエンジニアリングをマスターする：AI開発のための主要ス...
--フロンティアLLMを理解する：GPT、Claude、OSS-LLM
--ローカルLLM推論のための[[Ollama]]の使い方：PythonとJupy...
--ハンズオンLLMタスク：テキスト要約における[[OpenAI]]と[[...
-要約
--様々なフロンティアLLM、OSSモデル、モデルの利用方法、な...
--OSSモデルの Llama をローカルで Python から呼び出し、[[D...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/12k6OQb0i83Htn_B3SoYAuZ...
***Day3 [#r32a2864]
-表題
--フロンティアLLM：GPT-4、Claude、Gemini、LLAMAの比較
--主要LLMの比較：長所とビジネス応用
--GPT-4o vs O1 Previewの探求：パフォーマンスの主な違い
--創造性とコーディング：GPT-4oのCanvas機能を活用する
--Claude 3.5のアライメントとアーティファクト作成：詳細な...
--LLM比較：気まぐれなタスクと分析的なタスクにおけるGemini...
--Meta AIとPerplexityの評価：LLM出力のニュアンス
--LLMリーダーシップチャレンジ：創造的なプロンプトによるLL...
-要約
--様々なフロンティアLLMの特徴・違い・強み・弱みを理解し、...
--複数のLLM（ChatGPT、Claude、Gemini、Cohere Command-R Pl...
--評価項目（ビジネス適合性、自己認識と能力評価、哲学的・...
--LLMによって得意・不得意があり（得意分野、限界、比較）複...
---「ハワイから17まで跳ぶのに虹はいくつ必要か？」GPT-2、G...
---GPT-4oの新機能「Canvas」を使ったインタラクティブなコー...
---Claudeの特徴「思慮深い応答」「倫理・安全性への配慮」「...
---Google Geminiはニュアンス理解が弱く、Cohere Command-R ...
---Meta AI（Llamaのフロントエンド）、Perplexity（検索エン...
--GPT-4o（Alex）、Claude 3 Opus（Blake）、Gemini 1.5 Pro...
-コンテンツ
--https://drive.google.com/file/d/1Hgb-LfN48qNw43pZH4Qjn2...
***Day4 [#od451d4b]
-表題
--リーダーシップの勝者を発表：楽しいLLMチャレンジ
--AIの旅を探る：初期モデルからトランスフォーマーまで
--LLMのパラメタを理解する：GPT-1から兆単位の重みを持つLLM...
--GPTのトークン化を解説：LLMはテキスト入力をどう処理するか
--コンテキストウィンドウがLLMに与える影響：トークン制限の...
--LLMのコストをナビゲートする：API価格 vs チャットインタ...
--LLMのコンテキストウィンドウ比較：GPT-4 vs Claude vs Gem...
--4日目のまとめ：主要な学びと実践的な洞察
-要約
--トランスフォーマーの歴史とLLMの基礎概念、創発的知能の理...
--最近のAI分野の動向（プロンプトエンジニアの台頭と衰退、...
--LLMのパラメタと規模、従来のモデルとの比較、LLMの特徴的...
--トークン（文字単位モデル、単語単位モデル）、LLMのトーク...
--コンテキストウィンドウとは「LLMが一度に参照できる過去の...
--フロンティアLLMのチャットUIとAPIの課金構造の違い、API利...
--Vellumのリーダーボードでコンテキストウィンドウとトーク...
-コンテンツ
--https://drive.google.com/file/d/1ir-9DXG-CrX5Cc2BMGtq7Z...
***Day5 [#e98b3e13]
-表題
--[[OpenAI API]]とPythonでAI搭載のマーケティングパンフレ...
--JupyterLabチュートリアル：AI搭載の会社パンフレットのた...
--LLMにおける構造化出力：AIプロジェクトのためのJSONレスポ...
--パンフレットコンテンツのレスポンス作成とフォーマット
--最終調整：JupyterLabでのマークダウンとストリーミングの...
--Multi-Shotプロンプティングをマスターする：AIプロジェク...
--課題：カスタマイズされたLLMベースのチューターを開発する
--第1週のまとめ：達成事項と次のステップ
-要約~
[[OpenAI API]]でワンショットプロンプティングしマーケティ...
--JupyterLab上でウェブスクレイピングを行い、GPT-4o miniを...
--GPT-4oを活用してウェブサイトのリンクを収集・選別し、会...
--PythonとGPT-4o miniを使った「ウェブページ情報の自動収集...
--まとめ：システムプロンプトで生成結果を制御しつつLLMを複...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1WljFFLTtxSXJ3GWA5J_m16...
-エクササイズ：自分専用の学習支援ツールを作り、GPTやLlama...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
**Week2 [#cd823d7a]
-マルチモーダルChatボットの構築: LLM、 Gradio UI、エージ...
--GradioでUI構築、マルチモーダルAIアシスタント/Chatボット...
--UI と関数呼び出しを備えた航空会社向けのマルチモーダル顧...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/1jCI353qY35jwOIh...
***Day1 [#w2161064]
-表題
--複数のAI APIをマスターする：LLMエンジニアのための[[Open...
--AIレスポンスのストリーミング：PythonでのリアルタイムLLM...
--[[OpenAI]]とClaude APIを使った敵対的AI会話の作成方法
--AIツール：開発者のためのトランスフォーマーとフロンティ...
-要約
--GPT-3.5 Turbo、GPT-4o mini、GPT-4o Max、Claude 3.5、Gem...
--複数Chatボットの会話を管理・生成する方法を学びながら、A...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1qEONBGzava3RMZMfcLPAew...
***Day2 [#b25d88bf]
-表題
--GradioでAI UIを構築する：LLMエンジニアのための迅速なプ...
--Gradioチュートリアル：[[OpenAI]] GPTのインタラクティブ...
--Gradio UIでGPTとClaudeのストリーミングレスポンスを実装...
--GradioでマルチLLMチャットインターフェースを構築：GPT vs...
--高度なAI UIの構築：[[OpenAI API]]からGradioを使ったチャ...
-要約
--Gradioで、フロントエンド開発の煩雑さを省略しLLMのプロト...
--「GradioでのシンプルなUI作成→関数呼び出し→公開URL共有」...
--GPT-4o・ClaudeのLLM選択ドロップダウン、Markdown形式かつ...
--Gradio上で複数LLM対応のストリーミングチャットUIとパンフ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/16UJl8VnPrSXn_pcP4BwuRf...
***Day3 [#pc9a1a50]
-表題
--AIチャットボットの構築：Gradioでカスタマーサポートアシ...
--[[OpenAI]]とGradioで対話型AIチャットボットを構築：ステ...
--Multi-Shotプロンプティングとコンテキスト強化によるチャ...
--AIツールをマスターする：LLMに自分のマシンでコードを実行...
-要約
--LLMを利用したChatボットの仕組みとプロンプト設計のコツを...
--重要な仕組みの解説
---LLM自体は「過去を覚えている」わけではなく、毎回すべて...
---[[OpenAI API]]はリスト形式のメッセージを特殊なトークン...
---チャット向けLLMは訓練を通じて「システム」「ユーザー」...
--例示や架空会話はワンショット／マルチショット、RAG的な情...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1-XRVeQsr1eYISgW4hynIMf...
***Day4 [#p461ec06]
-表題
--LLMでAIツールを使用する：LLMの能力を強化する
--AI航空会社アシスタントの構築：[[OpenAI]] GPT-4でツール...
--LLMにカスタムツールを装備する方法：[[OpenAI]]関数呼び出...
--AIツールをマスターする：APIで高度なLLM搭載アシスタント...
-要約
--「航空会社のカスタマーサポートエージェント」を構築し、...
--システムプロンプト設定、Gradioを使ったチャット実装、[[...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1xMsUcB8PFZF5SRcNnnlzpi...
***Day5 [#me6c71fd]
-表題
--マルチモーダルAIアシスタント：画像と音声生成の統合
--マルチモーダルAI：JupyterLabでのDALL-E 3画像生成の統合
--マルチモーダルAIエージェントの構築：音声＆画像ツールの...
--マルチモーダルAIアシスタントの構築方法：ツールとエージ...
-要約
--[[day4.ipynb>#p461ec06]]の内容にマルチモーダル化、音声...
--ツール連携・画像生成・音声出力を統合したマルチモーダル...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1MWhq8l1u2sOBjwER726Q1A...
-エクササイズ：Day5の内容に、音声入力、翻訳処理、チケット...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
**Week3 [#t4e6a9d7]
-OSSのGen AI: [[Hugging Face]]を使った自動化ソリューショ...
--[[Hugging Face]]を用いたOSS-LLM活用（Pipelines API、ト...
--Open系モデルとClosedモデルの両方を使用して、音声から会...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/drive/folders/1bb5GrJCu9KjIXQR...
***Day1 [#ja607f6a]
-表題
--[[Hugging Face]]チュートリアル：OSS-LLMとデータセットを...
--[[Hugging Face]] Hubを探る：AI開発者のためのモデル、デ...
--[[Google Colab>Google Colaboratory]]入門：機械学習のた...
--[[Google Colab>Google Colaboratory]]との[[Hugging Face]...
--[[Google Colab>Google Colaboratory]]をマスターする：[[H...
-要約
--[[Hugging Face]]公式サイトでの基本操作（アカウント作成...
--[[Google Colaboratory]]の使い方：クラウド上のNotebook環...
--[[Google Colaboratory]]上で[[Hugging Face]]のOSS-LLMの...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1qRVh6kxMwaC_AIRiGBWdL7...
***Day2 [#s8e8d87e]
-表題
--[[Hugging Face]] Transformers：PythonでAIタスクにパイプ...
--[[Hugging Face]]パイプライン：TransformersライブラリでA...
--[[Hugging Face]]パイプラインをマスターする：MLタスクの...
-要約
--[[Hugging Face]]のコード操作には大きく2つのモード「推論...
--様々なタスクのデモ、GPU（T4）を使用しテキスト解析、生成...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1IETNHXEhFMOT9vJQJ2-qvV...
***Day3 [#j201d72e]
-表題
--OSS-LLMのトークナイザを探る：Llama、Phi-2、Qwen、Starco...
--AIにおけるトークン化技術：LLAMA 3.1モデルでAutoTokenize...
--トークナイザの比較：OSS-LLMのためのLlama、PHI-3、QWEN2
--[[Hugging Face]]トークナイザ：高度なAIテキスト生成の準備
-要約
--[[Hugging Face]]の低レベルAPIを使い、トークナイザとモデ...
--準備とログイン、Llama 3.1モデルの利用、トークナイザの作...
--チャット向けLLMのinstructバリアントとそのトークナイザの...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1FxZX6qtMVbTCjKxBYaNcC8...
***Day4 [#d617e322]
-表題
--[[Hugging Face]]モデルクラス：OSS-LLMでの推論の実行
--[[Hugging Face]] Transformers：Bits & BytesでLLMを読み...
--[[Hugging Face]] Transformers：OSS-LLMでジョークを生成...
--[[Hugging Face]] Transformersをマスターする：モデル、パ...
-要約
--[[Hugging Face]]の低レベルAPIを使い、複数のOSS-LLMで推...
--[[Google Colaboratory]]でのLLM実行準備、量子化によるメ...
--モデルの次元とトークナイザを確認、入力をトークン化して ...
--小型化・量子化モデルでも十分動作、出力は関数化・ストリ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1Y3RayCrxYBxlw2bRemrjP7...
***Day5 [#lb49aeed]
-表題
--フロンティアLLMとOSS-LLMを組み合わせた音声テキスト要約
--[[Hugging Face]]と[[OpenAI]]を使ったAIによる議事録生成
--合成テストデータ生成ツールの構築：ビジネス向けOSS-LLM
-要約：会議の議事録作成アプリケーションの構築
--[[Hugging Face]]のMeetingBankで入手可能な米国の議会音声...
--音声録音をWhisper-1 モデルでテキストに変換（フロンティ...
--議事録をLlama 3.1 8B instructで作成（オープンソースLLM）
--要約、アクションアイテム、担当者の抽出
--結果をMarkdownでストリーミング表示
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1kM1ubrzpcM6FvyCYkWsbrf...
-エクササイズ
--指定した条件に応じて合成の個人情報データセットを生成
--https://github.com/ed-donner/llm_engineering/tree/main/...
**Week4 [#oa3eab63]
-LLM対決: コード生成とビジネスタスクのためのLLMの評価
--LLM選択とベンチマーク、コード生成課題（Python → 高速C++...
--Python コードを最適化された C++ に変換してパフォーマン...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/1BmGfacX2Sny6ACi...
***Day1 [#hcde7af3]
（座学）
-表題
--適切なLLMの選択方法：オープンソースLLMとクローズドソー...
--チンチラ・スケーリング則：LLMのパラメタと学習データサイ...
--LLMベンチマークの限界：過学習と学習データ漏洩
--LLMの評価：明かされる6つの次世代ベンチマーク
--[[Hugging Face]] OpenLLM Leaderboard：OSS-LLMの比較
--LLMリーダーボードをマスターする：オープンソースLLMとク...
-要約
--ベンチマークやリーダーボードを活用しつつ、コスト・性能...
--[[LLMの「パラメタ数と学習データ量のバランスを示すスケー...
-コンテンツ
--https://drive.google.com/file/d/1D1DYGD0Z4aYVRhGft99A4r...
***Day2 [#o5116b0b]
（座学）
-表題
--LLMの比較：LLMを評価するためのトップ6リーダーボード
--専門LLMリーダーボード：ユースケースに最適なLLMを見つける
--LLAMA vs GPT-4：コード生成のためのLLMのベンチマーク
--人間評価によるLLM：LM Sys Chatbot Arenaを理解する
--LLMの商用応用：法律から教育まで
--コード変換プロジェクトのためのフロンティアLLMとオープン...
-要約
--[[LLMを比較・選定するための多様なリーダーボードやアリー...
--Chatボット・アリーナは人間によるLLM比較投票の場であり、...
--LLMの商業的利用例を5つの分野で紹介：法律分野（Harvey）...
-コンテンツ
--https://drive.google.com/file/d/1Dq33avENp1oQ7TbiEs9CjD...
***Day3 [#mcde8125]
-表題
--高性能C++コード生成のためのフロンティアLLMの活用
--コード生成のためのトップLLM比較：GPT-4 vs Claude 3.5 So...
--LLMによるPythonコードの最適化：GPT-4 vs Claude 3.5
--コード生成の落とし穴：LLMがエラーを生成する時
--驚異的な速さのコード生成：ClaudeがPythonを13,000倍上回...
--LLMによるコード生成のためのGradio UIの構築
--C++コード生成の最適化：GPTとClaudeのパフォーマンス比較
--コード生成におけるGPT-4とClaudeの比較：パフォーマンスベ...
-要約
--商業的価値のあるソリューションを構築し、LLM（フロンティ...
--円周率計算/最大部分配列和のPythonコードを効率的なC++に...
--リーダーボードでのLLM比較の確認と、PythonコードをC++に...
--GPT-4oとClaude 3.5 Sonnet、もしくは、GPT-4.1を切り替え...
--「Pythonコードを入力 → LLMを切り替えつつC++にストリーミ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1IFYmxpkC45XbhXVJwWr2Tu...
***Day4 [#ffcd9f46]
-表題
--コード生成のためのオープンソースLLM：[[Hugging Face]]エ...
--コード生成LLMのための[[Hugging Face]]推論エンドポイント...
--コード生成のためのオープンソースLLMとフロンティアLLMの...
--コード生成の比較：GPT-4、Claude、CodeQuen LLM
--LLMによるコード生成をマスターする：技術とLLM選択
-要約
--[[Day3>#mcde8125]]のタスクにおいて、オープンソースLLMが...
--CodeQwen、CodeGemmaを[[Hugging Face]]の Inference Endpo...
--[[Day3>#mcde8125]]の実装を更に改良（UX向上、拡張対応（L...
--結論としては、当然、オープンソースLLMよりもフロンティア...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/146h-zEsdVAJOhO13WzxUn0...
***Day5 [#maac6fa5]
（座学）
-表題
--LLMパフォーマンスの評価：モデル中心 vs ビジネス中心のメ...
--LLMコード生成をマスターする：Python開発者のための高度な...
-要約
--生成AIの評価方法にモデル中心（技術的指標）とビジネス中...
--課題の提案：既存ソリューションの調整（モデル追加）、新...
-コンテンツ
--https://drive.google.com/file/d/1Axdza1LFxqzMsMccmjpmEG...
--https://github.com/ed-donner/llm_engineering/tree/main/...
**Week5 [#d1e72416]
-RAG をマスターする: ベクトル埋め込みと LangChain を使用...
--RAG（検索拡張生成）を学び、自分用RAGパイプラインを構築
--架空の保険テクノロジー企業「Insure」を題材に、シンプル...
--RAG を使用して企業関連のすべての問題の専門家になるAIナ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/12D0yUoT9THr8D0p...
***Day1 [#v553c4ec]
-表題
--RAGの基礎：外部データを活用してLLMのレスポンスを改善する
--DIY RAGシステムの構築：検索拡張生成の実装
--ベクトル埋め込みを理解する：RAGとLLM検索の鍵
-要約
--従業員の姓をキー、HR記録を値とする辞書は、文字列の完全...
--RAGの重要な要素であるベクトル埋め込み（テキストの意味を...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1zi0I3euFSirMtCrsAS9o09...
***Day2 [#v2a2d1d8]
-表題
--LangChainを解き明かす：LLMアプリケーションのためのRAG実...
--LangChainテキスト分割チュートリアル：RAGシステムのため...
--ベクトルデータベースの準備：RAGにおける[[OpenAI]]埋め込...
-要約
--LangChainはRAGやLLMアプリケーションの開発を効率化する便...
--LangChainを用いたドキュメントの読み込み、チャンク分割、...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1_Ym0JP9Rt6S5ddAkaMd5Fa...
***Day3 [#z2b43f18]
-表題
--ベクトル埋め込みをマスターする：LLMエンジニアリングのた...
--埋め込みの可視化：t-SNEで多次元空間を探る
--RAGパイプラインの構築：ベクトルから埋め込みまでLangChai...
-要約
--[[OpenAI]] Embeddingsでチャンクをベクトルに変換し、[[Ch...
--このベクトルを2Dや3Dに次元削減して散布図を作成し可視化...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/19WwAIU-lgRgLYIinJAzs89...
***Day4 [#w68b8ce3]
-表題
--RAGパイプラインの実装：LangChainにおけるLLM、リトリーバ...
--検索拡張生成をマスターする：ハンズオンLLM統合
--RAGパイプラインをマスターする：効率的なRAGシステムの構築
-要約
--LangChainの3つの抽象化（LLM、Retriever、Memory）を使い...
--最後にInsureの知識ベースを活用したRAGパイプラインが、シ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1RV4_2kvcbZBh0rtWxaXDiO...
***Day5 [#s8c5840f]
-表題
--RAGシステムの最適化：一般的な問題のトラブルシューティン...
--ベクトルストアの切り替え：LangChain RAGパイプラインにお...
--LangChainを解明する：RAGパイプライン構築の舞台裏
--RAGのデバッグ：LangChainでのコンテキスト検索の最適化
--パーソナルAIナレッジワーカーを構築する：生産性向上のた...
-要約
--LangChainのDSL言語や内部動作、RAGの一般的な問題の診断・...
--RAGのエキスパートからマスターへ（VDB切替とLangChainの抽...
--プロジェクトのトレースの結果、RAGシステムが適切なチャン...
--チャンキング戦略の見直、オーバーラップ調整、チャンク数...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1KdhhLgA5js1Ulwj9-8txpJ...
-エクササイズ
--RAGを応用し、個人的なAIアシスタントを構築することで、個...
--https://github.com/ed-donner/llm_engineering/tree/main/...
**Week6 [#mf684991]
-最終課題パートA – フロンティアLLMの利用とファインチュー...
--ビジネス課題を設定、従来のMLモデルとフロンティアLLM、フ...
--製品の説明文から価格を推定するeコマースにおける回帰モデ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/1AX8xV-9Keqay6GJ...
***Day1 [#pc018250]
-表題
--ファインチューニングLLM：推論から学習へ
--LLMファインチューニングのためのデータセットの発見と作成...
--製品説明に関するLLMファインチューニングのためのデータキ...
--学習データの最適化：LLMファインチューニングのためのスク...
--LLMパフォーマンスの評価：モデル中心 vs ビジネス中心のメ...
-要約~
LLMのファインチューニングやRAGプロジェクトに不可欠なデー...
--データは自社データ、[[Kaggle]]、[[Hugging Face]]などか...
--学習に適したデータセットを構築するため6ステップ（データ...
--実際のデータセット構築（データセットの分析と課題の洗い...
--ファインチューニング用データクレンジング（不要なテキス...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1fxmuy_z46zxSJK2lekyVFi...
***Day2 [#vd44cba8]
-表題
--LLMデプロイメントパイプライン：ビジネス問題から本番ソリ...
--プロンプティング、RAG、ファインチューニング：各アプロー...
--LLMの本番化：LLMを大規模にデプロイするためのベストプラ...
--LLM学習のための大規模データセットの最適化：データキュレ...
--LLM学習のためのバランスの取れたデータセットの作成方法：...
--データセットキュレーションの最終化：価格と説明の相関分析
--[[Hugging Face]]で高品質なデータセットを作成し、アップ...
-要約
--[[Hugging Face]]からAmazonの複数カテゴリの280万件以上の...
--データの不均衡の是正（価格の偏り、カテゴリの偏り）し約4...
--LLMをビジネス上の問題に適用するための5段階の戦略
---理解 (Understand)：ビジネス要件、成功の測定方法、非機...
---準備 (Prepare)：既存のソリューションを調査してベンチマ...
---選択 (Select)：準備段階で定めた基準に基づき、最も適し...
---カスタマイズ (Customize)：RAGやファインチューニングな...
---製品化 (Productize)：LLMを本番環境に導入する方法につい...
--LLM最適化の3つの主要なアプローチ（プロンプティング、RAG...
---プロンプティング：最も手軽で低コストだが、コンテキスト...
---RAG：大量のデータを効率的に処理できスケーラブルだが、V...
---ファインチューニング：強力な手段になり得るが、構築が難...
--AIプロジェクトを本番稼働させるための5つのステップ
---理解（ステップ1）: 課題特定、成功指標定義、必要なデー...
---準備（ステップ2）: データセットの収集・前処理・特徴量...
---選択（ステップ3）: ベースモデルや適用する技術の選択
---カスタマイズ（ステップ4）: チューニングやカスタマイズ
---本番稼働（ステップ5）: ~
・APIの定義と構築: LLMを呼び出すためのAPIを定義し、オープ...
・デプロイと監視: LLMとAPIをどのようにホストし、デプロイ...
・継続的な改善: ビジネス指標を測定し、LLMの再学習やパフォ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1dsmLNi8I7GEdzmzWWCxRTx...
***Day3 [#pe1f8ba1]
-表題
--特徴量エンジニアリングとBag of Words：NLPのためのMLベー...
--MLにおけるベースラインモデル：単純な予測関数の実装
--Amazon製品価格予測モデルのための特徴量エンジニアリング...
--LLMパフォーマンスの最適化：高度な特徴量エンジニアリング...
--LLMファインチューニングのための線形回帰：ベースラインモ...
--Bag of Words NLP：MLにおけるテキスト分析のためのCount V...
--サポートベクター回帰 vs ランダムフォレスト：機械学習対決
--従来のMLモデルの比較：ランダムからランダムフォレストまで
-要約
--伝統的な機械学習手法で、商品説明文から価格をどれだけ正...
---特徴量エンジニアリング: データから価格を予測するための...
---ベクトル化：BoW: 単語の出現回数を数えベクトル化、Word2...
---回帰モデルの使用：LinearRegression、LinearSVR、RandomF...
---以降コレラをまとめた予測関数をテスト用クラス「Tester」...
--Testerから、以下のような結果が得られる。
---Random: Error: $340
---Average: Error: $145
---Features & LinearRegression: Error: $140
---BoW & LinearRegression: Error: $115
---Word2Vec & LinearRegression: Error: $115
---Word2Vec & LinearSVR: Error: $115
---Word2Vec & RandomForestRegressor: Error: $100
※ BoWの次元は1000、Word2Vecの次元は400だったこともあり。
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1dFJqidIDSdXKuR0AzbOXin...
***Day4 [#zadf098f]
-表題
--フロンティアLLMの評価：ベースラインフレームワークとのパ...
--人間 vs AI：フロンティアLLMにおける価格予測パフォーマン...
--GPT-4o Mini：価格推定タスクのためのフロンティアLLM評価
--GPT-4とClaudeの比較：価格予測タスクにおけるLLMパフォー...
--フロンティアAIの能力：従来のMLモデルを上回るLLM
--[[OpenAI]]によるLLMのファインチューニング：データ準備、...
-要約
--[Day3>#pe1f8ba1]]の価格を推定を人間による予測、フロンテ...
--価格予測をする場合、assistant role の最後の数文字の次単...
--Testerから、以下のような結果が得られる。
---Human: Error: $126
---gpt_4o_mini: Error: $80
---gpt_4o_frontier: Error: $75
---claude_3.5_sonnet: Error: $100
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1Ku5zRxMHl3CgcOaxBL9Rfy...
***Day5 [#u3292293]
-表題
--LLMのファインチューニングのためのJSONLファイルの準備方法
--ステップバイステップガイド：[[OpenAI API]]でGPTファイン...
--LLMのファインチューニング：Weights & Biasesで学習損失と...
--ファインチューニングされたLLMメトリクスの評価：学習損失...
--LLMファインチューニングの課題：LLMのパフォーマンスが向...
--フロンティアLLMのファインチューニング：最適化のための課...
-要約
--フロンティアLLMをファインチューニングする3つのステップ...
--[[OpenAI]]は50～100個のサンプルを推奨しているが、このセ...
--学習データと検証データは、JSON Lines（.jsonl）という特...
--JSONLファイルを、[[OpenAI API]]を使ってアップロードして...
--ファインチューニングの結果は、Weights & Biases（WandB）...
--学習は10-15分で終わり通知される。エポックを数回繰り返す...
--ファインチューニング済みLLM名を渡してAPIを呼び出しテス...
--Testerから、以下のような結果が得られる。
---gpt_Fted: Error: $91
---ビジネス指標（合計差額）が悪化（素の方が精度が高かった）
---しかし、1000を超えるような非常に高い外れ値の予測が是正...
--フロンティアLLMにおけるファインチューニングの主な目的（...
>
+プロンプトでは実現できない初期出力のスタイルやトーンを設定
+フォーマットなど特定の種類の出力を生成する際の信頼性を向...
+複雑なプロンプトに従えない問題を修正し従順性を高める
+エッジケース（例外的な入力）に対処する
+プロンプトでは難しい新スキル・タスクを実行
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/14HyYM4q2LAyXh87hdHnzN_...
**Week7 [#p7a51156]
-最終課題パートB – 価格予測でフロンティアLLMと競合できる...
--OSS-LLMをファインチューニングし、フロンティアLLMに匹敵...
--[[LoRA（Low-Rank Adaptation of Large Language Models）...
--価格予測でフロンティアLLMと競合できるようにファインチュ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/1ULCcnhgfj-8WApZ...
***Day1 [#x5dd7b82]
-表題
--パラメタ効率の良いファインチューニングをマスターする：L...
--LoRAアダプタ入門：低ランク適応の解説
--QLoRA：LLMの効率的なファインチューニングのための量子化
--LLMの最適化：QLoRAファインチューニングにおけるR、Alpha...
--パラメタ効率の良いファインチューニング：[[Hugging Face]...
--LLMを量子化する方法：8ビット精度でLLMサイズを削減する
--二重量子化とNF4：4ビットLLM最適化のための高度な技術
--PEFTモデルを探る：LLMファインチューニングにおけるLoRAア...
--LLMサイズの概要：量子化されたLLMとファインチューニング...
-要約
--QLoRA（Quantized LoRA）は、LLMを限られたGPUメモリ上で動...
--QLoRAの3つの主要ハイパーパラメタ（R、α、ターゲットモジ...
--[[Google Colaboratory]]上で[[Hugging Face]]のPEFTライブ...
--QLoRAの設定を行うことで、Llama 3.1のGPUメモリの消費量が...
--4ビット量子化をすると、32ビット → 4ビットなので、大凡 4...
--LoRAでは学習されるパラメタが追加されサイズが増えるが、P...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1ZyFC4KkTJ9lNL00rrtXu_n...
***Day2 [#ce5e238d]
-表題
--LLMのファインチューニングに最適なベースモデルの選択方法
--最適なベースモデルの選択：[[Hugging Face]]のLLMリーダー...
--トークナイザの探求：LLAMA、QWEN、その他のLLMの比較
--LLMパフォーマンスの最適化：Llama 3.1の読み込みとトーク...
--LLMへの量子化の影響：パフォーマンス・メトリクスとエラー...
--LLMの比較：パラメタ効率の良いチューニングにおけるGPT-4 ...
-要約
--[[Hugging Face]] Open LLMリーダーボードを使用してLLMを...
--リーダーボードのスコア、インストラクト版の性能、トーク...
--Llama 3.1、Qwen2、Gemma 2、Phi-3などのトークナイザを比...
--[[Hugging Face]] Hubからデータを読み込み、Llama 3.1を使...
--Testerから、以下のような結果が得られる。
---Llama 3.1（4ビット量子化） : Error: $395
---Llama 3.1（8ビット量子化） : Error: $301
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1eep3nry2eSDzmANnKTtVjI...
***Day3 [#m0cc1c1d]
-表題
--QLoRAハイパーパラメタ：LLMのファインチューニングをマス...
--モデル学習におけるエポックとバッチサイズの理解
--学習率、勾配蓄積、オプティマイザの解説
--ファインチューニングのための学習プロセスの設定
--LLMの4ビット量子化LoRAファインチューニングのためのSFTTr...
--LLMのファインチューニング：QLoRAで学習プロセスを開始する
--Weights & Biasesによる学習の監視と管理
-要約
--SFTTrainerセットアップ前にハイパーパラメタを解説（既出...
--基本的なハイパーパラメタ、エポック、バッチサイズ、学習...
--バッチサイズを大きくすると、GPUメモリ消費量が大きくなる...
--Llama 3.1 8Bのファインチューニング概要
---Colab環境（4bitのQLoRAでT4でもできるが、講師はA100を使...
---ライブラリとツール（[[Hugging Face]]のTRL、SFTTrainer...
---データの最大シーケンス長は、GPUメモリに収まるように182...
---データセットは40万件、時間がかかるので、特定カテゴリ2...
--Llama 3.1 8Bのファインチューニング詳細
---[[Hugging Face]]（プル＆プッシュ）とWandB（モニタリン...
---DataCollatorForCompletionOnlyLMを使って、LLMがプロンプ...
---T4でセッションが切れたり、カーネルリスタートが発生する...
---講師はGPUメモリを38/40GB使用、T4を使用する場合は、バッ...
---ちなみに、過学習の傾向が出るためフロンティアLLMと同様...
---（余談：「XXXXはYYYYだ。」と言う100個程度の事実を学習...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1R9b9z3hzmGsKAf1TZDiRPp...
***Day4 [#mca24b20]
-表題
--学習コストを低く抑える：効率的なファインチューニング戦略
--効率的なファインチューニング：QLoRA学習に小規模データセ...
--Weights and BiasesチャートでLLMファインチューニングの進...
--高度なWeights & Biasesツールと[[Hugging Face]]でのモデ...
--エンドツーエンドのLLMファインチューニング：問題定義から...
-要約
--[[Day3>#m0cc1c1d]]で行ったファインチューニングの結果の...
--[[Hugging Face]]をチェックし、Xステップ毎の重みのリビジ...
--WandBをチェックし、深層学習の特徴的な精度向上・損失低下...
---学習序盤の急激な精度向上は「大きな誤差の修正」「簡単な...
---エポックを繰り返した際の再学習で過学習の「可能性」を確...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1TvsWXPnHv5N7aMY8d__puQ...
***Day5 [#i844edb1]
-表題
--LLM学習の4つのステップ：順伝播から最適化まで
--QLoRA学習プロセス：順伝播、逆伝播、損失計算
--モデル学習におけるソフトマックスと交差エントロピー損失...
--ファインチューニングの監視：LLM学習分析のためのWeights ...
--表彰台を再訪：モデルパフォーマンス・メトリクスの比較
--独自のファインチューニング済みLLMのビジネスメトリクスに...
--結果の可視化：GPT-4に勝ったか？
--LLMのハイパーパラメタチューニング：PEFTでモデルの精度を...
-要約
--言語モデルの理論的背景の振り返り（[[言語処理（AI）]] ->...
--ファインチューニングしたLLMを[[Hugging Face]]から取得し...
--ちなみに、以下の「 + α」とは、「上位トークンの確率を使...
--Testerから、以下のような結果が得られる。
---Llama 3.1 FTed: Error: $52
---Llama 3.1 FTed + α: Error: $47
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1VBE2VoDJV4K2uNXhcd5rus...
**Week8 [#n0250424]
-最終課題パートC – LLMと連携した自律マルチエージェントシ...
--最後にこれまでの知識と技術をすべて活用して複数のエージ...
--価格比較プラットフォーム「The Price is Right」はRSSを購...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/tree/main/...
--https://github.com/OpenTouryoProject/DxCommon/tree/mast...
--https://drive.google.com/drive/folders/16iDKfT0SmXpMk_G...
***Day1 [#va18fb20]
-表題
--ファインチューニングからマルチエージェントシステムへ：...
--自動取引発見システムのためのマルチエージェントAIアーキ...
--Modalを解き明かす：サーバーレス環境にLLMにデプロイする
--クラウド上のLLAMA：LLMを効率的に実行する
--サーバーレスLLM価格設定APIの構築：Modalによるステップバ...
--複数の本番LLMが控える：高度なRAGソリューションの準備
-要約
--「The Price is Right」は7つのエージェントが連携して動作...
---プランニング・エージェント: 下記のエージェントを統合。
---スキャナー・エージェント: RSSフィードからセール情報を...
---メッセージング・エージェント: お得なセール情報をプッシ...
---アンサンブル・エージェント: 3つのモデル（FTed-LLM、RAG...
--FTed-LLMはサーバーレス・プラットフォームのModal.com上で...
--同様に（フロンティアLLM＋）RAG、回帰モデルをエージェン...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/18vMkpZQ5ItOj-kRVSDNp2l...
***Day2 [#s76d167b]
-表題
--エージェントワークフローの実装：RAGにおけるフロンティア...
--大規模Chromaベクトルデータストアの構築：高度なRAGパイプ...
--ベクトル空間の可視化：データ探索のための高度なRAG技術
--RAGのための3D可視化技術：ベクトル埋め込みの探求
--類似製品の発見：LangChainなしでRAGパイプラインを構築する
--RAGパイプラインの実装：検索技術でLLMを強化する
--ランダムフォレスト回帰：トランスフォーマーとMLで価格予測
--アンサンブルモデルの構築：LLM、RAG、ランダムフォレスト...
--まとめ：マルチエージェントシステムとRAG統合の最終化
-要約
--ちなみに、今回のRAGモデルはLangChainを使用せず[[ChromaD...
--また、埋込モデルには、Sentence Transformerという[[Huggi...
--2.0: Sentence Transformerで埋め込みベクトル化し[[Chroma...
--2.1-2: ベクトルを2Dと3Dで可視化し、上手くベクトル化（空...
--2.3: （フロンティアLLM＋）RAGを作成「Tester」でテストデ...
--2.4: 分類木を作成し更にアンサンブル（FTed、RAG、分類木...
--Testerから、以下のような結果が得られる。
---gpt_4o_mini + RAG: Error: $48
---RandomForest: Error: $100
---Ensemble: Error: $55-50
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1h127QjGAvBht2KugX26LD3...
***Day3 [#x94f383d]
-表題
--構造化出力でAIエージェントを強化する：PydanticとBaseMod...
--RSSフィードのスクレイピング：AI搭載の取引選択システムの...
--AIにおける構造化出力：詳細な取引選択のためのGPT-4の実装
--AIワークフローの最適化：正確な価格認識のためのプロンプ...
--自律型エージェントをマスターする：マルチエージェントAI...
-要約
--スキャナー・エージェントで使う[[構造化出力>LlamaIndex#k...
--[[構造化出力>LlamaIndex#k86bd814]]と、以前学んだ[[Funct...
--スキャナー・エージェントを実装（RSSフィードからセール情...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1u1J52WX8G-RGFThtBctKbB...
***Day4 [#m2dd4fea]
-表題
--エージェントAIの5つの特徴：自律性、計画、メモリ
--エージェントAIシステムの構築：Pushoverを通知に統合する
--エージェントAIの実装：自動化ワークフローのための計画エ...
--エージェントフレームワークの構築：LLMとPythonコードの接続
--エージェントワークフローの完成：ビジネスアプリケーショ...
-要約
--メッセージング・エージェントの実装（お得なセール情報をP...
--プランニング・エージェントの実装（各エージェントを統合...
--余談：エージェントの特徴（自律性、タスク分割、プランニ...
--最後にエージェント・フレームワークを開発（主にエージェ...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1Z9ICRZEbPFD4hKLbdnv2uu...
***Day5 [#j6da5afc]
-表題
--自律型AIエージェント：人間の入力なしでインテリジェント...
--GradioによるAIエージェント：自律型システムのための高度...
--エージェントAIソリューションのためのGradio UIの最終化
--AIエージェントUIの強化：リアルタイムログ可視化のためのG...
--結果の分析：エージェントフレームワークのパフォーマンス...
--AIプロジェクトの振り返り：LLMエンジニアになるための8週...
-要約
--Gradioを使ってユーザーインターフェースを構築し、ワーク...
--UIでは定期的にエージェント・フレームワークを実行、セー...
-コンテンツ
--https://github.com/ed-donner/llm_engineering/blob/main/...
--https://github.com/OpenTouryoProject/DxCommon/blob/mast...
--https://drive.google.com/file/d/1pg57gYBEOsUUH28wJmCGqg...
*参考 [#h778d673]
**コード [#j4ef8292]
-https://github.com/ed-donner/llm_engineering/
-日本語化：https://github.com/OpenTouryoProject/DxCommon/...
**スライド [#h93d4d7b]
https://drive.google.com/drive/folders/1JwNorpRHdnf_pU0GE...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
