「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models/
このコースは、生成AIと大規模言語モデル（LLM）の世界に飛び込みたいと願う、AIエンジニア、データサイエンティスト、そして開発者を目指す方に最適です。わずか8週間で、実践的なアプリケーションを構築し、最先端の技術を習得することで、AIへの理解を飛躍的に深めることができます。急速に進化するAI業界で、他社との差別化を図るための実践的な経験を積むことができます。ぜひご参加いただき、AIテクノロジーのリーダーへの第一歩を踏み出しましょう！
- 最初のLLM製品の構築: トップモデルとトランスフォーマーの探索
企業の Web サイトをインテリジェントにスクレイピングしてナビゲートする AI 搭載のパンフレット ジェネレーターを作成。
- マルチモーダルチャットボットの構築: LLM、 Gradio UI、エージェントの活用
UI と関数呼び出しを備えた航空会社向けのマルチモーダル顧客サポート エージェントを構築。
- OSSのGen AI: Hugging Faceを使った自動化ソリューションの構築
オープンソース モデルとクローズド ソース モデルの両方を使用して、音声から会議の議事録とアクション項目を作成するツールを開発。
- LLM対決: コード生成とビジネスタスクのためのモデルの評価
Python コードを最適化された C++ に変換してパフォーマンスを 60,000 倍向上させる AI を作成。
- RAG をマスターする: ベクトル埋め込みと LangChain を使用した高度なソリューションの構築
RAG を使用して AI ナレッジ ワーカーを構築し、企業関連のすべての問題の専門家になる。
- LoRA/QLORAを用いたFrontier大規模言語モデルの微調整
フロンティア モデルを使用して短い説明から製品の価格を予測します。
- 価格予測で Frontier と競合できるように、オープンソースモデルを微調整。
価格予測で Frontier と競合できるように微調整されたオープンソース モデルを実行。
- モデルと連携した自律マルチエージェントシステムの構築
モデルと連携してお買い得品を見つけ、特別バーゲンを通知する自律マルチエージェント システムを構築します。
- RAG、微調整、エージェントワークフローなど、LLMソリューションのパフォーマンスを向上させる最新の手法を比較対照します。
- 主要な10のフロンティアLLMと10のオープンソースLLMを比較検討し、与えられたタスクに最適な選択肢を選択できるようになります。
詳細 †
Week1 †
Day1 †
Day2 †
Day3 †
Day4 †
Day5 †
Week2 †
Day1 †
Day2 †
Day3 †
Day4 †
Day5 †
Week3 †
Day1 †
Day2 †
Day3 †
Day4 †
Day5 †
Week4 †
Day1 †
Day2 †
Day3 †
Day4 †
Day5 †
Week5 †
Day1 †
Day2 †
Day3 †
Day4 †
Day5 †
Week6 †
Day1 †
Day2 †
Day3 †
- Random: Error: $340
- Average: Error: $145
- Features&LinearRegression?: Error: $140
- CountVector?&LinearRegression?: Error: $80
Day4 †
- Human: Error: $126
- gpt_4o_mini: Error: $80
- gpt_4o_frontier: Error: $75
- claude_3.5_sonnet: Error: $100
Day5 †
- フロンティアモデルにおけるファインチューニングの主な目的（使い所はかなり限られそう）
- プロンプトでは実現できない初期出力のスタイルやトーンを設定
- フォーマットなど特定の種類の出力を生成する際の信頼性を向上させる
- 複雑なプロンプトに従えない問題を修正し従順性を高める
- エッジケース（例外的な入力）に対処する
- プロンプトでは難しい新スキル・タスクを実行
Week7 †
Day1 †
Day2 †
Day3 †
Day4 †
Day5 †
- Llama 3.1 FTed: Error: $52
- Llama 3.1 FTed + α: Error: $47
Week8 †
Day1 †
Day2 †
- gpt_4o_mini + RAG: Error: $48
- RandomForest?: Error: $100
- Ensemble: Error: $55-50
Day3 †
Day4 †
Day5 †
参考 †
コード †
https://github.com/ed-donner/llm_engineering/
スライド †
https://drive.google.com/drive/folders/1JwNorpRHdnf_pU0GE5yYtfKlyrKC3CoV
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
