「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
OSS（オープンソース）のLLMは、ローカルマシンやオンプレミス環境で動作可能なものが多く、
クラウドサービスに依存せずに利用でき、機密情報を扱うクローズドな環境でも安全に導入できる。
詳細 †
注意点 †
ライセンスの確認 †
- ライセンス形態を確認し、商業利用や再配布の条件を理解。
- ライセンス条項を確認しプロジェクトやビジネスへの適用可能性を評価。
※ OSSのライセンス
コミュニティの活発度 †
コミュニティの活動状況を確認。
- 活発なコミュニティは、
- 質問やサポートを得易い。
- バグ修正や機能改善が迅速に行われる可能性が高い。
ベンチマークと評価 †
- 性能を評価するためのベンチマークテストを実施。
- 既存のベンチマーク結果や評価レポートを確認
- 自社の使用ケースに対する適用性を検討。
性能とスケーラビリティ †
- 項目
- モデルの性能（応答速度、精度）
- スケーラビリティ（負荷分散、水平スケーリング）
ハルシネーション・バイアスなど †
- LLMの生成する出力が虚偽情報や偏見を含む可能性があるため注意。
- これらの問題を緩和するための対策（フィルタリング、ポスト・プロセッシングなど）を講じる。
メンテナンスとサポート †
OSS LLMのメンテナンス体制とサポート体制を確認。
- 商用版のサポートがあるか？
- 開発が活発に行われているか？
- バグフィックスやセキュリティ・アップデートが定期的に提供されているか？
カスタマイズの容易さ †
- 自社のニーズに合わせたカスタマイズの容易さを評価。
- 開発が簡単かどうかを確認
- コードの理解し易さ
- ドキュメントの充実度
- プラグインやエクステンション
データ保護 †
モデルのトレーニングや推論に使用するデータの保護を確認。
- 著作権侵害や情報漏洩に繋がらないように対策が施されていることを確認
- なお、アクセス制御、セキュリティ対策は構築で確保する。
モデル †
Llama †
- Metaによって開発、リコーなどで導入事例あり。
- 事前学習済みのLlamaを動かす情報はネットにも確認できる。
Gemma †
- Googleによって開発、企業での導入事例は発見できず。
- 事前学習済みのGemmaを動かす情報はネットにも確認できる。
Phi-3 †
- MicrosoftがSLM(Small Language Model)として開発したPhi-3、企業での導入事例は発見できず。
- 事前学習済みのPhi-3を動かす情報はネットにも確認できる。
Mixtral †
- Mistral AIによって開発、SB、楽天、トヨタなどで導入事例あり。
- 事前学習済みのMistral AIを動かす情報はネットにも確認できる。
Falcon †
アブダビのTechnology Innovation Institute（TII）によって開発
BLOOM †
BigScience?という協力的AI研究ワークショップによって開発
EleutherAI †
草の根の非営利の人工知能研究グループによって開発
Qwen2 †
- アリババによって開発、企業での導入事例は発見できず。
- 事前学習済みのQwen2を動かす情報はネットにも確認できる。
CodeGen? †
Salesforceが提供するLLM
Databricks †
AI/BI系のプラットフォームベンダで、色々なOSSをホストしている。
フォーマット †
GGML、GGUF、GPTQは、主にLLMの軽量化・実行する際の 形式・技術・ツール
| 項目 | GGML | GGUF | GPTQ |
| 種類 | 実行ライブラリ | モデルフォーマット | 量子化技術・ツール |
| 主な用途 | 軽量モデルの実行 | モデル配布・互換性統一 | モデルの圧縮（量子化） |
| 関連技術 | llama.cpp | llama.cpp, koboldcpp など | ExLlama?, AutoGPTQ など |
| 主な形式 | .bin（旧） | .gguf（新） | .safetensors, .bin |
GGML †
（Georgi Gerganov's ML Library）
- C/C++で書かれた、軽量な機械学習ライブラリ。
- 特にCPUやGPUなしでもLLMを推論できるよう最適化
- 低リソース環境での高速なモデル実行
- モデルの独自バイナリ形式（→GGUFへと進化）
GGUF †
（GGML Universal Format）
- GGML形式の進化形の後継で、より汎用性と互換性を持たせた。
- メタデータ、トークナイザ、量子化情報を1ファイルに格納、配布・利用を標準化。
- 多くのローカル実行系（llama.cpp、text-generation-webuiなど）が対応
GPTQ †
（GPT Quantization）
- PyTorchベースのLLMに対する ポストトレーニング量子化（Post-training Quantization）ツール
- サイズと推論コスト（メモリ・速度）を大幅に削減し、精度も保つ。
- 2bit, 3bit, 4bitなどへの量子化が可能
- Transformer層ごとに最適なスケーリングを行うことで、精度を最大限維持
- よく使われる形式
- 旧：gptq_model.bin
- 新：HuggingFace?形式 + GPTQ config
| 項目 | 旧形式 | Hugging Face形式 |
| ファイル形式 | PyTorchバイナリ（.bin） | HF標準（.safetensors, .json, .model） |
| 互換性 | 限定的（専用コード必要） | AutoGPTQ, transformers 互換 |
| 配布 | zipやgitで配布 | Hugging Face Hubで共有 |
| 安全性・速度 | 通常の.binは非検証 | .safetensorsで検証＆高速 |
| 推奨度 | 過去の形式、現在は非推奨 | 標準化されており現在の主流・推奨 |
検環環境 †
VM費用見積もり
稼働時間 †
5（営業日/週） * 4（週/月）* 3（時間/日）＝ 60（時間/月）で見積もり
※ 1か月フル稼働は730時間なので30/730=0.04ヵ月分（つまり、以下の「/月」は、=0.04ヵ月分）
VMサイズ †
- LLaMA 3 1B、Phi-3はノートPCでも動作する。
- LLaMA 3 8Bに必要なVMサイズは、
- AWSでg4dn.xlarge、AzureでNC4as_T4_v3辺りで、
- NC4as_T4_v3 - NC16as_T4_v3辺りで見積もると、0.5-1万/月程度、
- これは一か月上げっぱなすと10-20万
- 小さなモデルをファインチューニングをする場合、
- 24GBほどのVRAMが必要で、
- AzureでNC6s_v3や、NC24ads_A100_v4位のスペックが必要。
- NC6s_v3だと2万、NC24ads_A100_v4だと2.5万/月（これも行けそう）
- これは一か月上げっぱなすと50-60万
- LLaMA 3 70Bを稼働させる場合、
- AWSでg5.xlarge、AzureでND96asr_A100_v4辺り
- ND96asr_A100_v4だと10万/月（無理（笑））
- これは一か月上げっぱなすと250万
- A100は1枚で$11,000（約163万円）
付帯費用 †
Azureバッション2万/月など
実費総額 †
コレはミニマム環境なので、予算としては、5万/月ほどあると良さそう。
参考 †
Notebook †
VM費用見積もり †
- AWS：g4dn.xlarge、Azure：NC4as_T4_v3 （￥91/時）
- ColabのGPU → A100は、AzureのNC_A100_v4シリーズ、NC24ads_A100_v4相当（￥682/時）
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
