「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
いろいろある
- 破壊的に変更によりコードがすぐに動かなくなる。
- ネットやGPTの情報より、公式サイトの当該バージョンの情報（≒一次情報）を当たると良い。
詳細 †
クライアント †
ツール †
- LLMを自作プログラムの実行環境と接続するライブラリ
- プロンプトに、Chat履歴を含めたり、RAGをしたりするのに必要。
- RAGなどのインフラを構築する。
- LLMと外部データを接続するためのI/Fを提供
- テキストをある単位でチャンク分割する処理を行う。
- 以下のような処理も追加されつつある模様。
- エージェントの構築
- ワークフローの構築
- 構造化データ抽出
- LLMマルチ・エージェント・システムを構築するためのOSSフレームワーク
- 複数のLLMエージェントが相互作用する仕組みで遂行能力の向上が期待される。
ローコード †
フロントアプリ作成（データパイプラインの構築と管理）をサポートするローコード・ツール
検環 †
VM費用見積もり
稼働時間 †
5（営業日/週） * 4（週/月）* 3（時間/日）＝ 60（時間/月）で見積もり
※ 1か月フル稼働は730時間なので30/730=0.04ヵ月分（つまり、以下の「/月」は、=0.04ヵ月分）
VMサイズ †
- LLaMA 3 1B、Phi-3はノートPCでも動作する。
- LLaMA 3 8Bに必要なVMサイズは、
- AWSでg4dn.xlarge、AzureでNC4as_T4_v3辺りで、
- NC4as_T4_v3 - NC16as_T4_v3辺りで見積もると、0.5-1万/月程度、
- これは一か月上げっぱなすと10-20万
- 小さなモデルをファインチューニングをする場合、
- 24GBほどのVRAMが必要で、
- AzureでNC6s_v3や、NC24ads_A100_v4位のスペックが必要。
- NC6s_v3だと2万、NC24ads_A100_v4だと2.5万/月（これも行けそう）
- これは一か月上げっぱなすと50-60万
- LLaMA 3 70Bを稼働させる場合、
- AWSでg5.xlarge、AzureでND96asr_A100_v4辺り
- ND96asr_A100_v4だと10万/月（無理（笑））
- これは一か月上げっぱなすと250万
- A100は1枚で$11,000（約163万円）
付帯費用 †
Azureバッション2万/月など
実費総額 †
コレはミニマム環境なので、予算としては、5万/月ほどあると良さそう。
参考 †
クライアント †
ツール †
ローコード †
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
