![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
コミュニティの活動状況を確認。
OSS LLMのメンテナンス体制とサポート体制を確認。
モデルのトレーニングや推論に使用するデータの保護を確認。
BigScience?という協力的AI研究ワークショップによって開発
アブダビのTechnology Innovation Institute（TII）によって開発
草の根の非営利の人工知能研究グループによって開発
Mistral AIによって開発
Salesforceが提供するLLM
AI/BI系のプラットフォームベンダで、色々なOSSをホストしている。
MicrosoftがSLM(Small Language Model)として開発したPhi-3
ollama
ollama run gemma2 ollama run llama2 ollama run llama3
curl https://ollama.ai/install.sh | sh
ollama serve
ollama run llama3
success >>> こんにちは、あなたは誰ですか？ こんにちは！I'm LLaMA, a large language model trained by a team of researcher at Meta AI. My primary function is to understand and respond to human input in a helpful and informative manner. I can converse on a wide range of topics, from science and history to entertainment and culture. I'm constantly learning and improving my abilities, so please bear with me if I make any mistakes. Nice to meet you!
curl -X POST -H "Content-Type:application/json" http://localhost:11434/api/chat -d "{\"model\": \"llama3\", \"messages\": [{ \"role\": \"user\", \"content\": \"why is the sky blue?\" }]}">ipconfig イーサネット アダプター vEthernet (WSL): 接続固有の DNS サフィックス . . . . .: リンクローカル IPv6 アドレス. . . . .: ... IPv4 アドレス . . . . . . . . . . . .: 172.xxx.xxx.1 サブネット マスク . . . . . . . . . .: 255.255.240.0 デフォルト ゲートウェイ . . . . . . .:
OLLAMA_HOST OLLAMA_ORIGINS
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'import requests
url = "http://localhost:11434/api/chat"
payload = {
"model": "llama3",
"messages": [
{"role": "user", "content": "why is the sky blue?"}
]
}
response = requests.post(url, json=payload)
print(response.text) # print(response.json())Pythonで実装されており、モデル設定のURLからサーバサイドで実行されている事が解る。
docker run -d -p 5955:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
http://127.0.0.1:5955/
http://host.docker.internal:11434
StreamlitはPythonアプリ（CLI）を迅速にWeb化するツール。
標準I/Oへ書き込むのではなくAPIを使用して専用のStreamへの書き込む。
pip install streamlit
streamlit run LLM_Streamlit.py
http://localhost:8501/
