Ollama のバックアップ(No.3) - .NET 開発基盤部会 Wiki

success
>>> こんにちは、あなたは誰ですか？
こんにちは！I'm LLaMA, a large language model trained by a team of researcher at Meta AI. My primary function is
to understand and respond to human input in a helpful and informative manner. I can converse on a wide range of
topics, from science and history to entertainment and culture. I'm constantly learning and improving my abilities,
so please bear with me if I make any mistakes. Nice to meet you!

↑

WebAPIから †

Linux＋curl
「WSL2寄せ」での説明内容と同じ。

Window＋curl

curl -X POST -H "Content-Type:application/json" http://localhost:11434/api/chat -d "{\"model\": \"llama3\", \"messages\": [{ \"role\": \"user\", \"content\": \"why is the sky blue?\" }]}"

WSL2＋curl→Window

IPアドレスを取得

>ipconfig
 イーサネット アダプター vEthernet (WSL):
   接続固有の DNS サフィックス . . . . .:
   リンクローカル IPv6 アドレス. . . . .: ...
   IPv4 アドレス . . . . . . . . . . . .: 172.xxx.xxx.1
   サブネット マスク . . . . . . . . . .: 255.255.240.0
   デフォルト ゲートウェイ . . . . . . .:

環境変数
なににどう設定したら良いか解らんわ（笑）
```
OLLAMA_HOST
OLLAMA_ORIGINS
```

WSL2寄せ
modelをphi3にして、ollama run phi3もWebAPIで動作した
（故に、11434ポートのWebAPIはollama仕様と思われる）。

＋curl
生成形式

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt":"user", "content": "why is the sky blue?"
}'

チャット形式

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

＋Notebook HTTPClient

import requests
url = "http://localhost:11434/api/chat"
payload = {
    "model": "llama3",
    "messages": [
        {"role": "user", "content": "why is the sky blue?"}
    ]
}

response = requests.post(url, json=payload)
print(response.text) # print(response.json())

↑

Error: digest mismatch †

Error: digest mismatchになる場合（恐らくプロキシ環境で発生）、
huggingface.co（dockerで言うとdocker.comみたいな仕組み）から、
モデルのファイル（GGUF file、Model file）を手動ダウンロード。

Phi-3-mini-4k

GGUF file、Model fileをダウンロード
https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf

Download the GGUF model:

huggingface-cli download microsoft/Phi-3-mini-4k-instruct-gguf Phi-3-mini-4k-instruct-q4.gguf --local-dir .

Get the Modelfile:

huggingface-cli download microsoft/Phi-3-mini-4k-instruct-gguf Modelfile_q4 --local-dir .

GGUF file、Model fileをファイルをカレント・ディレクトリに配置

モデルを

作成する。
※ Model file中からGGUF fileをポイント
```
ollama create phi3 -f Modelfile_q4
```

実行する。
```
ollama run phi3
```

削除する。
```
ollama rm phi3
```

Llama-3.2-1B

GGUF fileをダウンロード
https://huggingface.co/bartowski/Llama-3.2-1B-Instruct-GGUF

Downloading using huggingface-cli

huggingface-cli download bartowski/Llama-3.2-1B-Instruct-GGUF Llama-3.2-1B-Instruct-Q8_0.gguf --local-dir .

Model fileを作成する

プロキシなし環境で以下を試みる。
（何気に、コレで動かせてしまうかも？）
```
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0
```

以下のコマンドの出力をModelfile.txtに保存する。

ollama show --modelfile hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0 > Modelfile.txt

GGUF file、Model fileをファイルをカレント・ディレクトリに配置

モデルを

作成する。
※ Modelfile中からGGUF fileをポイント
```
ollama create Llama3 -f Modelfile.txt
```

実行する。
```
ollama run Llama3
```

削除する。
```
ollama rm Llama3
```

参考
- `digest mismatch` on download · Issue #941 · ollama/ollama
  https://github.com/ollama/ollama/issues/941
- 【対策】Ollamaでダウンロードが完了しない場合の解決方法
  (Error: digest mismatch, file must be downloaded again)｜ノリハラ
  https://note.com/takusamu/n/n5983c2b91ec5
- Ollama で Hugging Face Hub の GGUF をそのまま使ってみる｜ぬこぬこ
  https://note.com/schroneko/n/n6a7c34f0a50c