Ollama入門

# Homebrewでインストール
brew install ollama

# または公式サイトからダウンロード

# 公式インストールスクリプト
curl -fsSL https://ollama.com/install.sh | sh

# バージョン確認
ollama --version

# サービス起動確認
ollama list

# Llama 3.1をダウンロード＆実行
ollama run llama3.1

# Qwen 2.5を実行
ollama run qwen2.5

# サイズを指定して実行
ollama run llama3.1:8b
ollama run qwen2.5:14b

# 対話開始
ollama run llama3.1

# プロンプトが表示される
>>> こんにちは

# 応答が返ってくる
こんにちは！何かお手伝いできることはありますか？

# 終了
>>> /bye

# 1回だけ質問
ollama run llama3.1 "日本の首都は？"

# 結果のみ表示（スクリプト向け）
echo "要約してください: ..." | ollama run llama3.1

# システムプロンプトを設定
ollama run llama3.1 --system "あなたは親切なアシスタントです"

# コンテキスト長を設定
ollama run llama3.1 --num-ctx 4096

# 温度を設定
ollama run llama3.1 --temperature 0.7

# ダウンロード済みモデル一覧
ollama list

# 出力例
NAME             ID              SIZE      MODIFIED
llama3.1:latest  365c0bd3c000    4.7 GB    2 days ago
qwen2.5:latest   845dbda0ea48    4.4 GB    5 days ago

# モデルをダウンロード（実行せず）
ollama pull llama3.1
ollama pull qwen2.5:14b

# 利用可能なモデルは ollama.com/library で確認

# モデルを削除
ollama rm llama3.1

# 確認
ollama list

# Modelfile
FROM llama3.1

# システムプロンプト
SYSTEM あなたは技術文書の専門家です。簡潔で正確な回答をしてください。

# パラメータ設定
PARAMETER temperature 0.7
PARAMETER num_ctx 4096

# Modelfileからモデルを作成
ollama create my-assistant -f Modelfile

# 実行
ollama run my-assistant

# japanese-assistant.Modelfile
FROM qwen2.5:14b

SYSTEM """
あなたは日本語で回答する親切なアシスタントです。
以下のルールに従ってください：
- 丁寧な日本語を使う
- 簡潔に回答する
- わからない場合は正直に伝える
"""

PARAMETER temperature 0.5
PARAMETER top_p 0.9

# 生成API
curl http://localhost:11434/api/generate \
  -d '{
    "model": "llama3.1",
    "prompt": "日本の首都は？",
    "stream": false
  }'

import requests

def ask_ollama(prompt, model="llama3.1"):
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": prompt,
            "stream": False
        }
    )
    return response.json()["response"]

# 使用例
answer = ask_ollama("PythonでHello Worldを書いて")
print(answer)

# OpenAIライブラリで利用可能
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # 任意の値
)

response = client.chat.completions.create(
    model="llama3.1",
    messages=[
        {"role": "user", "content": "こんにちは"}
    ]
)

print(response.choices[0].message.content)

# 会話履歴を保持
curl http://localhost:11434/api/chat \
  -d '{
    "model": "llama3.1",
    "messages": [
      {"role": "user", "content": "私の名前は田中です"},
      {"role": "assistant", "content": "田中さん、こんにちは！"},
      {"role": "user", "content": "私の名前を覚えていますか？"}
    ],
    "stream": false
  }'

# サービスが起動しているか確認
ollama serve

# ポートが使用中でないか確認
netstat -an | grep 11434

# 別ポートで起動
OLLAMA_HOST=0.0.0.0:11435 ollama serve

# NVIDIAドライバー確認
nvidia-smi

# CUDAバージョン確認
nvcc --version

# Ollamaの再インストールで解決することも

# Windows
# %LOCALAPPDATA%\Ollama\logs

# Mac/Linux
journalctl -u ollama

# ファイルの内容を要約
cat document.txt | ollama run llama3.1 "以下を要約してください："

# コードをレビュー
cat script.py | ollama run codellama "このコードをレビューしてください："

echo "Hello, how are you?" | ollama run qwen2.5 "日本語に翻訳："

import subprocess

def process_files(files, prompt_template):
    results = []
    for file in files:
        with open(file, 'r') as f:
            content = f.read()

        result = subprocess.run(
            ["ollama", "run", "llama3.1", prompt_template + content],
            capture_output=True,
            text=True
        )
        results.append(result.stdout)

    return results