VLM入門

ollama pull llava
ollama pull llava:13b

ollama pull qwen2-vl

ollama pull llama3.2-vision

# モデルのダウンロード
ollama pull llava

# 対話モードで起動
ollama run llava

# 画像を指定して質問
>>> /image C:\path\to\photo.jpg
>>> この画像を説明してください

import requests
import base64

def analyze_image(image_path, prompt):
    # 画像をBase64エンコード
    with open(image_path, 'rb') as f:
        image_data = base64.b64encode(f.read()).decode('utf-8')

    # Ollama APIを呼び出し
    response = requests.post(
        'http://localhost:11434/api/generate',
        json={
            'model': 'llava',
            'prompt': prompt,
            'images': [image_data],
            'stream': False
        }
    )

    return response.json()['response']

# 使用例
result = analyze_image(
    'photo.jpg',
    'この画像を日本語で説明してください'
)
print(result)

import os

def process_images(folder_path, prompt):
    results = []

    for filename in os.listdir(folder_path):
        if filename.lower().endswith(('.jpg', '.png', '.jpeg')):
            image_path = os.path.join(folder_path, filename)
            result = analyze_image(image_path, prompt)
            results.append({
                'filename': filename,
                'analysis': result
            })

    return results

# フォルダ内の画像を一括処理
results = process_images(
    'photos/',
    'この現場写真の状況を説明してください'
)

def analyze_site_photo(image_path):
    prompt = """
    この現場写真を分析してください：
    1. 作業の状況
    2. 確認できる設備・機材
    3. 安全面で気になる点
    4. 天候・時間帯の推測
    """
    return analyze_image(image_path, prompt)

def extract_from_drawing(image_path):
    prompt = """
    この図面から以下を読み取ってください：
    1. 図面のタイトル
    2. 縮尺
    3. 主な寸法
    4. 特記事項
    """
    return analyze_image(image_path, prompt)

def extract_form_data(image_path):
    prompt = """
    この帳票から情報を抽出してください。
    JSON形式で回答：
    {
        "日付": "",
        "担当者": "",
        "項目": [],
        "金額": ""
    }
    """
    return analyze_image(image_path, prompt)

def analyze_map(image_path):
    prompt = """
    この地図画像を分析してください：
    1. 表示されている地域
    2. 主な道路・鉄道
    3. 目立つ施設・建物
    4. 地形の特徴
    """
    return analyze_image(image_path, prompt)

def detailed_analysis(image_path):
    # 1回目：全体概要
    overview = analyze_image(image_path, "全体を説明して")

    # 2回目：詳細分析
    details = analyze_image(image_path, "詳細を分析して")

    # 3回目：特定の観点
    specific = analyze_image(image_path, "問題点を指摘して")

    return {
        'overview': overview,
        'details': details,
        'specific': specific
    }