IA Local & Inferência de Borda de Alta Performance

# Exemplos de tag. O nome atual está em https://ollama.com/library
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

# Listar modelos instalados localmente
ollama list

# O Ollama expõe automaticamente uma API REST compatível com OpenAI na porta 11434
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-r1:8b",
    "messages": [{"role": "user", "content": "Explique o algoritmo Raft em 3 frases."}]
  }'

FROM qwen2.5-coder:7b

# Parâmetros de Inferência
PARAMETER temperature 0.2
PARAMETER top_p 0.95
PARAMETER stop "```"

# System Prompt Especialista
SYSTEM """
Você é um Arquiteto de Software Sênior especializado em TypeScript, Rust e Docker.
Responda sempre com código estritamente tipado e testes unitários.
Nunca faça suposições sem validar contratos de schema.
"""

# Compilar e criar o modelo customizado
ollama create dev-senior -f ./Modelfile
ollama run dev-senior

# Instalação com suporte a CUDA
pip install vllm

# Subir servidor para atender múltiplos clientes concorrentes na porta 8000
python3 -m vllm.entrypoints.openai.api_server \
  --model deepseek-ai/DeepSeek-R1-Distill-Qwen-14B \
  --tensor-parallel-size 1 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.90 \
  --port 8000

from openai import OpenAI

# Conexão direta com a instância local (Ollama ou vLLM)
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama" # Não requer autenticação externa
)

# Definição do schema da ferramenta
tools = [
    {
        "type": "function",
        "function": {
            "name": "consultar_saldo_bancario",
            "description": "Retorna o saldo bancário da conta corrente do cliente",
            "parameters": {
                "type": "object",
                "properties": {
                    "conta_id": {"type": "string", "description": "ID da conta corrente"}
                },
                "required": ["conta_id"]
            }
        }
    }
]

response = client.chat.completions.create(
    model="qwen2.5:7b",
    messages=[{"role": "user", "content": "Qual é o saldo da conta C-9821?"}],
    tools=tools
)

print(response.choices[0].message.tool_calls)

services:
  # 1. Engine de Inferência Ollama
  ollama:
    image: ollama/ollama:latest
    container_name: local_ai_ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    # Descomente para suporte a GPU NVIDIA:
    # deploy:
    #   resources:
    #     reservations:
    #       devices:
    #         - driver: nvidia
    #           count: all
    #           capabilities: [gpu]

  # 2. Interface Visual estilo ChatGPT com RAG nativo
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: local_ai_webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - open_webui_data:/app/backend/data
    depends_on:
      - ollama

  # 3. Banco Vetorial para RAG Corporativo
  qdrant:
    image: qdrant/qdrant:latest
    container_name: local_ai_qdrant
    restart: unless-stopped
    ports:
      - "6333:6333"
    volumes:
      - qdrant_data:/qdrant/storage

volumes:
  ollama_data:
  open_webui_data:
  qdrant_data:

services:
  # 1. Motor de Inferência Ollama (CPU/iGPU)
  ollama:
    image: ollama/ollama:latest
    container_name: minipc_ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./ollama_data:/root/.ollama

  # 2. Interface ChatGPT Privada com RAG
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: minipc_webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - ./webui_data:/app/backend/data
    depends_on:
      - ollama

  # 3. Banco Vetorial Qdrant para Busca Semântica
  qdrant:
    image: qdrant/qdrant:latest
    container_name: minipc_qdrant
    restart: unless-stopped
    ports:
      - "6333:6333"
    volumes:
      - ./qdrant_data:/qdrant/storage

  # 4. Servidor da Central de Guias PWA na Rede Local
  guias-pwa:
    image: nginx:alpine
    container_name: minipc_guias_pwa
    restart: unless-stopped
    ports:
      - "80:80"
    volumes:
      - ./guias:/usr/share/nginx/html:ro

# 1. Instalar Docker e Docker Compose no Ubuntu/Debian do Mini PC
curl -fsSL https://get.docker.com | sh
sudo usermod -aG docker $USER

# 2. Subir todos os serviços com um único comando
docker compose up -d

# 3. Baixar os modelos recomendados dentro do container Ollama
docker exec -it minipc_ollama ollama pull deepseek-r1:8b
docker exec -it minipc_ollama ollama pull qwen2.5-coder:7b
docker exec -it minipc_ollama ollama pull nomic-embed-text

# 4. Acessar na sua rede local (Wi-Fi / Ethernet):
# - Central de Guias PWA: http://minipc.local (Porta 80)
# - Chatbot & RAG: http://minipc.local:3000 (Porta 3000)
# - API de Inferência: http://minipc.local:11434/v1 (Compatível com OpenAI)