# llama-swap config — deployed on debian-ai (Dell Precision 5810)
# Path: ~/.config/llama-swap/config.yaml
# Port: 9292
# Systemd: llama-swap.service
# TTL: 1800s (30 min) auto-unload after last request

listen: :9292

models:
  # ── Daily driver ──────────────────────────────────────
  qwen3.6-35b:
    cmd: /usr/local/bin/llama-server -m /models/llm/daily/Qwen3.6-35B-A3B-UD-Q4_K_S.gguf --port ${PORT} --host 127.0.0.1 --cache-type-k turbo4 --cache-type-v turbo4 --n-cpu-moe 35 -ngl 99 --no-mmap --mlock --jinja --chat-template-kwargs '{"enable_thinking":false}' -fa off --prio 2 --poll 80 --cont-batching --timeout 300 -c 128000 --ctx-size 128000 --threads 16 --threads-batch 32 --parallel 1 --batch-size 4096 --ubatch-size 1024 --temp 0.2 --top-p 0.95 --min-p 0.05 --top-k 20 --metrics
    aliases: ["qwen3.6-35b", "qwen-35b"]
    ttl: 1800

  # ── Uncensored 9B ──────────────────────────────────────
  qwen3.5-9b:
    cmd: /usr/local/bin/llama-server -m /models/llm/uncensored/qwen3.5-9b-uncensored-Q4_K_M.gguf --port ${PORT} --host 127.0.0.1 --cache-type-k turbo4 --cache-type-v turbo4 -ngl 99 --no-mmap --mlock --jinja --no-kv-offload --chat-template-kwargs '{"enable_thinking":false}' --prio 2 --poll 80 --cont-batching --timeout 300 -c 128000 --ctx-size 128000 --threads 16 --threads-batch 32 --parallel 1 --batch-size 1024 --ubatch-size 256 --temp 0.7 --top-p 0.8 --min-p 0 --top-k 20 --metrics
    ttl: 1800

  # ── Gemma 4-26B (vision capable) ──────────────────────────
  gemma-4-26b:
    cmd: /usr/local/bin/llama-server -m /models/llm/gemma4/gemma-4-26B-IQ4_XS.gguf --port ${PORT} --host 127.0.0.1 -ngl 99 --n-cpu-moe 128 --no-mmap --mlock --jinja --no-kv-offload --cache-type-k turbo4 --cache-type-v turbo4 --chat-template-kwargs '{"enable_thinking":false}' --mmproj /models/llm/gemma4/mmproj-F16.gguf --no-mmproj-offload --prio 2 --poll 80 --cont-batching --timeout 300 -c 131072 --ctx-size 131072 --threads 16 --threads-batch 32 --parallel 1 --batch-size 2048 --ubatch-size 512 --temp 0.2 --top-p 0.95 --min-p 0.05 --top-k 20 --metrics
    ttl: 1800

  # ── Qwen3-Coder-30B ─────────────────────────────────────
  qwen3-coder-30b:
    cmd: /usr/local/bin/llama-server -m /models/llm/coder/Qwen3-Coder-30B-A3B-Instruct-Q4_K_M.gguf --port ${PORT} --host 127.0.0.1 --cache-type-k turbo4 --cache-type-v turbo4 -ngl 99 --no-mmap --mlock --jinja --chat-template-kwargs '{"enable_thinking":false}' --prio 2 --poll 80 --cont-batching --timeout 300 -c 65536 --ctx-size 65536 --threads 16 --threads-batch 32 --n-cpu-moe 128 --parallel 1 --batch-size 2048 --ubatch-size 512 --temp 0.2 --top-p 0.95 --min-p 0.05 --top-k 20 --metrics
    ttl: 1800

  # ── Qwen 3.6-35B-MTP ────────────────────────────────────
  qwen3.6-mtp:
    cmd: /usr/local/bin/llama-server -m /models/llm/mtp/Qwen3.6-35B-A3B-UD-Q4_K_S.gguf --port ${PORT} --host 127.0.0.1 --cache-type-k turbo4 --cache-type-v turbo4 -ngl 99 --no-mmap --mlock --jinja --chat-template-kwargs '{"enable_thinking":false}' --prio 2 --poll 80 --cont-batching --timeout 300 -c 65536 --ctx-size 65536 --threads 16 --threads-batch 32 --n-cpu-moe 128 --parallel 1 --batch-size 2048 --ubatch-size 512 --temp 0.2 --top-p 0.95 --min-p 0.05 --top-k 20 --metrics
    ttl: 1800

  # ── Qwen 2.5-Coder-14B ──────────────────────────────────
  qwen2.5-coder-14b:
    cmd: /usr/local/bin/llama-server -m /models/llm/coder14/qwen2.5-coder-14b-instruct-q4_k_m.gguf --port ${PORT} --host 127.0.0.1 --cache-type-k turbo4 --cache-type-v turbo4 -ngl 99 --no-mmap --mlock --jinja --chat-template-kwargs '{"enable_thinking":false}' --prio 2 --poll 80 --cont-batching --timeout 300 -c 65536 --ctx-size 65536 --threads 16 --threads-batch 32 --parallel 1 --batch-size 2048 --ubatch-size 512 --temp 0.2 --top-p 0.95 --min-p 0.05 --top-k 20 --metrics
    ttl: 1800

  # ── Qwen3-30B-2507 ──────────────────────────────────────
  qwen3-30b-2507:
    cmd: /usr/local/bin/llama-server -m /models/llm/model2507/Qwen3-30B-A3B-Instruct-2507-Q4_K_M.gguf --port ${PORT} --host 127.0.0.1 --cache-type-k turbo4 --cache-type-v turbo4 -ngl 99 --no-mmap --mlock --jinja --chat-template-kwargs '{"enable_thinking":false}' --prio 2 --poll 80 --cont-batching --timeout 300 -c 65536 --ctx-size 65536 --threads 16 --threads-batch 32 --n-cpu-moe 128 --parallel 1 --batch-size 2048 --ubatch-size 512 --temp 0.2 --top-p 0.95 --min-p 0.05 --top-k 20 --metrics
    ttl: 1800

  # ── Qwen 3.5-14B Opus Distilled ─────────────────────────
  qwen3.5-opus14:
    cmd: /usr/local/bin/llama-server -m /models/llm/opus14/Qwen3.5-14B-A3B-Claude-Opus-Reasoning-Distilled-4.6-MXFP4_MOE.gguf --port ${PORT} --host 127.0.0.1 --cache-type-k turbo4 --cache-type-v turbo4 -ngl 99 --no-mmap --mlock --jinja --chat-template-kwargs '{"enable_thinking":false}' --prio 2 --poll 80 --cont-batching --timeout 300 -c 65536 --ctx-size 65536 --threads 16 --threads-batch 32 --n-cpu-moe 128 --parallel 1 --batch-size 2048 --ubatch-size 512 --temp 0.2 --top-p 0.95 --min-p 0.05 --top-k 20 --metrics
    ttl: 1800
