Rodando Qwen3.8-27B Localmente: Guia para GPUs de Consumo

A Qwen lançou hoje o Qwen3.8-27B sob licença Apache 2.0 — um modelo denso de 27B com visão nativa, contexto nativo de 262K que se estende até 1M, e um salto real em relação à geração anterior em tarefas de código e escritório. Já cobrimos o anúncio do lançamento anteriormente. O checkpoint completo em BF16 tem cerca de 55 GB, mas ninguém roda isso em casa. Quantizado, ele cabe em uma placa de 16–24 GB. Aqui está a matemática de VRAM e, em seguida, três formas de colocar o modelo para rodar hoje à noite.

Primeiro, a matemática da VRAM

27B denso é o ponto ideal: grande o suficiente para importar, pequeno o suficiente para ser quantizado em hardware de consumo. Números de referência:

• BF16 (precisão total): ~54 GB de VRAM → classe de 80 GB (H100, RTX Pro 6000)
• FP8: ~27 GB → classe de 48 GB (L40S, RTX Pro 6000; RTX 5090 com contexto curto)
• GGUF de 4 bits: ~14–16 GB → classe de 24 GB (RTX 4090/3090); previews da Unsloth indicam ~17 GB no total para builds Q4

Some o cache KV por cima desses números. O comprimento do contexto é a outra alavanca: 94K de contexto em 4 bits é realista em 24 GB; mantenha mais curto em 16 GB. Um bom dado da comunidade: UD-IQ3_XXS em uma RTX 5060 Ti de 16 GB atinge 50–55 tokens/s com MTP (multi-token prediction) e um cache KV quantizado com contexto de 94K. Uma placa de 16 GB realmente basta.

Opção 1: Ollama — configuração mais rápida

ollama run qwen3.8:27b

Só isso. O Ollama escolhe uma quantização padrão sensata para a sua VRAM, então se você tem 16 GB ou menos, comece por aqui. Usuários de Apple Silicon podem baixar qwen3.8:27b-mlx em vez disso. A visão funciona da mesma forma que em qualquer outro modelo do Ollama — basta passar o caminho de uma imagem no prompt.

Opção 2: llama.cpp — controle total

Baixe um GGUF e inicie o servidor:

hf download unsloth/Qwen3.8-27B-GGUF --local-dir Qwen3.8-27B-GGUF --include "UD-Q4_K_XL"

llama-server -m Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q4_K_XL.gguf \
  --ctx-size 8192 --host 127.0.0.1 --port 8080

O llama-server expõe um endpoint compatível com OpenAI em http://127.0.0.1:8080/v1, então qualquer ferramenta que fale a API da OpenAI pode apontar para ele. Uma verificação rápida pela CLI, sem servidor:

llama-cli -m Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q4_K_XL.gguf \
  --ctx-size 8192 --temp 1.0 --top-p 0.95 --top-k 20

Opção 3: LM Studio — interface gráfica

O repositório lmstudio-community/Qwen3.8-27B-GGUF traz quants prontos para importar. Procure por Qwen3.8-27B dentro do LM Studio, escolha uma quantização que caiba na sua placa e use o chat integrado ou o servidor local compatível com OpenAI.

Configurações de sampling que funcionam

A Qwen publica dois presets recomendados. Uso geral:

temperature=1.0, top_p=0.95, top_k=20, min_p=0.0
presence_penalty=0.0, repetition_penalty=1.0

Código e tarefas estruturadas:

temperature=0.7, top_p=0.80, top_k=20, min_p=0.0
presence_penalty=1.5, repetition_penalty=1.0

O modelo também expõe os controles reasoning_effort e preserve_thinking. Reduza o reasoning_effort para ganhar velocidade; mantenha o raciocínio ativado quando precisar de saídas confiáveis em múltiplas etapas.

Qual quantização escolher

• 16 GB: UD-IQ3_XXS ou Q4_K_M, mantenha o contexto moderado
• 24 GB (RTX 3090/4090): Q4_K_XL ou Q5, 94K de contexto é tranquilo
• 32 GB (RTX 5090): Q6, ou NVFP4 via SGLang/vLLM
• Somente CPU: Q3/Q4 com 32 GB+ de RAM — funciona, é lento, último recurso

Depois que o modelo estiver no ar, o próximo passo natural é envolvê-lo em um loop de agente. Nosso quickstart do DeepSeek Harness mostra um harness independente de modelo que funciona com qualquer endpoint compatível com OpenAI — incluindo o local.