Rode o SenseNova U1.5 8B localmente para geração e edição de imagens 4K

A SenseTime lançou em 20 de agosto a versão de produção do SenseNova-U1.5-8B-MoT — um checkpoint de 8 bilhões de parâmetros sob licença Apache-2.0 que lida com geração de texto para imagem, edição de imagens e compreensão visual em um único modelo unificado nativo. Ele gera imagens 4K nativas, segue instruções de 3.000 a 4.000 caracteres e se mantém firme contra o GPT-Image-2 em layouts densos e edições localizadas. O modelo roda em uma única GPU de consumo, e o repositório vem com scripts de inferência, workflows do ComfyUI e um LoRA destilado de 8 passos para geração rápida.

O que torna isso digno do seu tempo: sem roteador, sem pipeline de modelos especialistas separados. Tudo fica em um único checkpoint de 8B, o que significa cadeias de chamadas mais curtas e implantação mais barata — e, pela primeira vez, “8B” realmente significa que roda em hardware que você pode comprar.

O que mudou em relação à prévia

O U1.5 mantém a arquitetura NEO-unify do SenseNova-U1 original: pixels e tokens vivem em um único backbone Mixture-of-Transformers, sem codificador visual (VE) e sem VAE entre a compreensão e a geração. A versão de produção adiciona uma receita de treinamento mais inteligente por cima:

• Treino dividido, fusão de volta: especialistas especializados em renderização de texto, estética e edição são treinados separadamente e depois fundidos de volta em um único modelo com MOPD (destilação de política online multi-professor). Você implanta um único checkpoint de 8B, não uma frota de modelos.
• O pós-treinamento ataca os três pontos clássicos de dor: seguir instruções (contagens, posições, estilos, “não mexa em X”), preferência visual (composição, material, iluminação) e preservação de edições (manter regiões não editadas intactas).
• Prompt Enhancement (PE): um script independente transforma um briefing curto em Render JSON estruturado antes da geração — recomendado para solicitações complexas ou com múltiplas restrições.

Implantação local

O ambiente de referência é Python 3.11, PyTorch 2.8, CUDA 12.8. Use uv para obter o ambiente exatamente travado:

# 1. Instalação
git clone https://github.com/OpenSenseNova/SenseNova-U1.git
cd SenseNova-U1
uv sync
source .venv/bin/activate

# 2. Texto para imagem — saída 4K nativa
python examples/t2i/inference.py \
  --model_path sensenova/SenseNova-U1.5-8B-MoT \
  --prompt "A cinematic mountain lake at sunrise, realistic photography." \
  --width 2048 --height 2048 \
  --device_map auto \
  --output output.png

# 3. Edição de imagem — diga explicitamente o que NÃO deve mudar
python examples/editing/inference.py \
  --model_path sensenova/SenseNova-U1.5-8B-MoT \
  --image input.png \
  --prompt "Change the jacket to cobalt blue. Preserve the face, pose, background, lighting, and framing." \
  --output edited.png

Acelere: LoRA destilado de 8 passos

A base oficial roda 50 passos de amostragem com cfg_scale 4.0. O LoRA de 8 passos lançado reduz a inferência para 8 passos com cfg_scale 1.0 — várias vezes mais rápido para fluxos de trabalho com muitas iterações:

hf download sensenova/SenseNova-U1.5-8B-MoT-LoRAs \
  SenseNova-U1.5-8B-MoT-LoRA-8step.safetensors \
  --local-dir ./sensenova/SenseNova-U1.5-8B-MoT-LoRAs

python examples/t2i/inference.py \
  --model_path sensenova/SenseNova-U1.5-8B-MoT \
  --lora_path ./sensenova/SenseNova-U1.5-8B-MoT-LoRAs/SenseNova-U1.5-8B-MoT-LoRA-8step.safetensors \
  --prompt "A recipe sharing card with nine dishes arranged in a clean grid." \
  --cfg_scale 1.0 --cfg_norm none --timestep_shift 3.0 --num_steps 8 \
  --output fast.png

Sem uma placa de 24 GB? Já existem checkpoints Q8 GGUF da comunidade para a linha de prévia do U1.5, e os pesos GGUF oficiais estão a caminho — passe o arquivo quantizado com --gguf_checkpoint e mantenha o --model_path apontando para o checkpoint base. Também há workflows do ComfyUI em apps/comfyui, além de um caminho com LightLLM + LightX2V para servir em produção.

Boas práticas de prompt

• Declare explicitamente o que deve ficar de fora. A qualidade da edição depende do que você diz ao modelo para não tocar: “Preserve the face, pose, background, lighting, and framing.”
• Reduza o cfg_scale quando a saída parecer exagerada. Detalhes de alta frequência superênfase ou cores saturadas demais são o modo de falha conhecido; baixar o cfg resolve na maioria dos casos.
• Roteie solicitações complexas pelo PE. Para trabalhos com múltiplos sujeitos, múltiplas referências ou muito texto, passe o briefing por src/sensenova_u1_5/image_pe.py (qualquer API compatível com OpenAI) e use o JSON resultante como prompt.
• Conheça os pontos fracos: texto denso e pequeno misturando chinês e inglês, contagens exatas em layouts restritos, rostos e mãos, além de edições multi-turno com múltiplas referências podem divergir. Edições em uma única passada, com uma única referência, são as mais confiáveis.

Recursos

• GitHub: OpenSenseNova/SenseNova-U1
• Modelo: SenseNova-U1.5-8B-MoT no Hugging Face · ModelScope · Coleção no HF
• Demo online gratuita: SenseNova-Studio
• Relatório técnico: arXiv:2605.12500 · Cookbook: docs/u1.5_best_practices.md no repositório