A engenharia de prompt já foi declarada morta mais de uma vez. O mais recente artigo do Google DeepMind não a enterra — ela apenas muda de modalidade, do texto para a visão.
A proposta do artigo, VIPE (Visual Prompt Engineering), parte de uma observação direta: para modelos de vídeo, editar a imagem de entrada funciona melhor do que editar o prompt. Quando um esboço abstrato foi reescrito como uma cena fotorrealista, a precisão do Veo 3.1 em tarefas de raciocínio físico saltou de 41,3% para 59,3% — sem alterar uma única palavra do prompt.
O que é Engenharia de Prompt Visual
A lógica por trás da engenharia de prompt é que, sempre que o espaço de entrada do modelo é suficientemente rico, otimizar a entrada melhora o desempenho a jusante. Convencionalmente, essa “entrada” significava instruções em texto — mas os modelos de vídeo estão se tornando os modelos de fundação do trabalho visual, e sua entrada já contém uma imagem.
O VIPE reescreve a imagem da tarefa em uma forma visual que o modelo compreende e raciocina com mais facilidade, sem alterar a lógica da tarefa. Para um quebra-cabeça de física como “em qual balde a bola vai cair depois de rolar além do obstáculo”, o diagrama abstrato de bola e rampa se transforma em bolas de sinuca sobre uma prancha de madeira — com todas as relações espaciais preservadas.
Todo o processo funciona automaticamente por meio de três módulos:
-
Conceptualizer: um modelo de visão-linguagem gera instruções de reescrita que definem quais elementos da tarefa devem sobreviver — contagens de objetos, posições, orientações, relações relativas.
-
Editor: reescreve a imagem original conforme as instruções, produzindo um ou mais candidatos — por meio de um modelo de edição de imagens ou manualmente.
-
Filter: uma etapa opcional que seleciona o candidato de melhor qualidade que ainda carrega as informações-chave da tarefa.
Os Números: Qual é o Tamanho do Ganho
Em conjuntos de testes que incluem o benchmark de raciocínio físico VPCT:
-
Veo 3.1: a precisão subiu de 41,3% para 59,3% com inferência de amostra única.
-
Omni Flash: de 56,3% para 67,5%.
-
Reescrita livre automatizada: as taxas de erro caíram mais de 75% em algumas tarefas.
-
Sort 3 Numbers: selecionar a melhor versão visual por amostra levou a taxa de erro a zero.
A interação com o escalonamento em tempo de inferência merece atenção especial. Sem o VIPE, o teto de multi-amostragem do Veo 3.1 era de 50,0%, acima dos 41,3%. Com o VIPE, uma única amostra já atinge 59,3%, e combinando multi-amostragem chega-se a 68,0%. Uma única reescrita da entrada compra mais do que queimar computação extra em amostragem — e os dois efeitos se somam.
O artigo também documenta uma preferência sistemática: modelos de vídeo performam melhor com entradas realistas, e cada etapa de reescrita em direção ao realismo melhorou a consistência da geração. Reescritas eficazes compartilham três características — uma cena mais realista, alvos mais proeminentes e semântica mais direta.
O Framework: Engenharia de Prompt é Otimização da Representação da Entrada
Colocando o VIPE em um quadro mais amplo, ele valida uma regra geral: a engenharia de prompt nunca foi sobre formulação — trata-se de otimizar a representação da entrada do modelo. Na era do texto, essa representação era uma sequência de tokens, então a redação importava. Na era dos modelos de vídeo, o componente mais pesado da entrada é o próprio conteúdo visual, o que faz da “compreensibilidade da cena” a nova superfície de otimização. A preferência por entradas fotográficas é, na verdade, a distância entre as entradas abstratas e a distribuição dos dados de treinamento — feche essa distância e o raciocínio melhora por si só.
Há também uma lei de custo que vale a pena memorizar: editar imagens custa aproximadamente uma ordem de grandeza menos do que gerar vídeos. Gastar uma chamada barata de edição de imagem para reduzir a probabilidade de falha de uma geração de vídeo cara é arbitragem estrutural de computação. O artigo diz isso sem rodeios: uma edição de imagem barata pode reduzir a probabilidade de uma cara geração de vídeo falhar.
A Engenharia de Prompt Não Vai Morrer — Ela Muda de Campo de Batalha
Primeiro, a definição de “prompt” está se expandindo. Prompts para modelos multimodais serão cada vez mais otimizações conjuntas de imagem mais vídeo mais instrução, com o texto como um dos componentes. A equipe observa que, à medida que os modelos de vídeo aceitam contextos multimodais mais ricos, a engenharia de prompt visual pode se estender de imagens únicas para múltiplas imagens de referência e até vídeo.
Segundo, os modelos de edição de imagens são reavaliados. Eles deixam de ser “ferramentas de geração” e se tornam chips de pré-processamento de entrada que rodam antes da inferência de vídeo — uma mudança de papel que altera como esses modelos são avaliados e implantados.
Terceiro, a engenharia de prompt automatizada vai visual. O pipeline completo — o VLM escreve instruções, o editor as aplica, um avaliador automático filtra — já funciona de ponta a ponta, o que torna a otimização adaptativa de entrada em tempo de inferência uma direção de pesquisa própria, e não uma tarefa de ajuste manual.
O limite também está claro: os modelos nativos de geração de imagem testados (a família Nano Banana) não se beneficiaram de forma consistente — eles se sentem igualmente à vontade com estilos abstratos e fotorrealistas — e em algumas tarefas os prompts em texto continuam mais fortes. A formulação precisa é que a engenharia de prompt visual não substitui a engenharia de prompt em texto; ela preenche uma superfície de otimização que os modelos de vídeo ainda não haviam explorado.
O Que Fazer Com Isso
-
Se você constrói ou avalia aplicações com modelos de vídeo: audite primeiro o realismo dos seus quadros de entrada. Reescrever diagramas abstratos e line art como cenas fotorrealistas antes da inferência pode ser o ganho de precisão mais barato disponível.
-
Faça a autoverificação com base nas três características: A cena é realista o suficiente? Os objetos-alvo são proeminentes o suficiente? A semântica é direta o suficiente? Quando as três se sustentam, a reescrita está pronta.
-
Faça a matemática de custos: quando novas tentativas de geração de vídeo são caras, experimente editar e depois gerar. Uma edição barata pode economizar um ciclo inteiro de regeneração cara.
-
Não aplique às cegas: para modelos nativos de geração de imagem e tarefas em que o texto já domina, valide em um conjunto pequeno antes de escalar.
-
Acompanhe a automação: o pipeline do VIPE já é totalmente automático, e a otimização de entrada em tempo de inferência provavelmente se tornará uma capacidade padrão de agentes de vídeo — vale a pena se preparar cedo.
A engenharia de prompt não está morta. Ela apenas aprendeu a enxergar.
Artigo: Visual prompt engineering for video models (arXiv:2607.25537, Google DeepMind, 28-07-2026). Página do projeto: visual-prompt-engineering.github.io
