Modelos de linguagem visual (VLMs) oferecem compreensão visual em conjunto com entrada de texto. Eles geralmente são construídos passando tokens visuais de um encoder de visão pré-treinado por uma camada de projeção para um LLM pré-treinado, permitindo que as ricas representações visuais do encoder se combinem com o conhecimento de mundo e o raciocínio do LLM. As aplicações vão de assistentes de acessibilidade e navegação de interface a robótica e games.
A precisão dos VLMs geralmente melhora com a resolução da imagem de entrada — o que força um tradeoff entre precisão e eficiência. Muitos casos de uso em produção precisam de ambos: baixa latência para aplicações em tempo real e execução no dispositivo para IA com preservação de privacidade. Em um artigo aceito no CVPR 2025, pesquisadores de ML da Apple compartilharam sua resposta: FastVLM, um modelo de linguagem visual de design elegante que melhora significativamente o tradeoff entre precisão e latência. O FastVLM usa um encoder de visão de arquitetura híbrida criado especificamente para imagens de alta resolução, entregando consultas visuais precisas, rápidas e eficientes, adequadas a apps em tempo real no dispositivo. Código de inferência, checkpoints dos modelos e um app de demonstração iOS/macOS baseado em MLX estão disponíveis no GitHub.
Resolução Versus o Tradeoff entre Precisão e Latência
A precisão dos VLMs tipicamente aumenta com a resolução da imagem, especialmente para tarefas ricas em detalhes — análise de documentos, reconhecimento de interface, resposta a perguntas em linguagem natural sobre uma imagem. No exemplo da figura 1 da Apple, ao ser solicitado a ler uma placa de rua, o modelo que recebe uma imagem de baixa resolução falha; o mesmo modelo com alta resolução identifica corretamente a placa “Do Not Enter” (Proibido Entrar).
Mas a alta resolução explode o tempo até o primeiro token (TTFT) de duas maneiras ao mesmo tempo: imagens de resolução mais alta levam mais tempo para o encoder de visão processar, e o encoder emite mais tokens visuais, inflando o tempo de prefill do LLM. O TTFT é a soma dos dois, e em resoluções altas o encoder de visão se torna o gargalo dominante. Os números tornam isso vívido — para um VLM de 1,5B de parâmetros (fp16), a latência de codificação visual em resoluções de entrada de 256/512/768/1024/1536 pixels fica em 6,8ms, 21,2ms, 54,8ms, 116,4ms e depois 883,7ms — um penhasco, enquanto o prefill do LLM cresce de forma bem mais suave (49,8ms a 281,9ms). O FastVLM é o novo VLM projetado justamente para vencer esse penhasco sem sacrificar a precisão.
O Encoder Híbrido Vence a Disputa de Precisão e Latência
Para descobrir qual arquitetura oferece o melhor tradeoff, a Apple comparou sistematicamente encoders de visão pré-treinados mantendo todo o resto constante — dados de treinamento, receita, LLM — mudando apenas o encoder. Os Transformers ViT-L/14 e SigLIP-SO400 foram plotados em suas resoluções nativas, ao lado do ConvNeXT totalmente convolucional e do híbrido FastViT (combinando blocos convolucionais e de transformer, do FastViT anterior da Apple, ICCV 2023, e do MobileCLIP, CVPR 2024). O FastViT entregou o melhor equilíbrio entre precisão e latência de todos — cerca de 8 vezes menor e 20 vezes mais rápido que o ViT-L/14.
O tronco híbrido do FastViT era ideal para VLMs eficientes, mas tarefas desafiadoras exigiam um encoder maior. Escalar ingenuamente cada camada do FastViT o tornava menos eficiente em altas resoluções do que o encoder totalmente convolucional. Então a equipe projetou um novo tronco do zero: FastViTHD, criado especificamente para imagens de alta resolução. Ele adiciona um estágio em relação ao FastViT e usa a receita do MobileCLIP para pré-treinamento, produzindo menos tokens visuais, porém de maior qualidade. O FastViTHD apresenta latência menor que o FastViT em altas resoluções — e, emparelhado com diferentes tamanhos de LLM (0,5B, 1,5B, 7B) em várias resoluções de imagem, as curvas Pareto-ótimas mostram o FastVLM sobre o FastViTHD superando os modelos baseados em FastViT no tradeoff precisão-latência, até 3 vezes mais rápido com precisão igual. Uma descoberta sutil que vale internalizar: resolução muito alta com um LLM menor nem sempre é ideal — às vezes mudar para um LLM maior é melhor do que aumentar a resolução.
O FastViTHD é uma arquitetura híbrida convolução-transformer — um tronco convolucional, três estágios convolucionais e dois estágios de transformer subsequentes, cada um precedido por uma camada de patch embedding que reduz à metade as dimensões espaciais. O FastVLM usa o FastViTHD como encoder com um simples módulo MLP que projeta os tokens visuais no espaço de embeddings do LLM.
Superando Pruning e Merging de Tokens no Próprio Jogo
Trabalhos anteriores de aceleração usavam técnicas elaboradas de merging ou pruning de tokens para reduzir a contagem de tokens visuais e acelerar o prefill do LLM. O FastVLM supera todos eles em precisão geral em qualquer orçamento de tokens visuais: com 16 tokens, atinge média de 68; com 256 tokens, 72,4 — enquanto o FastV com 192 tokens chega a apenas 60,9, o SparseVLM com 192 chega a 68,4 e o VisionZip com 192 chega a 69,7. A vantagem vem dos tokens de alta qualidade do FastViTHD — e como o FastVLM não precisa de mecanismos complexos de pruning ou merging, sua implantação também é mais simples.
Contra o tiling dinâmico (a abordagem AnyRes de dividir imagens de resolução ultra-alta em tiles, codificar cada um separadamente e enviar todos os tokens ao LLM), a força nativa de alta resolução do FastVLM vence novamente: sem tiling, o equilíbrio precisão-latência é melhor em toda a faixa — o tiling só compensa nas resoluções mais altas, com as menores grades 2×2. A comparação final contra os VLMs convencionais é o destaque: o FastVLM é 85 vezes mais rápido que o LLaVA-OneVision (LLM de 0,5B), 5,2 vezes mais rápido que o SmolVLM e 21 vezes mais rápido que o Cambrian-1 (7B) — com maior precisão na média de sete benchmarks (ChartQA, TextVQA, DocVQA, OCRBench, AI2D, MMMU, ScienceQA): FastVLM 7B com TTFT de 641ms e média de 76,2, contra os 5.085ms do Cambrian-1 com 68,8 e os 20.347ms do LLaVA-Next com 63,1.
No Dispositivo, Quase em Tempo Real
Para demonstrar a eficiência no dispositivo, a Apple lançou um app de demonstração iOS/macOS baseado em MLX: o FastVLM 0.5B roda localmente na GPU de um iPhone 16 Pro, com o tempo até o primeiro token exibido na tela — resposta visual a perguntas quase em tempo real na palma da mão. A conclusão da Apple é discreta, mas grandiosa: os VLMs impulsionam uma ampla gama de aplicações práticas, sua precisão normalmente acompanha a resolução da entrada, e esse tradeoff limitou seu valor para qualquer coisa que precise de precisão e velocidade. O encoder FastViTHD do FastVLM resolve essa tensão com um design simples que supera os métodos existentes em ambos os eixos.
A leitura estratégica: o FastVLM é a Apple apostando seu canto do mundo dos VLMs em latência e privacidade no dispositivo, em vez de escala — a aposta oposta aos gigantes de datacenter, e possivelmente a certa para uma empresa cujos produtos são os dispositivos. Menos tokens, mas melhores, vencem mais tokens podados; um encoder construído para o propósito vence a compressão posterior; e visão quase em tempo real no dispositivo agora é uma realidade em produção, e não apenas uma reivindicação em artigo. Para desenvolvedores, os checkpoints open source e o app MLX tornam este o caminho mais rápido para criar experiências de IA sensíveis à câmera e com preservação de privacidade em hardware Apple. Artigo: Apple ML Research. Código: github.com/apple/ml-fastvlm.
