O modelo de linguagem de grande porte capaz de assistir a um vídeo e raciocinar entre modalidades — o Keye-VL 1.5 — foi disponibilizado como open source pela Kuaishou. Em relação à sua versão preview, o Keye-VL 1.5 aprimora o grounding temporal e adiciona raciocínio cross-modal, além de introduzir um inédito mecanismo de codificação de via dupla Slow-Fast que entrega uma janela de contexto de 128K equilibrando velocidade e detalhe. Em números: 73,0 no benchmark de vídeos curtos Video-MME, liderando entre modelos de mesmo porte em um amplo conjunto de benchmarks gerais, de vídeo e de raciocínio.
Três Habilidades de Destaque, Uma Demo
A equipe destaca três pontos fortes: contexto de 128K, desempenho marcante em vídeos curtos e raciocínio mais robusto — e os três aparecem ao mesmo tempo no entendimento de vídeo. Grounding temporal: o Keye-VL 1.5 identifica com precisão quando um objeto específico aparece em um vídeo, com precisão de 0,1 segundo. Em um clipe de e-commerce de 26 segundos apresentando um power bank — incluindo um trecho em que ele é colocado dentro de uma bolsa para demonstrar a portabilidade —, o Keye-VL 1.5 respondeu corretamente que a bolsa aparece em 22,3-23,8 segundos. Modelos concorrentes erraram o tempo (acertando apenas o segundo) ou simplesmente ignoraram os timestamps e contaram os cortes.
Descrição: o modelo descreve cenas e detalhes de vídeo em profundidade, produzindo um relato fiel do conteúdo do clipe. Raciocínio sobre vídeo: ele infere por que eventos posteriores acontecem a partir das imagens anteriores. Em um vídeo de pets em que um cachorro grande morde a orelha de um cachorro pequeno, o Keye-VL 1.5 foi questionado sobre o motivo — a resposta estava escrita na tela do vídeo, mas a explicação do Keye foi além, reforçando sua interpretação com o comportamento subsequente do cachorro nas imagens. Em benchmarks, o Keye-VL 1.5 alcança as maiores pontuações entre modelos de mesmo porte em benchmarks públicos e avaliações internas: superando o Qwen2.5-VL 7B em suítes gerais (MMBench, OpenCompass) com múltiplos SOTAs, ultrapassando os pares em conjuntos de raciocínio visual (AI2D, OCRBench) e liderando em vídeo (Video-MME, TempCompass, LongVideoBench), além de matemática visual e lógica. A equipe também construiu 200 avaliações internas multidimensionais voltadas a aplicações de vídeo curto, nas quais o Keye-VL-1.5-8B obteve 3,53 de 5 em cinco métricas avaliadas por humanos (corretude, completude, relevância, fluência e criatividade) — um avanço de 0,51 em relação à preview e à frente dos concorrentes de comparação.
Entendimento de Vídeo Também Ganha Pensamento Rápido-Lento
A arquitetura é um conjunto de três partes: um vision transformer (ViT), um projetor MLP e um decoder de linguagem. O ViT divide as imagens de entrada ou os frames de vídeo em sequências de patches 14×14 e captura relações espaciais globais com self-attention — inicializado a partir do SigLIP-400M, cujo pré-treino contrastivo imagem-texto confere aos recursos visuais um alinhamento semântico nativo. Para lidar com resoluções arbitrárias sem recortes, a equipe adicionou suporte à resolução nativa: os vetores de posição absoluta são interpolados para qualquer tamanho, e o RoPE 2D (codificação de posição rotatória) fortalece a extrapolação em alta resolução. Os recursos dos patches passam por um projetor MLP de duas camadas até o decoder de linguagem — o Qwen3-8B —, cuja codificação posicional foi estendida para um RoPE 3D: os dois ângulos rotacionais convencionais mais um ângulo de tempo/profundidade, de modo que tokens de texto e tokens visuais se organizam em uma única linha do tempo unificada.
A peça central é a estratégia de codificação Slow-Fast, voltada para o conflito fundamental do vídeo entre taxa de quadros e resolução. O modelo calcula a similaridade cosseno no nível de patch entre frames consecutivos: se a similaridade com o “slow frame” mais recente (um frame de mudança — poucos, alta resolução) exceder 95%, o frame é classificado como “fast frame” (um frame estático — muitos, baixa resolução); caso contrário, ele se torna um novo slow frame. Os slow frames mantêm a resolução total; os fast frames recebem 30% do orçamento de tokens de um slow frame; a busca binária ajusta o gasto total precisamente ao limite; e tokens especiais de timestamp marcam os limites dos frames na sequência. O resultado: desempenho e custo computacional equilibrados por design — o que torna economicamente possível um contexto de vídeo de 128K.
Pré-Treino em Quatro Estágios e o Truque de Merge de Pesos
O pré-treino segue um pipeline progressivo de quatro estágios, ordenado segundo o princípio “unimodal antes de multimodal, alinhamento antes de extensão”: Estágio 0 — pré-treino do encoder de visão, continuando o ViT apenas com a perda contrastiva do SigLIP para fortalecer a semântica visual em dados internos; Estágio 1 — alinhamento cross-modal, congelando o ViT e o Qwen enquanto apenas o projetor MLP é treinado; Estágio 2 — pré-treino multitarefa, descongelando a rede completa para otimização ponta a ponta com contexto de 8K, construindo a base do entendimento visual; Estágio 3 — annealing, fine-tuning com dados curados de alta qualidade enquanto se introduzem dados de modalidade de contexto longo para estender o contexto até 128K. O corpus de pré-treino ultrapassa um trilhão de tokens, combinando conjuntos públicos multilíngues de imagem-texto (LAION, DataComp, CC12M) com imagens, vídeos e textos em larga escala produzidos internamente. Após os quatro estágios, a equipe faz o merge de pesos “homogêneos” — mesma arquitetura, objetivos de tarefa similares, diferentes misturas de dados, dificuldade de amostras e seeds — com pesos especialistas “heterogêneos” submetidos a fine-tuning em domínios específicos (por exemplo, um OCR-Expert treinado em dados de placas de veículos, recibos e placas de rua coletados e sintetizados adicionalmente). Como as arquiteturas são idênticas, o merge é uma simples interpolação de pesos: zero overhead no tempo de inferência, com as forças locais dos especialistas injetadas no modelo geral e a redução de viés como bônus.
Pós-Treino: Quatro Estágios do Baseline ao Alinhamento
O pós-treino ocorre em quatro fases: fine-tuning supervisionado combinado com otimização multi-preferência (MPO) para estabelecer a linha de base da qualidade das saídas; um pipeline de cinco etapas de dados em larga escala de cadeia de raciocínio (chain-of-thought) como cold start, fornecendo demonstrações confiáveis de raciocínio; aprendizado por reforço em múltiplos turnos sob recompensas verificáveis usando o algoritmo GSPO com amostragem progressiva de prompts, elevando sistematicamente o raciocínio geral; e uma etapa final de RL de alinhamento com recompensas de tripla origem — baseada em regras, generativa e baseada em modelo —, enfatizando o seguimento de instruções, a consistência de formato e o alinhamento com as preferências do usuário. No estágio de SFT, a equipe construiu um pool candidato de 7,5 milhões de perguntas e respostas multimodais, mapeou amostras em setenta mil rótulos de tarefa via TaskGalaxy e elevou deliberadamente a proporção de tipos difíceis. O MPO utilizou então 250 mil amostras open source, 150 mil somente texto e 26 mil anotadas por humanos, construindo pares de alta-baixa qualidade a partir de pontuações do modelo Keye-Reward e avaliações humanas, com uma loss de preferência que ensina o modelo a favorecer a resposta de pontuação mais alta para a mesma pergunta — elevando ainda mais a qualidade das respostas.
Por Que Isso Importa
O Keye-VL 1.5 importa pelo que prova sobre a economia do vídeo. A estratégia Slow-Fast é uma resposta de engenharia à pergunta que todo LLM de vídeo enfrenta — como pagar por um milhão de tokens de filmagem — e sua resposta (gastar onde as coisas mudam, passar rápido onde não mudam) espelha como os humanos assistem a vídeos. O grounding temporal de 0,1 segundo é a capacidade que converte o entendimento de vídeo de mera descrição em utilidade prática: indexação de e-commerce, moderação de conteúdo, veiculação de anúncios e extração de destaques precisam de timestamps, não de resumos. E o lançamento open source, vindo de uma empresa cujo negócio central é vídeo curto, coloca um cérebro de vídeo de nível de produção nas mãos de todos — com o benchmark interno de 200 casos de vídeo curto como um indício de para onde aponta o roadmap da própria equipe. Para desenvolvedores que constroem sobre vídeo, o Keye-VL 1.5 acabou de se tornar o primeiro teste padrão.
