Ontem, a Meituan lançou seu primeiro modelo de grande porte open-source: o LongCat-Flash, um modelo mixture-of-experts de 560 bilhões de parâmetros cuja marca registrada é a velocidade. Segundo a Meituan, sua arquitetura com conexões de atalho amplia a janela de sobreposição entre computação e comunicação para entregar mais de 100 tokens por segundo, com tempo teórico de saída por token quase 50% menor que o do DeepSeek-V3. O teste prático do Zhidx confirmou: ao solicitar cerca de 100 tokens de saída, a velocidade de geração medida rodou mesmo em torno de 100 tokens por segundo, após a latência do primeiro token.
Ressalvas primeiro: o LongCat-Flash ainda não suporta upload de arquivos ou imagens; a versão web oferece busca na internet, enquanto o modo de raciocínio profundo exibe “em breve”. Em uma chamada de resultados em maio, o fundador e CEO Wang Xing já havia antecipado a direção — o LongCat aprimorado “agora alterna perfeitamente entre os modos de raciocínio e não raciocínio”, com desempenho se aproximando do GPT-4o — enquanto definia o tom estratégico: a Meituan joga no ataque em IA, abrangendo IA no trabalho, IA nos produtos e LLMs desenvolvidos internamente. Segundo apuração do 01 Founder, confirmada por múltiplas fontes, o treinamento do LongCat-Flash não foi concluído em GPUs NVIDIA — o relatório técnico menciona apenas “dezenas de milhares de placas aceleradoras”, com o nome do fornecedor de hardware deliberadamente não revelado.
Teste Prático: Comentários Afiados, Matemática Elementar Falhando
O Zhidx testou matemática, programação, busca e conhecimento geral. O limite de conhecimento é junho de 2024, e isso fica evidente offline: perguntado quem desenvolve o Tencent Yuanbao, o modelo respondeu Meituan — o Yuanbao foi lançado em 30 de maio de 2024, justamente na fronteira do limite. Diante do fluxo comum de agente — buscar, sintetizar e produzir um relatório sobre a mais recente “guia dos deliverys” entre Meituan, Alibaba e JD —, o LongCat-Flash buscou apenas 10 páginas — menos que os concorrentes —, e suas fontes penderam fortemente para o Baijiahao, sem incluir mídias autoritativas nem sites oficiais das empresas, mesmo sob pedido explícito. Os números financeiros citados eram precisos e a análise coincidiu com as leituras predominantes do setor, favoráveis à Alibaba — mas trouxe pouca novidade. Na comparação clássica entre 9,8 e 9,11, tropeçou: uma resposta rápida, confiante e errada, sem qualquer autoverificação. Em matemática mais contextualizada (cálculo de juros), foi impecável; e em conhecimento geral — por que o céu é azul ao meio-dia e vermelho ao pôr do sol —, entregou uma explicação em três partes, com teoria correta, uma tabela organizada e até sugestões de referências de divulgação científica. Em programação, um mini-game em HTML com tema do LongCat funcionou, mas a jogabilidade deixou a desejar. Diante do DeepSeek-V3.1, do Kimi-K2 e do Qwen3 MoE-2507, a capacidade geral e de programação ainda fica atrás — mas em chamadas de ferramentas agênticas e seguimento de instruções, o LongCat-Flash alcança o SOTA open-source.
O MoE Inovador: Um Atalho para a Cooperação entre Especialistas
O relatório técnico detalha a arquitetura por trás da velocidade. Especialistas de computação zero: a previsão do próximo token apresenta dificuldade muito variável — tokens difíceis (raciocínio complexo, contexto ambíguo) exigem computação total; tokens fáceis (palavras comuns, estruturas formulaicas) mal precisam dela. O mecanismo de alocação dinâmica de computação do LongCat-Flash direciona alguns tokens simples a especialistas de computação zero, que apenas repassam a entrada inalterada, sem custo algum. A ativação de especialistas por token varia conforme o contexto, então o modelo gasta mais computação nos tokens importantes e menos nos triviais — melhor desempenho dentro do mesmo orçamento. Termos de viés por especialista ajustam os escores de roteamento com base no uso recente, mantendo a proporção de computação zero equilibrada sem tocar no objetivo do modelo de linguagem. MoE com Conexões de Atalho (ScMoE): em larga escala, a comunicação é o gargalo — o paralelismo tradicional de especialistas precisa concluir o roteamento global antes que a computação comece. As arquiteturas de especialista compartilhado sobrepõem comunicação à computação de apenas um único especialista, janela estreita demais para ajudar de forma significativa. O ScMoE introduz um atalho entre camadas que reordena a execução: a computação densa da camada anterior roda em paralelo com a comunicação de dispatch/agregação da camada MoE atual — uma janela de sobreposição bem maior. As curvas de perda de treinamento se igualam às dos baselines sem ScMoE, então o desempenho não é prejudicado, enquanto a inferência permite um pipeline sobreposto de lote único que impulsiona a redução de cerca de 50% no tempo de saída por token. Ele até paraleliza diferentes modos de comunicação: o paralelismo de tensores intra-nó via NVLink se sobrepõe totalmente ao paralelismo de especialistas inter-nós via RDMA. Alinhamento de variância escalável: arquiteturas que se comportam bem em pequena escala podem se desestabilizar em larga escala, e a equipe identificou variâncias desencontradas dentro dos módulos como a causa — corrigindo o problema com dois fatores de correção de escala e inicialização de especialistas com compensação de variância para os blocos MLA e MoE.
Escalonamento a Partir de um Modelo de Meio Tamanho, com um Framework de Estabilidade
A estratégia de treinamento é um framework completo de estabilidade e escalabilidade. Em vez de tentativa e erro com centenas de bilhões de parâmetros, a equipe adotou uma estratégia “do pequeno ao grande”: buscar sistematicamente taxas de aprendizado, variâncias de inicialização e outros hiperparâmetros em um modelo pequeno e, depois, migrar as configurações ótimas por meio de regras derivadas teoricamente — economizando computação enorme e mantendo os hiperparâmetros válidos em escala. A inicialização usou crescimento do modelo: treinar um modelo de meio tamanho até a convergência, expandi-lo ao tamanho completo e continuar — breve oscilação inicial e, depois, convergência estável, superando claramente a inicialização aleatória. O conjunto de estabilidade: balanceamento de carga no nível de roteamento entre especialistas; um “fusível” de ativação que restringe suavemente picos anômalos para evitar o colapso do treinamento; e parâmetros de Adam cuidadosamente ajustados para estabilidade numérica em escala — juntos, eliminando picos de perda irrecuperáveis ao longo de longas execuções. O trabalho de confiabilidade enfatizou reprodutibilidade e detecção de erros, com controle rigoroso de precisão que captura “corrupção silenciosa de dados” antes que ela se esconda dentro dos sistemas distribuídos. O pipeline de treinamento em si: fusão de dados de pré-treinamento em dois estágios, elevando progressivamente a participação de STEM e código; mid-training estendendo o contexto para 128 mil tokens com dados sintéticos reforçando raciocínio e programação; e pós-treinamento com trilhas separadas para raciocínio, programação e tarefas de agente — incluindo um framework multiagente sintético que gera tarefas difíceis em processamento de informação, complexidade de ferramentas e interação com o usuário para treinar a capacidade agêntica. O trabalho de infraestrutura cobriu otimização de kernels, paralelismo distribuído e monitoramento/tolerância a falhas para dezenas de milhares de placas aceleradoras. A servição combina orquestração de computação-comunicação, decodificação especulativa, otimização de KV-cache, quantização e agendamento: mais de 100 tokens por segundo a US$ 0,70 por milhão de tokens (cerca de 5 yuans).
A Conclusão: A Meituan Joga no Ataque
A equipe avaliou o modelo em 30 benchmarks: tarefas de agente são o ponto forte — vantagem clara sobre o DeepSeek-V3.1, o Qwen3 MoE-2507 e o Kimi-K2 no open-source doméstico —, com programação, matemática e raciocínio ainda com espaço para crescer. Os objetivos do open-source, segundo a equipe: avançar em arquiteturas MoE eficientes, estratégias de dados de alta qualidade e pesquisa em modelos para agentes autônomos. E conforme a chamada de resultados, a Meituan já usa IA para otimizar produtos existentes e construir novos produtos nativos de IA — assistentes de IA para operações, assistentes de IA para o consumidor. A leitura estratégica: o LongCat-Flash não é mais um lançamento me-too. Suas escolhas distintas — pós-treinamento focado em agentes, treinamento em larga escala fora da NVIDIA, engenharia que prioriza velocidade a benchmarks marginais e preço acessível — desenham um laboratório que sabe exatamente em qual mercado está entrando (agentes servindo a escala de serviços locais) e está construindo especificamente para esse mercado. O sucessor LongCat-2.0 de trilhões de parâmetros, coberto anteriormente neste site, agora se lê como a próxima estação do roteiro, e o ecossistema open-source ganha um concorrente sério e incomum em foco. Pesos disponíveis no Hugging Face e no GitHub com o relatório técnico; demonstração web no ar.
