A arquitetura que ameaça o Transformer ganha uma grande atualização
Hoje, a equipe original do Mamba lançou oficialmente a nova geração de sua arquitetura open-source: Mamba-3. Em relação ao Mamba-2, ela traz três mudanças fundamentais no modelo de espaço de estados (SSM) central: um processo de discretização aprimorado, capaz de simular convolução; transições de estado movidas para o domínio complexo, para melhor rastreamento de estado; e uma arquitetura MIMO (múltiplas entradas, múltiplas saídas) que aumenta a utilização na inferência mantendo a velocidade de decodificação. O resultado principal: com apenas metade do tamanho do estado interno, o Mamba-3 iguala o desempenho do Mamba-2.
Os benchmarks na escala de 1,5B de parâmetros: a variante MIMO registra 57,6% de acurácia média, 4 pontos acima do Transformer. Em tarefas de sequências longas, a latência ponta a ponta do Mamba-3 é de apenas um sétimo da do Transformer.
Mirando a falha fatal do Transformer
Desde 2017, a arquitetura Transformer é a base de todos os LLMs. Ela também é, inequivocamente, um buraco negro de computação: à medida que o comprimento da conversa cresce, o cálculo cresce quadraticamente e o uso de memória sobe linearmente. O Mamba-3 representa uma mudança de paradigma — de uma otimização para eficiência no treinamento para um design centrado na inferência, um reposicionamento que importa cada vez mais a cada ano, à medida que o gasto com inferência em produção ultrapassa os orçamentos de treinamento.
As três tecnologias centrais
- Discretização trapezoidal exponencial: um salto de precisão da primeira para a segunda ordem, com ganhos significativos de acurácia.
- SSM com valores complexos: uma bússola interna para o modelo, corrigindo a fraqueza em raciocínio lógico — em tarefas de verificação de paridade, o Mamba-3 atinge 100% de acurácia.
- MIMO: aproveitando cada ciclo ocioso da GPU — nada mais de silício parado durante a decodificação.
Dominando os benchmarks
Na escala de 1,5B, o Mamba-3 MIMO fica em primeiro lugar com 57,6% de acurácia média, liderando o Transformer por 4 pontos — algo notável porque a faixa abaixo de 2B é justamente onde os SSMs eram historicamente mais fracos em tarefas que exigem forte capacidade de recuperação. A latência de inferência ponta a ponta chega a ser quase 7x mais rápida que a de Transformers servidos via vLLM, e é esse o número que decidirá implantações reais: o custo de serviço, e não o brilho em benchmarks, é o que transforma arquiteturas em produtos.
Por que a prioridade à inferência muda o jogo
Para entender por que a comunidade de arquiteturas se importa com este lançamento, siga o dinheiro. Na era dominada pelo treinamento, a atenção quadrática era um imposto tolerável: os treinos de pré-treinamento acontecem uma única vez, em clusters que a maioria das empresas jamais alugará, e a conta é amortizada entre todos os usuários downstream. A inferência é o oposto — é paga por token, para sempre, na borda da rede, onde a eficiência se traduz diretamente em margem. Um kernel de atenção quadrática que representa 2% do custo de treinamento pode representar 40% do custo de serviço em workloads de contexto longo. Essa assimetria explica por que alternativas à atenção continuam surgindo apesar da incumbência do Transformer, e por que os números de latência deste lançamento — e não sua posição no ranking de acurácia — são o resultado central. Uma vantagem de 7x na latência ponta a ponta contra um baseline servido via vLLM é a diferença entre uma curiosidade de pesquisa e uma opção séria para a camada de serviço.
As transições de estado com valores complexos merecem atenção especial, porque atacam exatamente a ferida que matou os ciclos anteriores de hype em torno dos SSMs. Modelos recorrentes lineares sempre foram espetaculares em modelagem de linguagem e constrangedoramente fracos em tarefas de rastreamento de estado — as famílias de paridade e cópia, em que o modelo precisa manter um estado simbólico exato, e não apenas tendências estatísticas. Os Transformers passam por essas tarefas com atenção total sobre o histórico; modelos de estado de tamanho fixo simplesmente não conseguiam representá-las. Pontuar 100% nas verificações de paridade significa que a formulação no domínio complexo realmente representa o estado necessário, o que transforma a crítica aos SSMs de “ótimo LM, péssimo raciocinador” em algo mais próximo de “ótimo LM, raciocinador competente”. Essa é uma mudança de categoria, não marginal.
O que acompanhar a seguir
Três desdobramentos determinarão se o Mamba-3 se torna infraestrutura ou permanece um marco de pesquisa. Primeiro, resultados em escalas maiores: a evidência em 1,5B é convincente para sua faixa, mas os modelos de fronteira vivem acima de 100B, onde a dinâmica de mix de dados e otimização muda; um resultado credível na classe do Mamba-3 em 8B ou 30B o moveria de promissor para sério. Segundo, adoção híbrida: o caminho pragmático de curto prazo não são modelos puramente SSM, mas pilhas híbridas — camadas Mamba cuidando da compressão de contexto longo entre camadas de atenção esparsa — e a história de compatibilidade deste lançamento decidirá a rapidez com que isso acontecerá. Terceiro, a resposta do ecossistema: suporte em serviços de nível vLLM, receitas de quantização e ferramentas de fine-tuning são os pré-requisitos nada glamorosos para a adoção, e a velocidade da equipe neles importará tanto quanto a arquitetura. A origem liderada por estudantes é um lembrete de que a pesquisa em arquiteturas continua sendo um dos poucos campos em que uma pequena equipe com os orientadores certos ainda pode forçar a indústria inteira a reconsiderar suas fundações.
Para equipes decidindo se devem se importar agora, mapeie o lançamento sobre sua estrutura de custos real. Se seu produto atende requisições de contexto curto — um assistente de chat com janela de 4K, um endpoint de classificação —, o imposto da atenção quadrática é pequeno e os custos de migração dominam; não se mova. Se seu produto vive no regime de contexto longo — agentes de código em escala de repositório, transcrições de reuniões de horas, conjuntos de documentos com milhões de tokens —, a aritmética é outra, porque é exatamente ali que o termo quadrático da atenção e o design de estado constante do Mamba-3 mais divergem. A acurácia de 100% nas verificações de paridade também importa especificamente para workloads agênticos: agentes são máquinas de rastreamento de estado, jongando caminhos de arquivos, estado de conversa e inventários de ferramentas ao longo de milhares de turnos, e as tarefas em que os SSMs anteriores falhavam são justamente as que agentes executam o tempo todo. O movimento racional para a maioria das equipes não é adotar nem descartar, mas fazer um benchmark: pegue seu maior contexto de produção, rode-o em ambas as pilhas e deixe a sua própria conta de latência dar o voto decisivo. É assim que as transições de arquitetura realmente acontecem — não quando um paper vence o leaderboard, mas quando os custos de serviço do status quo se tornam indefensáveis numa revisão de orçamento.
Estudantes chineses têm papel decisivo
Vale destacar: este é o primeiro Mamba liderado por uma equipe de estudantes. Os orientadores incluem Albert Gu (professor assistente na CMU e pai fundador da revolução dos SSMs) e Tri Dao (inventor do FlashAttention, doutor por Stanford) — mas o banco de primeiros autores é a história: um esforço liderado por estudantes produzindo o desafiante mais sério até hoje para a arquitetura que domina o campo desde 2017. Paper: arXiv:2603.15569. Fonte: 36Kr.
