Por quase uma década, o Transformer tem sido a resposta padrão a uma pergunta: como construir um modelo de linguagem? Suas escolhas de componentes — normalização QK, grouped-query attention (GQA), sliding-window attention, um comprimento de contexto fixo no pré-treinamento, a camada de projeção de saída — foram copiadas de modelo para modelo até que ninguém mais parasse para perguntar se elas eram realmente boas.
No COLM 2026, três grupos de pesquisa independentes fizeram exatamente essa pergunta. Os artigos atacam diferentes partes da stack: um audita as escolhas de arquitetura para contexto longo, outro audita a camada de saída durante o treinamento, e o terceiro audita a poda de camadas. As conclusões convergem para o mesmo padrão desconfortável: os defaults “seguros” da indústria carregam custos reais e mensuráveis que os benchmarks padrão nunca revelam.
Aqui está o que os três artigos descobriram, e o que isso muda para qualquer pessoa que treina, poda ou implanta LLMs.
Rachaduras na Fundação: Escolhas de Contexto Longo que Saiam pelo Teto
O primeiro artigo, “Cracks in the Foundation”, da Ai2 e colaboradores, mira as escolhas arquiteturais que se tornaram equipamento padrão: normalização QK, grouped-query attention (GQA), sliding-window attention e o comprimento de contexto do pré-treinamento.
Para testá-las adequadamente, a equipe treinou 26 modelos — o “OlmPool” — todos com 7B a 8B de parâmetros, todos com dados, tokenizador e receitas de extensão de contexto idênticos, diferindo apenas em quais dos quatro interruptores estavam ativados. Cada modelo recebeu 140B tokens de pré-treinamento mais 10B tokens de finetuning para contexto longo. Conta total: mais de 170.000 horas de GPU.
Os resultados são impressionantes. No benchmark de contexto longo HELMET 32K, a melhor configuração pontuou 56,4 e a pior 29,9 — uma diferença relativa de 47% com dados idênticos e arquiteturas quase idênticas. Ativar qualquer interruptor isoladamente mal importa: pré-treinar com contexto de 4096 vs 8192, ou adicionar sliding-window attention, move as notas em apenas um ou dois pontos. O dano vem das combinações. Colocar sliding-window attention e GQA no mesmo modelo derruba a média em nove pontos — muito mais do que a soma dos efeitos individuais. A pior configuração testada, GQA mais sliding-window attention mais normalização QK por cabeça, foi ainda pior.
Uma descoberta foi tão consistente que virou um diagnóstico: contar quantas dessas “escolhas nocivas” um modelo contém prevê sua pontuação em contexto longo com mais confiabilidade do que analisar a arquitetura peça por peça.
O resultado mais contraintuitivo envolve a normalização QK. Ela foi introduzida para estabilizar o treinamento, e a indústria a trata como estritamente benéfica. Mas remover o QK-norm e o post-norm do OLMo 3 e mudar para pre-norm elevou sua nota no HELMET em seis pontos — enquanto a mudança idêntica no Llama 3 custou 3,8 pontos. O mesmo componente “padrão”, dois modelos-base diferentes, resultados opostos.
O artigo também inverte uma suposição comum sobre attention sinks — a tendência dos modelos de concentrar uma grande fatia da atenção nos primeiros tokens. O comportamento de sink geralmente é tratado como computação desperdiçada, e muitos métodos se vendem eliminando-o. Nos modelos do OlmPool, valeu o oposto: modelos com sinks de atenção mais fortes pontuaram melhor em tarefas de contexto longo. A normalização QK suprime esse comportamento — o que pode ser exatamente por que ela arrasta o desempenho em contexto longo para baixo.
Perdidos na Retropropagação: A Camada de Saída Devora o Gradiente
O segundo artigo, “Lost in Backpropagation”, de Cornell, examina um componente que todo modelo de linguagem compartilha: a camada de projeção de saída que converte estados ocultos em pontuações de palavras (logits).
A incompatibilidade entre o tamanho do vocabulário e o tamanho do estado oculto é bem conhecida como o “gargalo do softmax”: o vocabulário tem dezenas de milhares de tokens de largura, enquanto a dimensão oculta tem apenas alguns milhares, limitando quais distribuições o modelo consegue expressar. Este artigo mostra que a mesma incompatibilidade tem uma segunda consequência, menos visível — na retropropagação.
Quando os sinais de erro fluem para trás, a camada de saída precisa passar informação sobre cada entrada do vocabulário para as camadas inferiores. Mas a estrutura da camada limita quanta informação realmente passa, para algo próximo da dimensão oculta — muito menor que o vocabulário. Os pesquisadores mediram essa perda de informação em modelos pré-treinados GPT-2, Pythia, Llama 3, OLMo 2 e Qwen 3, projetando os sinais de erro no espaço nulo dos pesos da camada de saída. Em todos os modelos, 95% a 99% da norma do gradiente é destruída nessa única etapa. O sinal que sobrevive tem apenas 0,1 a 0,2 de similaridade de cosseno com o gradiente verdadeiro.
Em outras palavras, em cada passe para trás, a camada de saída apaga silenciosamente a maior parte do sinal de treinamento — e o restante aponta numa direção aproximadamente errada. É a única camada que nenhum modelo pode pular, e quase ninguém a audita.
Quando Menos Camadas Quebram Mais Cadeias: Poda Mata o Raciocínio
O terceiro artigo, “When Fewer Layers Break More Chains”, da Universidade de Tübingen, mira a poda de camadas — deletar camadas inteiras do Transformer para cortar computação. Trabalhos anteriores mostraram que algumas camadas contribuem pouco, e que podar um quarto delas pode reter mais de 80% da precisão original em benchmarks de conhecimento. Isso fez a poda parecer um almoço grátis.
A pegadinha: benchmarks de conhecimento pedem respostas curtas que o modelo consegue recordar. O artigo, em vez disso, testou raciocínio em cadeias longas, usando test-time scaling — dar ao modelo mais tokens de pensamento ou múltiplas tentativas de amostragem, o que normalmente eleva a precisão. A equipe podou uma a duas camadas do s1.1-7B e do Qwen3-8B usando três métodos de poda convencionais, e depois refez ambos os tipos de avaliação.
As notas de conhecimento mal se moveram. Mas no AIME24, um benchmark de matemática em nível de competição, podar uma única camada do s1.1-7B causou uma queda brusca na precisão, e duas camadas a empurraram para perto de zero. Pior: o test-time scaling parou de funcionar nos modelos podados — mais tokens de pensamento não ajudavam mais, e em alguns casos pensar mais tempo piorava os resultados. Toda a suposição de “pensar mais para ficar mais inteligente” quebrou silenciosamente.
O fine-tuning não consegue restaurar o dano de forma limpa. O fine-tuning com LoRA mal ajudou os modelos com uma camada podada, e embora o fine-tuning completo recuperasse parte do terreno nos modelos com duas camadas, eles permaneceram muito abaixo de sua base sem poda.
O Que Isso Significa para a Indústria
Lidos em conjunto, os três artigos descrevem um único padrão estrutural: a stack do Transformer roda sobre configurações herdadas que foram propagadas, não validadas. Todos os grandes laboratórios e a maioria das famílias de modelos open-weight carregam combinações dessas escolhas, e os efeitos de interação significam que você não pode raciocinar sobre elas um botão por vez.
As implicações são concretas. Primeiro, o desenho de avaliações agora é uma decisão estratégica: benchmarks padrão de conhecimento não conseguem enxergar os custos de contexto longo, saúde do gradiente ou raciocínio que esses artigos mediram. Segundo, a corrida pelo contexto longo está prestes a colidir com a realidade da arquitetura — à medida que todos esticam janelas de contexto, as combinações QK-norm/GQA/SWA embutidas nos modelos atuais determinarão quem bate no teto primeiro. Terceiro, a pressão por eficiência está crescendo na indústria inteira, empurrando mais equipes para a poda e a quantização; este artigo sugere que modelos podados podem estar perdendo silenciosamente justamente a capacidade de raciocínio de que as cargas de trabalho agentic dependem — as mesmas cargas que levam empresas de modelos a rearquitetar inferência e treinamento juntas. E, conforme a demanda por inferência remodela o mix de hardware, com analistas agora esperando que contagens de CPU e GPU converjam para 1:1 em cargas agentic, extrair mais desempenho por parâmetro vira uma necessidade competitiva, não um refinamento opcional.
O Que Você Pode Fazer a Respeito
- Audite suas escolhas de arquitetura como um conjunto, não como interruptores. Se você treina ou dá continuidade ao pré-treinamento, trate QK-norm, GQA e sliding-window attention como variáveis que interagem. O resultado do OlmPool sugere que a contagem de “defaults nocivos” é um preditor de primeira ordem razoável da qualidade em contexto longo.
- Não deixe benchmarks de conhecimento abençoarem uma receita de poda. Se você poda, valide em tarefas de raciocínio e matemática (estilo AIME), e verifique novamente se o test-time scaling ainda funciona no modelo podado. Se não funcionar, a receita está escondendo uma regressão de capacidade.
- Reconsidere “corrigir” os attention sinks. Os modelos do OlmPool sugerem que os sinks de atenção se correlacionam com melhor desempenho em contexto longo. Antes de adotar um método que remove sinks, meça seu efeito em avaliações de contexto longo.
- Orce computação de test-time apenas para modelos cuja cadeia de raciocínio está intacta. O test-time scaling é um amplificador: em um modelo sem poda ele amplifica o raciocínio, em um modelo podado ele amplifica o ruído.
- Acompanhe os artigos. Os três estão no COLM 2026, e a suíte OlmPool é um recurso público para reproduzir a comparação dos 26 modelos.
Para mais contexto sobre o lado de infraestrutura e economia dessa mudança, veja nossos guias sobre acelerar inferência local e o mapa de tendências de IA para 2026.
