Até Musk e Andrej Karpathy estão dando o selo de aprovação nessa história: a “conexão residual” — um componente que DeepSeek e Kimi atacaram um atrás do outro — de repente se tornou o canto mais interessante do deep learning. A Kimi (Moonshot AI) acabou de publicar um paper de peso que ataca um fundamento do Transformer intocado há uma década: a conexão residual, proposta por He Kaiming no paper do ResNet de 2015 e presença fixa no deep learning desde então.
A metáfora que torna tudo compreensível: imagine o Transformer de um modelo grande como uma fila de dezenas de trabalhadores retransmitindo uma mensagem. A conexão residual é a regra segundo a qual cada trabalhador, depois de ouvir tudo o que foi dito antes, acrescenta uma frase própria e repassa o monte inteiro adiante, palavra por palavra. O problema: o trabalhador no fim da fila recebe tudo o que todos disseram, empilhado um sobre o outro — quanto mais adiante na fila, mais bagunçada e longa fica a mensagem, os pontos importantes do começo acabam enterrados, e as contribuições finais não são ouvidas. A IA fica mais burra. Esse é o problema da diluição.
A solução da Kimi traz atenção para dentro do próprio residual — uma regra batizada de Attention Residuals: dar aos trabalhadores um filtro inteligente para que parem de aceitar o monte inteiro e possam, em vez disso, escolher se concentrar no conteúdo de origem que lhes interessa.
Os resultados: mais inteligente e mais barato
O modelo fica mais inteligente: ganhos estáveis em toda a linha, e nas tarefas que realmente testam capacidade — exames de nível de pós-graduação, raciocínio matemático avançado, geração de código, compreensão de contexto ultralongos — saltos diretos de 3 a 7,5 pontos. E fica mais barato: validado na própria arquitetura de modelo da Kimi, economiza 1,25x de computação, com overhead de ponta a ponta no treinamento abaixo de 4% e aumento de latência na inferência inferior a 2% — praticamente nenhum ônus adicional. Melhor ainda: se encaixa perfeitamente nas scaling laws — quanto maior o modelo, maior a vantagem.
Por que a conexão residual persiste — e suas três falhas fatais
A conexão residual sobreviveu uma década porque abre uma autoestrada de informação: ela carrega o sinal de correção de erros que treina a IA por toda a pilha, tornando redes profundas treináveis sem perder o que as camadas anteriores aprenderam. Mas três falhas são estruturais. Você não pode escolher o que ouvir: tanto faz se uma camada extrai destaques ou organiza o conteúdo, ela recebe o monte inteiro — sem seleção. Conteúdo enterrado é irrecuperável: uma vez que um ponto-chave inicial fica coberto pelas adições seguintes, ele nunca mais reaparece — é por isso que a IA esquece sua instrução inicial numa conversa longa. O monte continua crescendo: os trabalhadores de jusante precisam gritar mais alto e acrescentar mais para serem ouvidos no fim da fila — e é exatamente isso que torna o treinamento de modelos profundos caótico.
Soluções anteriores — PreNorm entre elas — apenas reordenaram a arrumação sem tocar na regra fixa de acumulação. A percepção da Kimi veio ao notar que “o problema do tempo ao longo da dimensão de sequência e o problema das camadas ao longo da dimensão de profundidade são, no fundo, o mesmo problema”. Quando a IA lia frases longas palavra por palavra e esquecia o começo, a atenção resolveu isso permitindo ao modelo escolher quais palavras importam. O AttnRes aplica o mesmo remédio à profundidade.
DeepSeek mHC vs. Kimi AttnRes: dois caminhos para o mesmo topo da montanha
As duas equipes inovaram no residual; ambas também lançaram arquiteturas da era da compressão multi-head. O mHC da DeepSeek diz: a autoestrada está congestionada, então alargue-a — construa várias faixas paralelas com regras aprendidas misturando o tráfego entre elas. O AttnRes da Kimi diz: a autoestrada congesta porque ninguém consegue escolher o que importa, então distribua o filtro. Ambos elevam o desempenho de base, mas seus pontos fortes divergem radicalmente:
- mHC: feito para estabilidade de treinamento — ganhos sólidos em capacidades básicas, mais fraco em tarefas complexas. Seu valor central: permitir modelos mais profundos sem colapso no treinamento, resolvendo o problema de queda das redes profundas.
- AttnRes: estabilidade mais raciocínio complexo — melhorias esmagadoras em contexto longo e problemas de lógica. Ele corrige a estabilidade do treinamento de redes profundas e se destaca nas tarefas de alta dificuldade que exigem recordação precisa e raciocínio em múltiplas etapas.
O encaixe na implantação também difere radicalmente. O mHC da DeepSeek é cirurgia estrutural — a arquitetura existente de fluxo único precisa ser reconstruída em uma de múltiplos fluxos paralelos. O AttnRes da Kimi é uma peça de reposição plug-and-play: troque o bloco residual original pelo Block AttnRes e deixe todo o resto — arquitetura, hiperparâmetros de treinamento — intocado. Membros da comunidade comparando os dois nas ablações da própria Kimi descobriram que o Full AttnRes da Kimi, sem perdas, superou consistentemente o mHC, enquanto o Block AttnRes ficou empatado — com apenas um sexto do volume de leitura e escrita de dados do mHC.
Para equipes de engenharia, o significado prático está na história de implantação, não na diferença de benchmark. Historicamente, upgrades de arquitetura chegam como propostas de “retreinar tudo”, e é por isso que a maioria morre na comissão — o ganho de precisão nunca sobrevive ao risco do retreinamento. A propriedade plug-and-play do AttnRes inverte essa equação: a troca é local, a receita de treinamento não muda, e a tabela de ablação oferece um caminho direto de A/B — rode o Block AttnRes na sua linhagem atual de checkpoints, meça, e mantenha apenas se os ganhos de contexto longo e raciocínio se replicarem no seu mix de dados. A economia de 1,25x de computação reforça o argumento, pois ela se materializa em cada treinamento subsequente, e não apenas uma vez. E, como o mecanismo é ortogonal aos upgrades de atenção que as equipes já estão lançando, ele se acumula: o filtro residual governa como a informação flui entre as camadas, enquanto os upgrades de atenção governam como a informação é coletada dentro delas.
Há também uma leitura competitiva que não deve passar despercebida. O paper da Kimi chegou na mesma janela que os avanços de infraestrutura de seus pares, e as tabelas de ablação fazem benchmark silenciosamente contra o método publicado da DeepSeek — a primeira vez que esses dois laboratórios trocam golpes arquiteturais em público com números mensuráveis, em vez de benchmarks escolhidos a dedo. Quando a receita de dados deixa de ser o diferencial, os diferenciais passam a ser as partes que ninguém pensou em otimizar. A conexão residual era o componente menos examinado da pilha justamente porque funcionava; agora que dois laboratórios de fronteira publicaram ataques a ela, espere que a próxima geração de todo laboratório sério inclua alguma forma de residual com portão de atenção — do mesmo jeito que o PreNorm foi de paper a padrão em dezoito meses.
O sinal
Por uma década, a inovação em Transformers se concentrou em atenção, FFN, MoE, codificações posicionais e dados de treinamento. A conexão residual ficava ali como o ar — importante, mas tão fundamental que quase ninguém ousava tocá-la. Agora DeepSeek e Kimi se moveram em sequência, e o sinal é claro: quando o dividendo dos dados atingir o pico, a próxima geração de modelos grandes vai competir em quão bem gerenciam a informação — não apenas em quanta dela conseguem engolir. Referência: o paper da Kimi. Fonte: InfoQ.
