A interpretabilidade carrega uma contradição constrangedora há anos: para entender um modelo que já estava treinado, os pesquisadores precisavam treinar outro modelo. Métodos como Transcoder e módulos de features esparsas aprendem um novo conjunto de unidades internas para aproximar uma camada, e depois procuram circuitos de tarefas mantendo ou removendo essas unidades. Para abrir uma caixa-preta, era preciso primeiro construir uma segunda caixa-preta, um pouco menor.
Uma colaboração entre IQuest Research, Safe AI Forum, Oxford, Stanford e Tsinghua segue um caminho mais direto. O método deles, Sparse Weight Decomposition (SWD), dispensa completamente o modelo substituto. Ele fatora uma matriz de pesos densa pré-treinada em duas matrizes esparsas e transforma a dimensão intermediária compartilhada em unidades de gargalo que podem ser pontuadas, selecionadas e ablated diretamente nos pesos. O resultado é uma extração de circuitos que usa menos de 1% dos dados que os baselines treinados exigem, verificado do GPT-2 até o Qwen3.5-27B.
O custo oculto de abrir uma caixa-preta
A abordagem antiga tem um preço real, e não apenas em computação. Para aproximar um módulo você precisa de dados e otimização, e se o módulo substituto não reproduzir fielmente o original, toda análise subsequente está realmente explicando tanto o modelo quanto o erro da substituição ao mesmo tempo. Circuitos de tarefas também exigem unidades que possam ser intervencionadas de forma independente: mantenha apenas elas e a capacidade sobrevive; remova-as e o desempenho despenca. Substitutos baseados em treinamento geralmente precisam ser ajustados separadamente para cada modelo, camada e checkpoint, o que torna a análise sistemática de circuitos em larga escala dolorosamente cara.
O artigo define o ideal como três requisitos simultâneos: preservar o comportamento do modelo original, fornecer unidades que possam ser intervencionadas independentemente e construí-las de forma barata a partir de pesos que já existem. O SWD foi projetado para atingir os três.
Decompondo pesos em caminhos de leitura-escrita esparsos
Para uma matriz de pesos densa W, o SWD encontra duas matrizes esparsas A e B tais que W ≈ A·B. A e B compartilham m dimensões intermediárias: a i-ésima coluna de A lê um escalar da entrada, e a i-ésima linha de B o escreve na saída. Uma coluna mais uma linha formam uma unidade de gargalo — um caminho fixo de leitura-escrita de rank um.
Pense nisso como adicionar estações de transferência a uma rede rodoviária extremamente densa: cada estação conecta apenas um punhado de entradas e saídas. Você pode ver de onde um caminho lê e para onde escreve, e pode desligar um único caminho para observar o que o modelo faz. Durante a decomposição, o SWD usa uma pequena quantidade de texto de calibração para minimizar o erro de saída antes e depois da divisão, alterna entre atualizar os dois fatores, aplica limiares rígidos para manter um orçamento de valores não nulos e refaz o ajuste dos valores sobreviventes.
Três resultados se destacam:
- Menos de 1% dos dados. Em uma matriz da camada 8 do GPT-2 Small, o SWD entra em um regime de erro de entropia cruzada baixo com apenas alguns milhares de tokens de calibração, enquanto Transcoder e VPD-Recon-CI precisam de tokens de replay na ordem de 10⁶ para chegar perto. O mesmo padrão vale para Qwen2.5-0.5B/1.5B/3B e Qwen3.5-27B.
- Menos unidades para o mesmo teste causal. Nas tarefas GreaterThan, IOI, Docstring e Gendered Pronoun, o SWD atinge os mesmos alvos de suficiência e necessidade com menos unidades de gargalo e conexões ativas do que os baselines treinados.
- Versões de modelo completo e de dados zero. O SWD substitui todas as 48 matrizes de atenção e MLP do GPT-2 Small; a variante com fine-tuning (SWD-FT, mantendo a estrutura esparsa e refazendo o ajuste dos valores não nulos) reduz a CE do modelo de 3.90 para 3.44 — usando ~20,6 milhões de tokens contra 2,884 bilhões para um baseline de pré-treinamento esparso com CE similar, novamente menos de 1%. Uma variante de dados zero não precisa de nenhum texto de calibração, minimizando apenas o erro de Frobenius entre os pesos originais e os decompostos, e ainda assim produz circuitos de tarefas válidos.
Por que não usar simplesmente SVD?
A decomposição em valores singulares também expressa uma matriz como soma de componentes de rank um e não precisa de dados de treinamento. Trabalhos recentes (NaNA) mostram até que componentes SVD podem ranquear tarefas e suportar intervenção. Então por que o SWD existe?
Porque para análise de circuitos, poucas unidades não é o mesmo que poucos caminhos computacionais. Os componentes SVD têm direções de leitura e escrita densas — mesmo um punhado de componentes ainda toca quase todas as dimensões de entrada e saída. O SWD empurra a esparsidade para as conexões de leitura-escrita de cada unidade, de modo que um número pequeno de unidades realmente significa um número pequeno de conexões ativas. Os experimentos de controle do artigo deixam o ponto claro: SVD de rank completo e uma decomposição com base ortonormal aleatória reproduzem a matriz original exatamente, mas precisam de muito mais conexões ativas que o SWD para alcançar o mesmo desempenho nas tarefas. A vantagem não está em “dividir a matriz” — está na estrutura esparsa de leitura-escrita de cada unidade.
Extração de circuitos está se tornando uma superfície de auditoria
A interpretabilidade mecanicista há muito é tratada como um exercício caro e de nicho. O SWD ataca a curva de custo diretamente: quando você consegue esculpir circuitos de qualquer checkpoint com menos de 1% do custo de dados, a extração de circuitos deixa de ser um hobby de pesquisa e começa a se tornar uma superfície de engenharia e auditoria.
Três implicações importam:
- Auditar o que um modelo pode fazer. Se você pode rastrear barato quais circuitos sustentam uma capacidade, pode verificar se um modelo esconde habilidades que não são divulgadas. Isso se combina naturalmente com o trabalho em andamento sobre extração e sondagem de cadeias de raciocínio ocultas — ambos são formas de ler o que realmente existe dentro de um modelo, em vez de confiar em seu comportamento superficial.
- Cirurgia de modelo precisa. A equipe mostra que uma única unidade de gargalo (c205) pode ser editada: aplicar sua atualização de rank um na direção de leitura aos pesos brutos do GPT-2 eleva a margem de resposta correta em “The opposite of up is” em 0.216, produzindo efeitos colaterais (KL médio do último token de 4.02×10⁻⁵) abaixo tanto de uma unidade aleatória quanto de um baseline LoRA de rank 4. Edição direcionada e de baixo colateral não é mais hipotética.
- Pesos open-source viram um ativo de auditoria. Quando qualquer pessoa pode decompor um checkpoint publicado e inspecionar seu funcionamento interno, a abertura ganha um argumento concreto de segurança — a mesma lógica que impulsiona a virada open-source em segurança dos labs de fronteira.
O que fazer com isso
Para pesquisadores, o artigo (arXiv:2608.03913) vem com código aberto, pesos publicados e um blog interativo — a forma mais rápida de conhecer o SWD é rodar você mesmo a demonstração do GreaterThan.
Para equipes que constroem sobre modelos abertos: adicione uma etapa de decomposição no lado dos pesos à sua auditoria de pré-implantação. Já é barato o suficiente para fazer parte do pipeline, não um projeto de pesquisa pontual.
Para quem trabalha com segurança e governança: fique de olho na variante de dados zero. Ser capaz de rastrear circuitos checkpoint a checkpoint e estágio de treinamento a estágio é o tipo de capacidade que transforma “interpretabilidade” de uma questão de pesquisa em uma ferramenta de monitoramento.
