Rich Sutton — o pai do aprendizado por reforço e autor da Bitter Lesson — tem um novo alerta: a indústria dos LLMs está presa em um ótimo local, e mais GPUs não vão tirá-la de lá. Em uma entrevista à Sequoia Capital, ele argumenta que o pré-treinamento sobre conhecimento registrado por humanos tem um limite, que dados sintéticos são um “grande erro”, e que a capacidade que falta é a aprendizagem contínua — a capacidade de atualizar os pesos de um modelo a partir da própria experiência dele após a implantação. Seu novo laboratório, o Oak Lab, aposta que essa capacidade reescreve todo o paradigma de modelos fundacionais “treinar-congelar-implantar”, e não apenas uma geração de modelos.
A armadilha do escalonamento: por que a indústria fica presa em um ótimo local
Sutton não nega o sucesso dos LLMs — ele os chama de um avanço científico impressionante. A linguagem era um dos últimos redutos da IA simbólica; redes neurais treinadas em escala simplesmente a aprenderam. É a Bitter Lesson funcionando como esperado: métodos gerais que escalam com computação superam, no longo prazo, regras humanas feitas à mão.
Mas a mesma lógica agora corta no sentido contrário. Na visão de Sutton, a indústria caiu em um ótimo local: empilhar mais GPUs e escalar mais ainda melhora os números dos benchmarks, então os laboratórios no topo têm cada vez menos incentivo para mudar para uma rota que pode ter desempenho pior no curto prazo. Quanto melhor uma empresa é em escalar, mais difícil é mudar de rumo. Cada ganho adicional de escalonamento torna a saída mais cara.
O limite dos dados: a internet não é o mundo
A restrição mais profunda não é a computação, mas os dados. Os LLMs se libertaram das regras escritas à mão apenas para ficarem limitados a um tipo diferente de conhecimento humano: a internet.
Artigos, código, livros, páginas, vídeos, logs de chat — tudo o que está armazenado online é o que os humanos já registraram. O julgamento de Sutton é direto: o mundo real contém muito mais informação do que tudo o que os humanos já colocaram na internet. Treinar sobre uma fatia cada vez maior do conhecimento registrado acabará batendo em uma parede, porque a realidade sempre supera o arquivo. Por trás disso está sua “Hipótese do Mundo Grande”: o mundo que um agente enfrenta é sempre mais complexo do que o próprio agente, então nenhum conjunto de dados pré-coletado pode jamais cobri-lo.
Dados sintéticos são um “grande erro”
A resposta popular ao limite de dados são os dados sintéticos — gerar infinitas amostras de treinamento com computação suficiente. Sutton chama isso de “grande erro” e diz que pode se tornar a próxima bitter lesson.
Seu raciocínio: os dados sintéticos ainda passam pelo gargalo humano. Quem decide o que vale a pena gerar? Quem julga quais questões importam? Quem define a recompensa? Em cada etapa, um humano decide — então a velocidade de expansão dos pipelines de dados sintéticos continua limitada pelo que os humanos já sabem. Parece uma fuga do limite de dados, mas reintroduz silenciosamente o conhecimento humano por outra porta.
Essa é uma das razões pelas quais os loops de auto-treinamento importam: modelos que geram suas próprias tarefas e julgam suas próprias trajetórias, como o Ornith 1.5, estão começando a automatizar o próprio gargalo da criação de questões.
O loop que falta: aprender após a implantação
O ciclo de vida dos modelos de hoje é artificialmente dividido em dois: durante o treinamento, o modelo aprende intensamente; uma vez implantado, seus pesos ficam essencialmente congelados. O contexto pode injetar informações novas temporariamente, e a memória pode armazenar preferências, mas a definição de aprendizado de Sutton é mais estrita: aprendizado real significa que o próprio sistema muda após uma experiência.
Seus exemplos são intuitivos. Um médico que fez mil cirurgias raciocina de forma diferente de um recém-formado. Um motorista com dez anos de estrada antecipa um corte de faixa sem pensamento consciente. A experiência os mudou fisicamente. Um LLM, em contraste, é um cérebro congelado na formatura — ele funciona por anos relendo as próprias anotações de formatura.
Então Sutton faz a pergunta central: por que formar novos conceitos e modificar a estrutura interna só pode acontecer durante o treinamento? Se alterar pesos é o que produziu inteligência, por que parar de fazer isso assim que o modelo entra em operação?
Esquecimento catastrófico: por que os pesos ficam congelados
Se a aprendizagem contínua é tão claramente necessária, por que a OpenAI ou a Anthropic simplesmente não atualizam os pesos diariamente? Porque os modelos podem facilmente “aprender até morrer” — a falha clássica é o esquecimento catastrófico.
As redes neurais não armazenam conhecimento em linhas independentes. Uma única mudança de peso se propaga por muitas habilidades ao mesmo tempo. Ensine ao modelo um fato novo — digamos, “o projeto interno X agora se chama Apolo” — e você pode corromper habilidades que ele já dominava. É precisamente por isso que os sistemas de hoje preferem empilhar informações novas no Contexto, RAG ou memória em vez de tocar nos pesos subjacentes.
O retreinamento em lote, como fazem produtos no estilo do Cursor, funciona para modelos públicos: coletar milhões de traços de usuários e retreinar uma vez. Mas isso falha para agentes pessoais. Se eu quero que meu próprio assistente adquira um novo hábito, por que esperar pelos dados de cem mil outras pessoas? E o que eu quero que ele aprenda pode ser irrelevante para todos os demais. Esse é o problema do estado durável do agente em sua forma mais difícil — transformar experiência individual em capacidade duradoura em vez de uma janela de contexto.
Otimização do tamanho do passo: uma taxa de aprendizado por peso
A aposta do Oak Lab é em uma correção algorítmica de baixo nível. A direção, chamada otimização do tamanho do passo (step-size optimization), parte de uma observação simples: nem todo conhecimento merece a mesma plasticidade.
Conhecimento que foi verificado milhões de vezes deve ser rochosamente estável; fatos recém-aprendidos devem ser fáceis de modificar. O mecanismo prático: dar a cada peso sua própria taxa de aprendizado, para que o modelo possa absorver uma única experiência nova sem deixar que essa atualização reescreva tudo o mais. Assemelha-se a um cérebro humano — um adulto não derruba décadas do conceito de “gato” por causa de um único avistamento de um gato verde.
O que muda se a aprendizagem contínua funcionar
Se o Oak Lab — ou qualquer um — resolver a aprendizagem contínua online em escala, a reescrita não é apenas um modelo melhor. É o fim do paradigma “treinar-congelar-implantar”:
- Laboratórios de modelos fundacionais: o fosso competitivo muda. A supremacia de dados mais escala importa menos quando os modelos continuam aprendendo com a própria experiência após o lançamento.
- Empresas de agentes: memória permanente e acumulação de experiência tornam-se o produto, não um recurso acoplado a uma janela de contexto.
- Infraestrutura de inferência: servir torna-se um loop — atualizações de pesos durante a operação — em vez de pesos estáticos por trás de uma API.
- Simulação vs. realidade: se o mundo é sempre maior do que o conjunto de treinamento, os simuladores continuam úteis, mas insuficientes — vento, atrito, erro de motor e obstáculos que nunca aparecem em nenhum simulador são exatamente o que um drone encontra em seu primeiro voo. Modelos de mundo ajudam, mas não podem substituir a experiência vivida.
O que as equipes devem fazer agora
- Pare de tratar contexto, RAG e memória como a resposta final — eles são um andaime para um modelo que não consegue aprender. Projete sistemas de modo que conhecimento estável e conhecimento em rápida mudança sejam estruturalmente separáveis.
- Meça o esquecimento primeiro. Antes de adicionar qualquer mecanismo de atualização contínua, construa uma suíte de regressão de capacidades essenciais e execute-a novamente após cada atualização.
- Acompanhe as pesquisas sobre plasticidade por peso (otimização do tamanho do passo, aprendizagem contínua regularizada). Se funcionar, a arquitetura vencedora não é uma execução maior de pré-treinamento, mas um modelo com um loop de aprendizado.
- Para quem constrói agentes: comece a capturar experiência estruturada hoje — o que foi tentado, o que falhou, o que mudou o resultado — porque esse registro é o dado de treinamento do próximo paradigma.
FAQ
P: Por que Rich Sutton diz que os LLMs estão presos em um ótimo local?
R: Como mais computação ainda melhora os benchmarks atuais, os principais laboratórios têm pouco incentivo para mudar para uma rota que pode parecer pior no curto prazo — então cada ganho de escalonamento torna a mudança de direção mais cara.
P: O que o Oak Lab está tentando construir?
R: Agentes que continuam aprendendo após a implantação — atualizando seu próprio entendimento a partir da experiência, extraindo novos conceitos e se adaptando a um ambiente em mudança sem esquecer o que já sabem.
P: Por que dados sintéticos são um “grande erro”?
R: Porque os humanos ainda decidem o que vale a pena gerar e o que conta como correto. O pipeline fica limitado pelo conhecimento humano novamente, apenas por outra porta.
