A revisão por pares sempre foi o controle de qualidade da ciência — e, silenciosamente, parou de controlar qualquer coisa. Neste verão, agentes de IA concluíram a maior auditoria de reprodução da história de uma grande conferência de aprendizado de máquina, e os resultados devem redefinir a forma como todo pesquisador pensa a palavra publicado: dos 168 artigos orais do ICML 2026, apenas 8 conseguiram reproduzir pelo menos 80% de suas próprias alegações verificáveis.
A Auditoria: Agentes vs. 168 Artigos Orais
Em 22 de julho, uma empresa americana de revisão de pesquisa soltou agentes de IA sobre todo o conjunto de apresentações orais do ICML 2026. A metodologia foi disciplinada: entre os 168 artigos, 92 continham pelo menos cinco alegações independentemente verificáveis, e esses formaram o verdadeiro campo de testes. Os agentes reproduziram com sucesso mais de 40% das alegações em apenas 34 artigos. Oito artigos ultrapassaram a marca de 80%. O restante ficou em algum ponto entre a falha parcial e a total.
Os modos de falha parecem uma lista de horrores de engenharia: repositórios sem arquivos essenciais, versões de dependências quebradas demais para reconstruir, resultados que simplesmente não batiam com o que o artigo reportava. E há ainda a categoria mais sombria — quatro artigos dependiam de modelos que desde então foram retirados do ar. Ninguém, incluindo os próprios autores, jamais conseguirá reproduzir aqueles experimentos novamente.
Quando os Erros Ficam Constrangedores
Alguns achados foram além de infraestrutura descuidada. Um artigo apresentava como contribuição central um fine-tuning de apenas 0,77% dos parâmetros do modelo base; o checkpoint divulgado, quando auditado, havia sido treinado com 6,31% — uma diferença de quase oito vezes. Outro artigo incluía uma tabela de confiabilidade de um modelo juiz que não existe em lugar nenhum do código divulgado, sem nenhum script capaz de gerar os números da tabela.
Este não foi um esforço isolado. A Hugging Face e a AlphaXiv realizaram em conjunto um Agent Reproduction Challenge para o ICML 2026, usando agentes de código com IA para replicar artigos automaticamente. Os resultados foram igualmente desconcertantes. E o padrão antecede este verão: um estudo do final de 2025 baseado no GPT-5 analisou artigos de conferências já publicados e encontrou uma média de 4,7 erros objetivos por artigo, com 99,2% dos artigos sinalizados por pelo menos um problema. Erros de matemática e fórmulas lideraram a lista, presentes em 54% dos artigos sinalizados; 30,8% dos artigos do NeurIPS e 23,8% dos do ICLR continham erros substanciais capazes de afetar a interpretação dos resultados.
A tendência vai na direção errada. A média de erros por artigo do NeurIPS subiu de 3,8 em 2021 para 5,9 em 2025 — um aumento de 55,3% em quatro anos. Seja o que for que esteja impulsionando essa queda, não se trata de uma anomalia de um único ano; é o estado estacionário de um sistema de verificação operando muito além de sua capacidade.
A Causa Raiz é a Escala, Não os Vilões
É tentador ler esses números como uma condenação da integridade dos pesquisadores, mas a explicação em nível de sistema é mais simples e mais desconfortável. A revisão por pares recebeu a tarefa de verificação sem jamais receber os recursos para isso. Revisores não têm tempo para baixar conjuntos de dados, reconstruir ambientes e rodar novamente cada experimento — então a verificação silenciosamente virou uma suposição, não uma atividade. Enquanto isso, as submissões ao ICLR cresceram de 1.013 em 2018 para 19.619 em 2026. Nada nessa curva é compatível com replicação manual.
Nessa escala, um erro que escapa não fica parado. Ele percorre a rede de citações, é herdado por trabalhos posteriores e se solidifica como consenso de fato. A auditoria revelou uma ilustração perfeita: uma química de um laboratório em Zhejiang usou IA para prever o ponto de ebulição de uma molécula e obteve um resultado que contradizia um banco de dados de química com 75 anos. Ao rastrear a literatura original, a IA estava certa — o valor autoritativo citado por quase um século estava, ele mesmo, errado.
Publicar Agora é a Linha de Partida
A mudança estrutural merece ser dita claramente: a publicação de um artigo não é mais o ponto final da pesquisa — é o ponto de partida da verificação por máquinas. O custo de validar uma alegação científica acaba de colapsar, e o significado de “publicado” está sendo reescrito por agentes que realmente executam os experimentos que a revisão por pares apenas fingia conferir.
Para os pesquisadores, isso é menos uma ameaça e mais uma fronteira aberta. Auditar artigos clássicos muito citados mas raramente reverificados, construir grafos de conhecimento assistidos por IA sobre linhagens de citação, testar sob pressão premissas aceitas há muito tempo — tudo isso agora são programas de pesquisa legítimos, baratos e praticamente inexplorados. A pergunta que esses agentes foram criados para fazer é boa: uma conclusão amplamente citada carrega limitações nunca examinadas?
Uma nota de disciplina, porém: essas ferramentas são scanneras, não juízes. O verificador de artigos baseado no GPT-5 alcança 83,2% de precisão e ainda perde cerca de 40% dos erros reais em cada passada. A IA faz a primeira varredura; o veredito final sobre a credibilidade de um artigo continua sendo trabalho humano. O que muda é a economia da primeira varredura — antes era a parte que ninguém podia pagar; agora é a parte que ninguém tem desculpa para pular.
A Conclusão
A crise de reprodução não é nova; o que é novo é que a verificação se tornou quase gratuita. Oito de 168 não é apenas um boletim do ICML 2026 — é a medição de base de uma era em que toda alegação publicada pode ser verificada, todo artefato pode ser exercitado e todo “resultado consagrado” está a uma execução de agente de distância da reexaminação. Os laboratórios e revisores que internalizarem isso primeiro serão aqueles cujo trabalho sobreviverá ao segundo olhar. E as cadeias de citação que antes propagavam erros sem contestação agora carregarão correções com a mesma eficiência — desde que alguém solte os agentes sobre o arquivo, assim como foram soltos sobre os orais deste ano.
