Aqui está o número que deve mudar a forma como você lê um artigo de IA. Uma empresa de revisão de pesquisas executou agentes de IA em todas as 168 apresentações orais do ICML 2026. Dos 92 artigos com pelo menos cinco afirmações verificáveis, apenas 34 reproduziram mais de 40% dos seus resultados — e somente 8 ultrapassaram a marca de 80%. Em um esforço separado, um verificador alimentado pelo GPT-5 relatou que 99,2% dos artigos nos principais eventos de IA contêm pelo menos um erro objetivamente verificável.
Isso não é uma perseguição a pesquisadores individuais. É uma mudança estrutural em como a ciência é verificada: quando o corpus de publicações cresce além do que qualquer leitor humano consegue acompanhar, os agentes de IA se tornam o primeiro verificador da história capaz de realmente reler tudo.
Por que os artigos falham na reprodução
Ainda há uma distância grande entre “não reproduzível” e “fabricado”. Os modos de falha mais comuns na auditoria são problemas mundanos de engenharia: arquivos ausentes, versões de dependências quebradas, resultados que não batem com o artigo.
Depois, há os casos permanentes. Quatro artigos dependiam de modelos que já foram retirados do ar — seus resultados experimentais nunca poderão ser reproduzidos por ninguém, em nenhuma circunstância.
E alguns erros são simplesmente descarados. Um artigo se promocionava com o argumento de “treinar apenas 0,77% dos parâmetros do modelo base”, mas o checkpoint divulgado, na verdade, treinou 6,31% — uma discrepância de 8 vezes. Outro artigo publicou uma tabela de confiabilidade atribuída a um modelo avaliador que não existe em lugar nenhum do seu código open-source, e nenhum script consegue regenerar essa tabela.
A anatomia dos erros
Erros de matemática e fórmulas lideram a lista, com 54,0% — equações erradas, derivações quebradas, premissas defeituosas em provas. Cerca de 30,8% dos artigos do NeurIPS e 23,8% dos do ICLR contêm pelo menos um erro substancial que pode afetar a interpretação dos resultados.
A tendência é a parte mais preocupante: os erros por artigo no NeurIPS subiram de 3,8 em 2021 para 5,9 em 2025, um aumento de 55,3%. Os artigos ficaram mais complexos — e seus erros também.
Por baixo de tudo isso, há um problema de escala. Só as submissões ao ICLR cresceram de 1.013 em 2018 para 19.619 em 2026 — nenhum pesquisador consegue verificar manualmente um corpus desse tamanho. Um erro introduzido em um artigo, uma vez repetidamente citado por trabalhos posteriores, se propaga pela cadeia de citações e se consolida como consenso de fato.
Um estudo de caso resume bem a questão. Um químico teórico que usava IA para prever pontos de ebulição de moléculas encontrou resultados que conflitavam com um banco de dados químico de 75 anos. Sua primeira reação foi achar que ele próprio estava errado. Depois de rastrear manualmente a literatura original, descobriu que a IA estava certa — e que uma medição de ponto de ebulição centenária e amplamente confiável também estava errada.
Publicar não é mais a linha de chegada
Por décadas, reauditar a literatura era caro demais e rendia poucos benefícios, então a maioria dos erros já embutidos no corpus nunca foi examinada sistematicamente. Essa restrição acabou de ser rompida: pela primeira vez, existe a capacidade técnica de revisar a ciência em larga escala. A Hugging Face e a AlphaXiv já lançaram o “Agent Reproduction Challenge” focado no ICML 2026, e a reprodução automatizada está se tornando uma etapa institucional do fluxo de pesquisa.
Mas mantenha as ressalvas em mente. O verificador de correção de artigos baseado no GPT-5, por exemplo, alcança 83,2% de precisão e ainda deixa passar cerca de 40% dos erros reais em cada passagem. Os verificadores de IA ainda não podem atuar como juízes da literatura científica — seus resultados ainda exigem revisão humana.
O que fazer a respeito
- Para pesquisadores em busca de temas: mude de procurar novos problemas para procurar anomalias em problemas antigos. Comece pelos clássicos muito citados e raramente contestados — 99,2% dos artigos contêm pelo menos um erro.
- Construa mapas de linhagem de pesquisa: use IA para gerar grafos de conhecimento que mostram qual trabalho é fundamental, quais conclusões carecem de verificação e como as citações se conectam — revelando lacunas que nenhum humano conseguiria detectar.
- Reexamine premissas aceitas: algum experimento clássico já foi verificado segundo os padrões atuais? Algum resultado amplamente citado carrega condições de contorno não declaradas? A IA reduziu o custo de perguntar a quase zero.
- Se você publica artigos: disponibilize código, checkpoints e versões de dependências travadas. Caso contrário, seu próximo artigo será o próximo alvo de auditoria de alguém.
De agora em diante, publicar pode não marcar mais a vitória de um estudo — apenas a abertura da rodada de verificação por IA.
