Como devemos julgar um cientista de IA? Para a maior parte da área até agora, a resposta tem sido “provas” — problemas de benchmark isolados, tarefas únicas, gabaritos fixos. Um novo artigo de Perspective, “Measuring AI Scientists: From Exams to Discovery” (Du, Dillmann, Laurent, Jansen, Jia, Schmidt, White, Persson, Arnold & Duan, 2026), argumenta que essa é a régua errada — e os primeiros dados práticos que sustentam essa mudança acabaram de chegar: uma plataforma de IA para ciência chamada MIRA lidera um benchmark de pesquisa de ponta a ponta sendo, ao mesmo tempo, o sistema mais barato da comparação.
A tese: teste o episódio completo, não o problema isolado
A ciência real é um ciclo: ler a literatura, formular uma hipótese, rodar um experimento ou simulação, fazer medições, revisar, repetir. Um benchmark no estilo prova testa uma fatia congelada desse ciclo — reconhecimento de padrões vestido de raciocínio. Episódios de descoberta testam o próprio ciclo: o sistema consegue partir de um objetivo vagamente especificado e levá-lo até um resultado validado, com um rastro de evidências que um humano pode auditar?
Isso não é uma querela apenas de mensuração. A avaliação define a estrutura de incentivos — aquilo que é medido é o que será otimizado. Continue premiando problemas isolados e você obterá papagaios especializados. Passe a pontuar episódios de descoberta e a indústria será forçada a construir sistemas capazes de conduzir um projeto de pesquisa de ponta a ponta.
Os dados: melhor pontuação e menor custo, ao mesmo tempo
O caso prático que acompanha é a MIRA (Towards a General AI Scientist), uma plataforma aberta de cientista de IA da equipe chinesa de IA para ciência Deep Principle. Sob avaliação externa no ResearchClawBench — um benchmark de pesquisa de ponta a ponta abrangendo Química, Energia e Materiais — a MIRA pontua 17,51 contra 14,60 do Codex, à frente de outros sete agentes na comparação.
O número mais impressionante é a coluna de custo. A MIRA conclui uma tarefa de pesquisa a US$ 0,67 por tarefa — o menor custo do benchmark. O sistema em segundo lugar (ResearchClaw) custa US$ 0,89 e ainda pontua menos; rivais de custo comparável como Nanobot (US$ 0,70) e OpenClaw (US$ 0,72) terminam muito atrás, com 10,90 e 13,63. Na suíte de descoberta de fármacos do SciAgentArena, a MIRA alcança 81,1%. O padrão quebra uma suposição confortável: a de que o melhor agente científico precisa ser o mais caro de operar.
O quadro: por que “barato + melhor” é um sinal estrutural
É o mesmo padrão que a camada de modelos já testemunhou com a DeepSeek — um sistema de custo menor igualando ou superando rivais de fronteira bem mais caros, refutando a suposição de que capacidade é função linear do orçamento de computação. Agora o padrão se repete uma camada acima, entre agentes de pesquisa, e o regime de avaliação está mudando para torná-lo visível.
Duas consequências se seguem:
- O custo se torna uma métrica científica de primeira classe. Se os episódios de descoberta são a unidade de avaliação, então “resultados validados por dólar” se torna a medida de produtividade — e sistemas com boa relação custo-benefício passam a ser a escolha padrão, não a opção econômica.
- A rastreabilidade das evidências se torna um recurso de produto. Uma avaliação baseada em episódios não pode ser pontuada sem um rastro auditável da hipótese à medição. Os sistemas que tornam esse rastro explícito serão os que vencerão sob a nova régua — o que também é a propriedade que o rigor científico realmente exige.
Isso também faz parte de um padrão mais amplo de 2026: sistemas documentados pela Nature (ERA, The AI Scientist, MIRA) passaram de raciocinar sobre a ciência para agir sobre ela — gerando hipóteses, executando código, dirigindo simulações e até interagindo com registros. A pergunta não é mais se a IA pode fazer ciência; é como distinguir ciência autônoma boa de teatro barato. Essa é exatamente a pergunta que o novo paradigma de avaliação foi projetado para responder.
O que fazer a respeito
- Se você avalia ferramentas de IA para ciência: pare de fazer benchmark de problemas isolados na sua área. Execute um episódio de descoberta completo — um objetivo vago, literatura aberta, um experimento ou simulação real — e audite o rastro de evidências no final.
- Se você constrói ou compra agentes de pesquisa: acrescente uma linha de “custo por resultado validado” em cada comparação. Os números da MIRA sugerem que o sistema mais barato pode ser o melhor sistema; isso inverte a lógica de aquisição de cabeça para baixo.
- Se você publica: exija seções de métodos em nível de episódio — o que o sistema hipotetizou, mediu e descartou — e não apenas tabelas finais de benchmark.
A era das provas está acabando. Os episódios de descoberta — e as colunas de custo — são onde a ciência com IA será verdadeiramente conquistada.
Fontes: “Measuring AI Scientists: From Exams to Discovery” (Perspective, 2026, chemrxiv); MIRA: Towards a General AI Scientist (Deep Principle, mira.deepprinciple.com); avaliações externas no ResearchClawBench e SciAgentArena, agosto de 2026.
