Um artigo conjunto do laboratório de IA Cohere, da Universidade Stanford, do MIT e da Ai2 acusa a LM Arena — organização por trás do popular benchmark crowdsourced Chatbot Arena — de ajudar um grupo seleto de empresas de IA a alcançar pontuações melhores no leaderboard em detrimento dos rivais.
Segundo os autores, a LM Arena permitiu que certas empresas líderes do setor testassem privadamente múltiplas variantes de modelos de IA e optassem por não publicar as pontuações das versões com pior desempenho. Isso facilitou que essas empresas dominassem o topo do leaderboard, afirmam os autores — uma oportunidade que nem toda empresa teve. “Apenas um punhado de empresas foi informado de que podia fazer esse tipo de teste privado, e algumas tiveram muito mais testes privados do que outras. Isso é manipular o sistema”, disse Sara Hooker, VP de pesquisa da Cohere AI e coautora do artigo, à TechCrunch.
O Chatbot Arena foi criado em 2023 pela UC Berkeley como um projeto de pesquisa acadêmica e, desde então, tornou-se o benchmark de referência do setor — o ranking citado em todo comunicado de imprensa de lançamento: as respostas de dois modelos são exibidas lado a lado em “batalhas”, os usuários escolhem a melhor, e modelos não lançados frequentemente competem sob pseudônimos. Os votos se acumulam em pontuações e rankings, e a LM Arena sempre insistiu que seu benchmark é imparcial e justo. Os autores do artigo dizem que não foi isso que encontraram. No período de janeiro a março anterior ao lançamento do Llama 4 pela Meta, relatam, a Meta testou privadamente 27 variantes de modelos no Chatbot Arena ao longo desses três meses — e, no lançamento, divulgou a pontuação de exatamente um modelo, que por acaso liderou o leaderboard.
O cofundador da LM Arena e professor de Berkeley, Ion Stoica, escreveu por e-mail à TechCrunch que o estudo está repleto de “inexatidões” e “análises questionáveis”. Em um comunicado, a LM Arena declarou: “Estamos comprometidos com uma avaliação justa e conduzida pela comunidade e convidamos todos os provedores de modelos a submeter mais modelos para teste, a fim de melhorar seu desempenho em preferência humana. Se um provedor de modelos opta por submeter mais testes do que outro, isso não significa que o segundo provedor foi tratado de forma injusta.”
Os laboratórios supostamente favorecidos
Os autores iniciaram a pesquisa em novembro de 2024, após ouvirem que algumas empresas de IA poderiam ter acesso preferencial ao Chatbot Arena, e ao longo de cinco meses mediram mais de 2,8 milhões de batalhas. Eles encontraram evidências de que a LM Arena permitiu que certas empresas — incluindo Meta, OpenAI e Google — coletassem mais dados do Chatbot Arena, fazendo com que seus modelos aparecessem em mais batalhas, e afirmam que essa taxa elevada de amostragem conferiu uma vantagem injusta. Dados extras da arena podem aumentar o desempenho de um modelo no Arena Hard, outro benchmark mantido pela LM Arena, em 112% — embora a LM Arena tenha publicado no X que o desempenho no Arena Hard não se correlaciona diretamente com o desempenho no Chatbot Arena. Hooker diz que ainda não está claro como certas empresas obtiveram acesso preferencial, mas que a LM Arena deve transparência à comunidade, de qualquer forma.
A LM Arena rebateu que algumas alegações não refletem a realidade, apontando para um post de blog (publicado naquela mesma semana) mostrando que modelos de laboratórios não prioritários apareceram em mais batalhas do que o estudo afirma. Uma limitação significativa da pesquisa: ela se baseou na “autoidentificação” para determinar quais modelos estavam sendo testados privadamente — os autores fizeram perguntas repetidas aos modelos sobre sua empresa-mãe e os classificaram conforme as respostas, um método que não é infalível. Ainda assim, diz Hooker, quando os autores entraram em contato com a LM Arena para compartilhar suas descobertas preliminares, a organização não levantou objeções. A TechCrunch contatou Meta, Google, OpenAI e Amazon para comentar; nenhuma respondeu imediatamente.
LM Arena em maus lençóis
O artigo pede mudanças para tornar o Chatbot Arena mais justo: limites claros e transparentes de quantos testes privados um laboratório pode executar, e divulgação pública das pontuações desses testes. A LM Arena rebateu as recomendações no X, alegando que publica informações sobre testes pré-lançamento desde março de 2024 — e que “mostrar pontuações de modelos não lançados em pré-lançamento não tem significado”, já que a comunidade não pode testá-los de qualquer forma. Os pesquisadores também propuseram igualar as taxas de amostragem para que cada modelo na arena disputasse o mesmo número de batalhas; a LM Arena adotou publicamente essa sugestão e diz que criará novos algoritmos de amostragem.
O artigo chegou semanas depois que a Meta foi flagrada manipulando benchmarks em torno do lançamento do Llama 4: um modelo do Llama 4 foi ajustado especificamente para desempenho “conversacional”, o que produziu uma classificação impressionante no Chatbot Arena — mas o modelo ajustado nunca foi lançado, e a versão original pontuou bem pior no leaderboard. Na época, a LM Arena disse que a Meta deveria ter sido mais transparente sobre seus métodos de benchmark. E no início deste mês, a LM Arena anunciou que estava formando uma empresa para captar recursos de investidores — uma medida que eleva drasticamente o escrutínio sobre organizações de benchmarks privadas em geral, e sobre se podem ser confiáveis para avaliar modelos de IA livres de influência corporativa. Uma atualização da cobertura notou que um engenheiro do Google DeepMind contestou partes da pesquisa por considerá-las imprecisas — sem negar, como a Cohere alegou, que o Google enviou dez modelos para testes pré-lançamento entre janeiro e março; ele apenas observou que a equipe de código aberto responsável pelo Gemma enviou um.
A conclusão mais profunda para quem usa leaderboards para escolher modelos: a infraestrutura de avaliação é, ela mesma, uma estrutura de poder. Quem controla as taxas de amostragem, as políticas de testes privados e o momento das divulgações molda quais modelos parecem melhores — e a saga do Chatbot Arena prova que até mesmo benchmarks conduzidos pela comunidade e nascidos academicamente estão sujeitos a essas pressões. A defesa pragmática continua sendo a triangulação: votos da arena, suítes objetivas e testes em uso real, com peso para o último — porque um leaderboard pode ser manipulado com testes privados, mas um fluxo de trabalho que roda sobre seus próprios dados, não.
