Por dois anos, o consenso mais sólido do campo de IA foi que modelos maiores são melhores. GPT-4, Claude 3, Llama 3 — cada geração redefiniu o teto de parâmetros.
Esse consenso agora está perdendo ar. Não porque a Lei de Escalonamento (Scaling Law) falhou — mas porque ela resolveu um problema e expôs um maior: quando o modelo é enorme, quem consegue realmente executá-lo? Custos de datacenter disparando, dispositivos de borda completamente excluídos, cenários de agentes exigindo respostas em milissegundos — o gargalo de implantação migrou de “é possível construir?” para “é possível pagar e operar?”.
A PrismML, fundada por um professor do Caltech, seguiu totalmente pelo caminho oposto: não modelos maiores, mas maior densidade de inteligência. O recém-lançado Bonsai 27B é o primeiro modelo de linguagem da classe 27B do mundo que roda em um celular. Não uma chamada na nuvem, não uma resposta em streaming — no seu bolso.
O que a PrismML Fez — Além da Quantização
Quando as pessoas falam em “compressão de modelo”, geralmente pensam em quantização: cortar os pesos FP16 para INT4 ou INT8, perder um pouco de precisão, economizar espaço. A abordagem da PrismML difere da convenção da indústria na raiz: em vez de quantizar alguns pesos após o treinamento, ela reconstruiu toda a rede com sistemas de pesos binários (1-bit) ou ternários desde o princípio.
Imagine a diferença assim. Os pesos tradicionais são botões de ajuste de um instrumento de precisão, cada um com um valor exato. Os botões da PrismML dizem apenas “positivo” ou “negativo” (binário), ou adicionam um “zero” (ternário). Isso parece compressão bruta, mas duas decisões de design fazem funcionar:
Primeiro, arquitetura 1-bit nativa de ponta a ponta. Não é quantização parcial com camadas de alta precisão mantidas como seguro — as camadas de embedding, atenção, MLP e saída são todas convertidas para precisão extremamente baixa. Cada peso de 1-bit ocupa cerca de 1,125 bits (um fator de escala FP16 compartilhado por 128 pesos); a versão ternária fica em torno de 1,71 bits.
Segundo, kernels de inferência construídos sob medida. Em tempo de execução, os pesos comprimidos nunca são descomprimidos de volta para FP16 — os kernels computam diretamente no formato comprimido. Isso reduz o modelo, mas a maior vantagem é a redução do consumo de largura de banda de memória e do custo de movimentação de dados. Em dispositivos, a largura de banda costuma ser o gargalo fatal, não o poder de computação.
Os resultados são concretos:
-
Bonsai 8B (arquitetura própria, lançado em março): apenas 1,15 GB — 14× menor que o Llama 3 8B, 8× mais rápido, 4–5× mais eficiente em energia. Roda em um iPhone 17 Pro, atinge 131 tokens/segundo em um Mac M4 Pro e 368 tokens/segundo em uma RTX 4090.
-
Bonsai 27B (construído sobre o Qwen3.6 27B, recém-lançado): o primeiro modelo da classe 27B que roda em um celular. A versão 1-bit alcança 163 tokens/segundo em uma RTX 5090 e 87 tokens/segundo em um Mac M5 Max. E com 27B, a quantidade de parâmetros traz capacidade suficiente para raciocínio em múltiplas etapas, chamadas estruturadas de ferramentas, tarefas de visão e longos ciclos de agentes.
Densidade de Inteligência: o Novo Parâmetro de Medida
A PrismML cunhou o termo que talvez seja a contribuição mais duradoura desta história: densidade de inteligência — quanta inteligência efetiva uma unidade de volume de implantação (por GB de memória, por watt de energia) consegue carregar.
A indústria passou anos buscando inteligência absoluta — quem lidera o ranking. A PrismML nomeia o fato ignorado: um modelo que brilha em um datacenter mas não cabe em um dispositivo, não roda on-premise em uma empresa ou não atende à latência de um ciclo de agente tem inteligência utilizável de exatamente zero. A densidade de inteligência mede não o teto do modelo, mas seu desempenho sob restrições reais.
A estrutura desloca o eixo competitivo de “de quem é o modelo maior” para “de quem os recursos unitários geram mais inteligência” — a mesma virada que a indústria de chips fez da velocidade bruta de clock para desempenho por watt. Notavelmente, a Tsinghua e a equipe do OpenBMB propuseram um conceito semelhante, “densidade de capacidade”, no fim do ano passado, com uma constatação marcante: a densidade de capacidade dos grandes modelos dobra aproximadamente a cada 100 dias. A cada três meses e pouco, um modelo com metade do tamanho iguala o que antes era o mais forte. Duas linhas de pesquisa, de direções diferentes, chegam à mesma conclusão: a segunda metade da IA não se trata de quem constrói o maior modelo — mas de quem entrega inteligência ao maior número de lugares pelo menor custo.
Quando o 27B Roda Localmente, a Arquitetura de Agentes Muda Completamente
O Bonsai 27B não é apenas uma melhoria de especificações — ele desbloqueia um novo desenho de sistema: implantação híbrida. A arquitetura de agentes costumava ser binária: tudo na nuvem (caro, lento, exposto em privacidade) ou tudo local (limitado). Com modelos da classe 27B rodando no dispositivo:
-
Tarefas rotineiras (busca de informações, raciocínio simples, conversas básicas) → resolvidas localmente pelo Bonsai 27B: latência zero, custo de rede zero, os dados nunca saem do dispositivo.
-
Tarefas difíceis (raciocínio complexo, análise de documentos longos, domínios especializados) → encaminhadas para um modelo flagship na nuvem.
Essa arquitetura de “piso local, reforço na nuvem” reduz os custos operacionais de agentes em uma ordem de magnitude — e torna possível um agente sempre ativo e sempre local: sem dependência de rede, sem queima de tokens na nuvem, sem desconexões.
O padrão se estende naturalmente:
-
Robôs: ciclos de percepção-decisão em tempo real libertados da latência de rede.
-
Copilotos corporativos: implantação on-premise, os dados permanecem no domínio.
-
Cenários offline: aeronaves, regiões remotas, ambientes sigilosos.
-
Wearables: assistentes de IA o dia inteiro em óculos e fones.
Não é Anti-Escalonamento — Escalonamento Mais Algo
A história da PrismML é fácil de interpretar mal como “a Lei de Escalonamento acabou”. Não acabou. Mais parâmetros realmente compram capacidade, e modelos da classe Grok e GPT-5 continuam sendo os marcos do teto do que a IA pode fazer. O que a PrismML expõe é uma mudança de paradigma já em curso: a competição em IA está se dividindo de uma faixa (quem constrói maior) em duas (quem constrói maior, e quem implanta melhor).
A densidade de inteligência não é um substituto do escalonamento — é seu complemento e seu canal de entrega. Sem densidade, os frutos do escalonamento permanecem trancados em datacenters; sem escalonamento, a densidade não tem nada para comprimir. A interseção é onde olhar: modelos condensando 2× a cada 100 dias, silício de borda ultrapassando a marca de 100 TOPS e caminhos regulatórios se abrindo — as três curvas apontam para 2026, o ano em que a IA de borda deixa de ser “roda” e se torna “roda bem, roda barato, roda para sempre”.
Para profissionais e gerentes de produto, as perguntas mudam em consequência. Não é mais “quantos parâmetros tem seu modelo”, mas: Em quais dispositivos ele roda? Quanta inteligência por unidade de custo de hardware? Os dados do usuário precisam sair do dispositivo, sequer?
A direção já é visível: a próxima rodada da competição de modelos será definida por quem levar inteligência mais forte para mais partes do mundo real com menor custo de recursos.
