No dia 1º de julho, a Cloudflare publicou um post no blog com um título tão discreto que beira o enganoso — “Your website, your choice” (Seu site, sua escolha). O conteúdo é qualquer coisa, menos discreto: a partir de 15 de setembro, todos os sites que usam a Cloudflare vão bloquear por padrão os crawlers de IA de propósito misto.
Repare na inversão lógica. Antes: “permitir por padrão, desativar se você quiser”. Agora: “bloquear por padrão, ativar se você quiser”. A maior parte da cobertura enquadra isso como “uma vitória para os criadores de conteúdo”. Trata-se de um julgamento amplamente compartilhado, mas insustentável. A verdade: a Cloudflare não está protegendo os criadores — ela está realocando o pedágio da internet da camada dos motores de busca para a camada de infraestrutura. E as pessoas sentadas no novo pedágio são do mesmo tipo das que ficavam no antigo.
O Velho Contrato Está Morto
Para entender o que a Cloudflare está fazendo, primeiro é preciso entender como a antiga ordem entrou em colapso. A era dos motores de busca funcionava com base em um contrato social implícito: “eu deixo você rastrear meu conteúdo, você me envia tráfego”. O Googlebot chega, o Google indexa você, os usuários encontram seu site, clicam, os anúncios aparecem. Uma transação que satisfaz todas as partes. Essa transação quebrou por completo na era da IA.
A Cloudflare publicou dados revelando a proporção rastreamento-versus-indicação de cada empresa de IA: o Google opera numa faixa de 14:1 — 14 páginas rastreadas por clique de indicação de volta. A OpenAI está em 1.700:1. A Anthropic, em 73.000:1. Setenta e três mil para um. O crawler da Anthropic leva 73.000 páginas dos publishers e não devolve um único clique. Não é um valor reduzido — é valor zero. E o mais letal: o tráfego de bots já superou o tráfego humano. O CEO da Cloudflare, Matthew Prince, disse que o marco chegou antes do que qualquer um previa — originalmente esperado para 2027. Hoje, o principal “espectador” da maioria das páginas da web não é uma pessoa, mas uma máquina.
A premissa do velho contrato era “crawlers trazem tráfego”. Quando os crawlers só levam e nunca dão, o contrato está morto.
A Facada da Cloudflare: Desmembrando o Crawler
O movimento central da Cloudflare é dividir os crawlers de IA em três categorias: Search — os crawlers tradicionais de construção de índices, o que o Google faz há vinte anos; Agent — proxies de IA que acessam páginas em tempo real em nome dos usuários, como o mensageiro por trás do ChatGPT quando ele busca informações; Training — crawlers que fazem scraping massivo de conteúdo para treinar modelos. Três categorias, sinalizadas separadamente, com os sites definindo permissão/bloqueio por categoria. Essa classificação em si é uma facada apontada diretamente para o Google. O Googlebot é um “crawler misto” clássico — ele constrói índices de busca e, ao mesmo tempo, coleta dados para os recursos de IA do Google (como o AI Overviews). O Google até oferece uma ferramenta chamada Google-Extended para desativar o uso em treinamento de IA, mas o próprio Googlebot principal continua alimentando os recursos de IA a partir do mesmo rastreamento. As necessidades de dados de busca e de IA nunca foram de fato separadas na arquitetura do Google.
Ao forçar essa separação, a Cloudflare cria uma escolha que antes não existia: os sites podem permitir a indexação de busca (que gera tráfego) enquanto bloqueiam o treinamento de IA (que não gera nada). Essa escolha mina a proposta de valor agregado que tornava o Googlebot intocável — e estabelece um precedente para provedores de infraestrutura no mundo todo: quem controla os canos controla os termos.
O Pedágio Está Mudando de Lugar — Não Desaparecendo
Aqui está o que a maior parte da cobertura não percebe: a Cloudflare não está eliminando o pedágio — está transferindo o pedágio do índice de busca do Google para a rede de borda da Cloudflare. O pedágio antigo: criadores de conteúdo pagam com seu conteúdo, o Google coleta o pedágio em anúncios e dados. O novo pedágio: criadores de conteúdo pagam com sua assinatura da Cloudflare (e, potencialmente, futuros micropagamentos por rastreamento), e a Cloudflare coleta o pedágio em posição de mercado e lock-in de infraestrutura. O operador do pedágio mudou; a existência do pedágio, não. Isso não é altruísmo — é uma virada de modelo de negócio vestida de postura pró-criadores. A fatia de mais de 20% da Cloudflare em todos os sites da web lhe dá a força para impor termos que publishers individuais nunca conseguiram. E, ao definir “bloquear” como padrão, a Cloudflare obriga cada empresa de IA a negociar acesso — criando uma nova fonte de receita que não existia antes deste anúncio.
O Que Isso Significa Para o Ecossistema
Para criadores de conteúdo: o bloqueio por padrão é uma melhoria genuína — você recupera o controle sobre quem acessa seu conteúdo e com que finalidade. Mas o caminho de monetização ainda é nebuloso: bloquear crawlers protege seu conteúdo, mas também o remove das respostas geradas por IA, que é cada vez mais o lugar onde os usuários descobrem informações. A escolha entre “visível nas saídas de IA” e “compensado pelo uso de IA” é o novo dilema do criador. Para empresas de IA: o custo dos dados de treinamento acaba de subir estruturalmente. Empresas que construíram seus modelos com conteúdo raspado gratuitamente agora precisam negociar com o provedor de infraestrutura de cada site. Empresas com acordos de licenciamento já existentes (publishers de notícias, bancos de imagens) têm vantagem. Empresas que dependem do scraping da web aberta enfrentam um cenário fundamentalmente alterado. Para outros provedores de CDN/infraestrutura: a Cloudflare criou o precedente. Fastly, Akamai e AWS CloudFront vão sofrer pressão para se igualar — não por idealismo, mas porque “protegemos seu conteúdo da IA” agora é um argumento de venda competitivo para infraestrutura. Espere que o bloqueio por padrão vire um padrão da indústria em até doze meses.
O contrato implícito da internet — conteúdo em troca de tráfego — está morrendo há dois anos. A Cloudflare acabou de enterrá-lo — e reivindicou os direitos do funeral. A próxima pergunta não é “devemos bloquear crawlers de IA”, mas “quem coleta o pedágio quando eles são” — e a resposta a essa pergunta vai remodelar a economia tanto da criação de conteúdo quanto do desenvolvimento de IA na próxima década. A camada de infraestrutura acabou de se tornar a camada mais importante da economia do conteúdo, e a maioria das pessoas ainda não percebeu porque a mudança é invisível: ela acontece nos headers HTTP, não na página.
