Cloudflare 推出面向 AI 代理的 Markdown 页面与 Content Signals
分类：AI资讯 浏览量：12
Cloudflare 推出了 "Markdown for Agents" 功能，使 AI 爬虫能够通过发送 Accept: text/markdown 请求头来获取网页的 Markdown 版本。该公司还同时提出了一种名为 "Content Signals" 的机制，允许内容发布者声明其内容是否可以用于 AI 训练、搜索索引或推理使用。
核心要点
- Markdown for Agents：AI 代理通过 Accept 请求头指定 text/markdown 即可触发转换，一篇 16,180 个 token 的博客文章转换为 Markdown 后仅需约 3,150 个 token
- Content Signals：在 robots.txt 中插入 search、ai-input、ai-train 三个信号，声明内容是否允许被搜索索引、作为实时 AI 输入或纳入模型训练
- 市场反响：许多客户已部署托管的 robots.txt，允许搜索引擎抓取但禁止用于训练
争议
谷歌的 John Mueller 在 Bluesky 上称这是"愚蠢的想法"，认为"扁平化"处理会丢失上下文与结构信息。
随着越来越多的发布者开始封锁 AI 爬虫或探索付费访问模式，围绕同意机制、补偿方式以及技术适配的争论将进一步加剧。
来源：InfoQ
