Cloudflare 推出了 "Markdown for Agents" 功能,使 AI 爬虫能够通过发送 Accept: text/markdown 请求头来获取网页的 Markdown 版本。该公司还同时提出了一种名为 "Content Signals" 的机制,允许内容发布者声明其内容是否可以用于 AI 训练、搜索索引或推理使用。 核心要点 Markdown for Agents:AI 代理通过 Accept 请求头指定 text/markdown 即可触发转换,一篇 16,180 个 token 的博客文章转换为 Markdown 后仅需约 3,150 个...