Cloudflare 推出 Pay Per Crawl:AI 爬虫按页付费,新站 9 月起默认屏蔽 AI 训练

事件内容

7 月 1 日,Cloudflare 开启 Pay Per Crawl 私有 beta。这是把 HTTP 402 Payment Required 状态码和 Ed25519 签名请求头直接接进自家网络边缘的一套协议级方案:

价格机制:出版方对每次成功的 crawl 报价,起步价 ＄0.01/页,Cloudflare 作为 Merchant of Record 按月结算给出版方
认证机制:爬虫方必须实现 Web Bot Auth(Ed25519 密钥对 + HTTP Message Signatures),把 signature-agent / signature-input / signature 三个签名头挂在每个请求上;另外可加 crawler-max-price 和 crawler-exact-price 协商价格
出版方配置:在 Cloudflare 控制台 AI Crawl Control > Settings > Pay Per Crawl,逐爬虫三档策略:Allow / Charge / Block
默认变化:9 月 15 日起,所有新接入 Cloudflare 的免费站,默认在广告支持内容上 Block AI 训练爬虫,只允许搜索索引爬虫

Cloudflare 同时披露了一组数据作为决策依据:

6 月 3 日 Radar 显示,自动化请求首次超过人类,占 HTML 流量 57.5%
已验证的好机器人流量中,51.8% 用于 AI 模型训练
爬取-回访比:Anthropic 11122:1(每爬 11122 个页面送回 1 个访客),OpenAI 1700:1,Google 5:1
只有 2.6% 的 AI 爬虫请求最终把真人送到出版方页面

首批签约的两家是 Ceramic.ai 和 You.com。OpenAI、Anthropic、Google DeepMind、Meta 都没有公开支持。Cloudflare 同期收购了 Human Native,把"非结构化网页 → 结构化数据集"那条管线吃进自己体系,目标是把 pay per crawl 做成一个完整的内容市场。

深度剖析

Cloudflare 这一手在协议层动了三刀,任何一刀都能单独立得住:

第一刀:HTTP 402 + 签名头,把"不付钱别爬"做成 web 原生语义。 之前所有"AI 爬虫付费"的尝试都依赖 robots.txt 这种君子协定,或者出版方自建反爬系统。Cloudflare 把价格、签名、协商三件事塞进 HTTP 协议本身,这是过去 30 年 web 基础设施里没有的位置。从今往后,任何想大规模爬取公开 web 的 AI 公司,要么走 Cloudflare 这套认证,要么被直接屏蔽,没有第三条路。

第二刀:按爬虫分级 + 默认 Block,把 AI 训练从"出版方主动选择"翻成"出版方被动默认"。 9 月 15 日是个关键节点——所有新站自动屏蔽 AI 训练爬虫。这是 Cloudflare 第一次用"默认策略"而不是"用户配置"推动一整类内容从开放变封闭。从规模化平台的角度,这等于直接给整个 AI 训练数据供应链加了一道价格壁垒。

第三刀:爬取-回访比 11122:1,把"AI 公司吃白食"量化到没法洗地的程度。 Google 5:1 是搜索时代合理的交换(用户从搜索结果点进去);Anthropic 11122:1 是纯单向抽取(用户拿到答案就不再来)。Cloudflare 把这个数据摆在桌面上,等于把"AI 公司 vs 出版方"这场官司从舆论场推进到合同条款层。

对 AI coding 生态的具体影响:任何依赖 web 数据做代码生成、Agent 检索、文档理解的工具——从 Cursor、Claude Code 到 Devin、从 Perplexity 到 Manus——都要重新评估数据采购成本。如果 Claude Code 想在 Stack Overflow / GitHub Issues / 官方文档上做大规模实时检索,要么付费,要么被屏蔽。这是 2026 年 AI coding 工具第一次面对直接的边际数据成本。

值得关注的原因

AI 公司:产品负责人和采购要算账——2026 年下半年"每条上下文"的成本结构会变,LLM 调用费之外多了"按爬取的页面付费"
出版方/SEO 团队:立刻去 cloudflare.com/paypercrawl-signup 申请 beta,9 月前完成配置能拿到第一批 Crawl 收入
AI Agent/工具开发者:任何依赖实时 web 检索的 Agent 都要把"内容来源 + 付费路径"写进架构图
法律/合规:Web Bot Auth 用 Ed25519 签名,身份可追溯,这条协议成熟后,版权诉讼取证会变得容易很多

风险与待观察

鸡生蛋问题:目前只有 Ceramic.ai 和 You.com 接入 Web Bot Auth,大厂都没签。如果 Anthropic/OpenAI 选择"直接绕开签名头",Cloudflare 只能把它们 block,而不是真的拿到钱。Cloudflare 的赌注是:大厂需要 Cloudflare 的 CDN 加速,绕开的代价太高
＄0.01/页的定价过低:10,000 次/天的中型新闻站月收入＄3000,根本覆盖不了工程成本,Premium 内容(法律/医学/金融)需要动态定价,但高级规则的文档还没发
私有 beta 限定:目前只接受企业客户和表单申请,长尾出版方进不来
历史复盘:Cloudflare 之前的"内容独立性日"和"Pay Per Crawl"前后措辞有调整,实际执行细则仍需等文档完善
法律风险:美国部分州对"屏蔽爬虫 + 按页收费"是否有反垄断争议,目前没有判例

参考来源

Cloudflare 官方博客:https://blog.cloudflare.com/introducing-pay-per-crawl/
Content Independence Day 公告:https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/
Awesome Agents 解读:https://awesomeagents.ai/news/cloudflare-pay-per-crawl-ai-content/
AI Crawler Bot Traffic Statistics 2026:https://www.digitalapplied.com/blog/ai-crawler-bot-traffic-statistics-2026-data-reference
Cloudflare Radar 原始数据(57.5%):https://www.techtimes.com/articles/317877/20260605/bot-traffic-passes-humans-online-cloudflare-says-agentic-ai-drove-575-share.htm