AI coding · 一个 User-Agent 字段管四家：巨头把训练退出的接口统一了

核账：IETF Internet-Draft（draft-kelley-aipref-training-preference-signal-00，2026-10-30 提交，2027-05-03 到期）、OpenAI 与 Google 官方博客、Bing 博客多方已回读。原帖时间线全对，补三个口径。

增量一：语法零新增。 草案不发明新指令，直接复用 RFC 9309 的路径匹配、最长匹配优先与分组结构。通配星号分组不算表达偏好；没写这个分组，就等于没表态——这是故意的。

增量二：Meta 在走反方向。 四家之外，Meta 新商用条款允许直接爬站训练、不设退出键；xAI、Apple、Amazon 截至上周末未表态。牌子管得住认牌子的，管不住不认的。

增量三：微软拆得最细。 训练与 grounding（检索增强）分成两个独立偏好，可精确到单页；旧 NoArchive/NoCache 标签 2027-03-01 后不再当作偏好。谷歌侧：用统一令牌退出而未点名 Google-Extended 的站点，视同已拒；显式放行者仍可进 Gemini 引用，常规搜索收录不受影响。

一条 IETF 冷水：这是个人草案，不代表 IETF 立场；AIPREF 工作组内部仍有实质争议，有参与者直言「IETF 层面根本没完」。技术层的「请勿入内」牌子挂上了，授权与分成的谈判还留在门外。

网站站长喊了三年"别爬我的内容喂模型"，喊的方式一直很别扭。OpenAI 的爬虫叫 GPTBot，Anthropic 的叫 ClaudeBot，谷歌的训练信号走 Google-Extended，微软另有自己的一套。想拒绝谁，就得在 robots.txt 里给每家单独写规则。少写一家，漏掉的那家照爬不误。10 月 30 日前后，OpenAI、谷歌、微软加上 Anthropic，四家宣布将共同支持一个统一标准：网站在 robots.txt 里写一个共用的标识符 __usage_ai-training，一次性声明"我的内容不许用于生成式 AI 训练"。标准由 Anthropic 标准技术负责人 Kevin Kelley 提交给 IETF，IT之家 11 月 1 日报道了中文圈的发酵。

写法长什么样

robots.txt 是互联网上最老的合作规范之一，1994 年诞生，靠的全是自觉。新标准没有另起炉灶，而是往这个三十年老协议里塞了一个统一的政策记号：

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

这几行的意思是：全体遵守此标准的 AI 训练爬虫，不得把我全站内容用于模型训练，新闻资料目录除外。写一次，四家全部生效。微软还提供了更细的控制粒度，能把"训练"和"AI 检索引用"（拿你的内容做事实核查、减少幻觉那类用法）区分开。传统搜索引擎的收录不受影响，网站在常规搜索结果里的曝光保得住。

对 AI coding 行业意味着什么

这条新闻乍看是内容版权侧的事，落点却在 AI coding 的地基上。

第一层，训练数据的闸门从双边博弈变成公共接口。过去每家实验室和每个网站一对一谈（或者不谈，直接爬），规则散在无数份 robots.txt 的私有段落里。统一信号把"是否可用于训练"压成一行机器可读的声明，数据治理的接口第一次标准化了。对做 agent 和 coding 工具的团队，这直接影响语料采集管线的合规成本——读一个标准字段，就能知道哪些站能进训练池。

第二层，Anthropic 牵头提标准这个细节值得多看一眼。四家里 Anthropic 最先把训练退出信号做成产品级功能，又第一个把方案推给 IETF。数据侧的合规能力正在变成实验室之间竞争的隐形赛道：谁的爬虫协议生态对站长更友好，谁在下一轮授权谈判里的道德位置就更好。

第三层，落地节奏拉开了时间差。Anthropic 已率先支持；OpenAI 计划未来几个月内落实；微软说 2027 年 2 月 1 日开始支持；谷歌计划 2027 年初支持并与现有 Google-Extended 控制对齐。Meta 表态支持建立通用信号，没给时间表。

三条冷静的边界

这个标准的力量边界，比四家联合的声势小一圈，读的时候要把三件事分清。

退出不是授权。统一信号解决的是"表达"：网站能说"不许用"，但说了不等于签了合同，没有收益分配，没有许可协议。它是一个技术层的"请勿入内"牌子，不是法律层的"授权已谈妥"。内容真正的商业授权仍要逐家谈。

不溯及既往。信号只管生效之后的新爬取，已经进了训练集的数据不删、不停用。对那些早已被爬了几年的网站，这条标准给的是未来，还不回过去。

自愿遵守。它目前是 IETF 的个人草案（Internet-Draft），不是正式标准。四家遵守，第五家小爬虫可以不遵守。标准的牙齿，来自大厂的品牌压力和可能的后续立法，协议本身没有强制力。

一行字符背后的分层

回头看整件事的结构：robots.txt 三十年没改过核心语义，AI 训练这股新势力进来后，先经历了各家各自造爬虫、各写各规则的碎片期，现在收敛到共用一个标识符。这个路径和历史上所有互联网治理的标准一样——先野蛮生长，再接口统一。对写爬虫、做数据管线、管合规的人，__usage_ai-training 这行字符串值得现在就加进解析器：它管不着过去，但管得着未来。

信源与限定：Anthropic 的 Kevin Kelley 向 IETF 提交的 Internet-Draft（个人草案，非正式标准）；IT之家 2026-11-01 报道；腾讯新闻与通信世界 11 月 2 日转述；AIRosetta 对四家落地时间线的汇总（微软 2027-02-01、谷歌 2027 年初口径出自该汇总，与其他中文报道"明年支持"一致）。各家支持均为官方表态，执行效果待验证；文中语法示例为 AIRosetta 给出的示意写法。

#AIcoding #数据治理 #robots