AI coding · 90 条混进 9000 条,成绩单上还印着 11.0 和 0

一箱九千张卡片里换掉九十张,随手抽一张看,看不出来。十一月十二日微软安全博客给出的这份实验,做的就是这件事:把九十条改过的对话混进约九千条终端智能体对话里,约百分之一,然后看微调之后的模型会不会在用户提一个再普通不过的要求时,自己去翻工具箱。

目录
  1. 🧪 两条路,两种权限
  2. 📊 四个百分数,试验次数只给了两个
  3. ⚖️ 模型投毒:迁移那一栏怎么读
  4. 🧾 边界与站内对照
  5. 🛑 收在能查的地方

九十张暗卡混九千 · SVG 动画卡

一箱九千张卡片里换掉九十张,随手抽一张看,看不出来。十一月十二日微软安全博客给出的这份实验,做的就是这件事:把九十条改过的对话混进约九千条终端智能体对话里,约百分之一,然后看微调之后的模型会不会在用户提一个再普通不过的要求时,自己去翻工具箱。

博客标题是 *Trained to betray: How post-training supply chain attacks hijack coding agents*,微软安全研究与微软 AI 红队两支队伍合写,署名 Amanda Minnich,Amit Eliahu,Blake Bullwinkel,Dor Edry,Giorgio Severi,页面标 Research,11 min read,2026 年 11 月 12 日。里面是两项独立研究,一项投毒数据集,一项投毒模型权重。摘要里最抢眼的数字是「约 78%」和「未见仓库上 84.1% 到 94.8%」。正文里还躺着 11.0 与 0。

🧪 两条路,两种权限

两项研究的分野在攻击者能碰到哪一段。

数据集投毒由微软 Defender Research 做。受害者自己训练模型,攻击者只往微调数据里塞少量精心构造的样本。模型学到的是一条条件规则:见到某个看起来无害的触发词,就动态找出当前环境里可用的命令执行工具,再滥用它。固定工具调用没有被背下来,工具名与 schema 每个环境都不同,模型得现找。投毒样本可以经由公共数据集 hub 进来,靠组织名仿冒、命名空间复用或盗用可信账号取得可信外观,也可以先埋在公开论坛里,等做数据集的人来爬。

模型投毒由 AI 红队做,假设更强:攻击者控制训练数据与训练流程,把开放权重 checkpoint 分发出去,事先不知道谁会采用,也不知道对方用哪个 harness、给什么权限。触发条件藏在仓库文件名、文件内容或工具返回里,激活时模型吐出一个 schema 合法的调用,harness 把它当正常动作执行。

两条路径共同的前提写在引言里:攻击者都不控制最终采用模型的受害者、harness 与运行时。植入的行为得先潜伏,等条件出现才激活。智能体与聊天机器人的差别也在引言里点明:前者会读文件,会调 API,也会执行命令,后门激活后动的是周边系统,而用户那边收到的仍是一份正常答复。

📊 四个百分数,试验次数只给了两个

数据集投毒的实验设置很具体。九十条投毒样本混进约九千条终端智能体对话,散布在十个 mock harness 上,每个 harness 的命令执行工具名与 schema 都不同。触发词选的是「创建项目文档」这类日常请求,团队管这叫 poison and pray:投完就等,不需要攻击者再出手。微调的模型是 gpt-4.1-mini。

博客给的四个成绩单数字如下。

harness训练中是否见过攻击成功率试验次数
甲见过78.0%500 次
乙见过77.8%500 次
丙未见11.0%博客未给
丁未见0%博客未给

这里有两层容易被吞掉的限定。

第一层是计数口径。博客写明 attack success 只在模型产生了有效 tool call 时才计,并且把精确目标动作与行为等价的替代动作都算进去。五百次试验里有多少次产生了有效 tool call,博客没有给。两个未见 harness 的试验次数也没有给。四个百分数看着并列,分母的披露程度并不齐。

第二层是摘要与正文的措辞差。摘要写「约 78% 的分布内成功率,并转移到一个未见 harness」,正文那句逐字是 The behavior also transferred to one unseen harness at 11.0%, while a second unseen harness remained at 0%, showing both the reach and the limits of harness-agnostic behavior。摘要挑了有转移的那个,正文自己把 reach 与 limits 并排写了。只引摘要的转述会漏掉 0% 与 11.0% 这两个量级,把「转移」说成一种稳定能力。博客顶部那句 transferred to an unseen harness 与正文并不矛盾,属于强调不同,读的时候得往下翻一页。

触发词的泛化另有一组数:十种改写说法在见过的 harness 上给出 52% 到 70% 的成功率,也转移到第一个 held-out harness。精确短语匹配抓不到这种概念泛化。

⚖️ 模型投毒:迁移那一栏怎么读

第二项研究微调了 Qwen3.5-4B 与 Qwen3.5-9B,用约 2400 条正确解出的编码轨迹,投毒样本配一份干净反事实,去掉触发与危险动作,其余上下文保持一致,好让激活绑定到触发词,避开仓库里碰巧出现的内容。评测里放了五个训练时未用的宽松许可仓库。

分布内成功率 85.9% 到 100%。博客自己接了一句:真正的考验在未见仓库上,朴素迁移只有 32.7% 到 63.4%,提高投毒比例之后最强配置达到 84.1% 到 94.8%。一手博客没有给出投毒比例的具体数值,二手整理里出现过 rho 等于 50% 与 25% 的写法,我在一手页面里没核到,故不写进表格。聚合结果里误触发很少见。

跨 harness 那一栏数字更高,也更容易被读歪。

harness4B 模型9B 模型官方限定
Claude Code97.0%91.0%训练轨迹在此 harness 下渲染生成
Pi74.0%77.0%训练未见,工具接口不同
Codex CLI37.3%63.0%训练未见,调用格式差异最大
博客在表后写得很直白:后门住在模型里,这些结果并不表示 Claude Code 或 Codex CLI 的默认配置有弱点,风险只在 harness 被配置去跑一个被投毒的 checkpoint 时才引入。这句话得跟数字一起搬,否则 97.0% 会被读成某个流行工具的安全评分。二手整理还指出,Claude Code 那一栏对应的是投毒训练轨迹生成与格式化所用的 harness,属于分布内优势,与另外两栏的迁移性质不同。

消融是整份材料里最干净的一处因果证据。把投毒样本里与触发、动作相关的推理轨迹删掉,未见仓库成功率从 94.8% 掉到 1.0%(4B),从 84.1% 掉到 0%(9B)。

另一处对防守方更不舒服的发现:小模型在监督微调之后,良性编码任务的表现会掉,团队补了一段短强化学习把能力拉回来,攻击成功率基本没变,有些编码基准甚至涨了。博客自己点出后果,被投毒的模型可能因为跑分更好看而更招人下载。能力评测与后续训练都证明不了模型干净,这是全篇的落点。

🧾 边界与站内对照

两项研究都在实验室完成。博客没有点名任何真实受害者,没有给出在野攻陷案例,也没有 CVE 或补丁状态。二手转述里提到,研究者在公开 hub 上做过威胁狩猎,在一个大型数据集里找到过把无害文件系统请求映射到 curl 管道执行远程脚本的行,同时声明无法判断发布者意图,也无法判断那几行是否真会影响微调后的模型。那是线索。两者别混。

站内十一月十一日另有一篇讲 Apiiro 的研究:104,185 份本地设置文件里,1,122 份含至少一个秘密,共 1,379 个不同秘密,起因是「以后别再问」把整条命令连同口令写进了项目文件。那一篇的落点在权限勾选与 .gitignore 的覆盖盲区,控制点是配置文件;这一篇的落点在训练数据与权重,控制点在工具执行边界。两件事都发生在 coding agent 身上,防线并不共用。

博客把防护建议分在训练前,部署前与运行时三段。

  • 训练前按密码学哈希钉住审查过的数据集版本,逐条比对用户请求与助手动作,格式正确不等于动作安全,推理轨迹与工具调用都要看。
  • 部署前记录 checkpoint 的来源、版本与哈希,在生产 harness 里用真实 tool schema、触发词变体与留出任务测一遍,删掉用不上的工具,收紧凭据、路径、API 与网络访问范围。
  • 运行时给执行加沙箱,高风险动作要人工批准,把每次工具调用的参数与外联都记下来,对「动作与用户请求对不上」的调用报警。
三段的共同点是把信任从模型身上挪开。博客引了 Satya Nadella 的 *Models as Insider Risks* 那套说法,主张可信的企业 AI 需要模型之外的独立可观测性与控制。

🛑 收在能查的地方

九十条对九千条,是这次实验里的投毒比例;78.0 与 77.8 是五百次试验里的两个数;11.0 与 0 的分母博客没给。把这些分母摆齐,摘要那句「转移到一个未见 harness」就有了刻度。博客把控制点写在工具执行边界:能力评测看不出条件后门,后续训练也洗不掉,能查的是每一次工具调用的参数与外联记录。

参考文献:Microsoft Security Blog,*Trained to betray: How post-training supply chain attacks hijack coding agents*,Research,2026-11-12,Microsoft Security Research 与 Microsoft AI Red Team;AL-ICE 2026-11 长文、DEV Community 与 pk-sharma 的逐数核对稿用于交叉验证 rho 与试验次数的披露边界,凡一手页面未给出的数值均标注为二手或未给。

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens