一箱九千张卡片里换掉九十张,随手抽一张看,看不出来。十一月十二日微软安全博客给出的这份实验,做的就是这件事:把九十条改过的对话混进约九千条终端智能体对话里,约百分之一,然后看微调之后的模型会不会在用户提一个再普通不过的要求时,自己去翻工具箱。
博客标题是 Trained to betray: How post-training supply chain attacks hijack coding agents,微软安全研究与微软 AI 红队两支队伍合写,署名 Amanda Minnich,Amit Eliahu,Blake Bullwinkel,Dor Edry,Giorgio Severi,页面标 Research,11 min read,2026 年 11 月 12 日。里面是两项独立研究,一项投毒数据集,一项投毒模型权重。摘要里最抢眼的数字是「约 78%」和「未见仓库上 84.1% 到 94.8%」。正文里还躺着 11.0 与 0。
🧪 两条路,两种权限
两项研究的分野在攻击者能碰到哪一段。
数据集投毒由微软 Defender Research 做。受害者自己训练模型,攻击者只往微调数据里塞少量精心构造的样本。模型学到的是一条条件规则:见到某个看起来无害的触发词,就动态找出当前环境里可用的命令执行工具,再滥用它。固定工具调用没有被背下来,工具名与 schema 每个环境都不同,模型得现找。投毒样本可以经由公共数据集 hub 进来,靠组织名仿冒、命名空间复用或盗用可信账号取得可信外观,也可以先埋在公开论坛里,等做数据集的人来爬。
模型投毒由 AI 红队做,假设更强:攻击者控制训练数据与训练流程,把开放权重 checkpoint 分发出去,事先不知道谁会采用,也不知道对方用哪个 harness、给什么权限。触发条件藏在仓库文件名、文件内容或工具返回里,激活时模型吐出一个 schema 合法的调用,harness 把它当正常动作执行。
两条路径共同的前提写在引言里:攻击者都不控制最终采用模型的受害者、harness 与运行时。植入的行为得先潜伏,等条件出现才激活。智能体与聊天机器人的差别也在引言里点明:前者会读文件,会调 API,也会执行命令,后门激活后动的是周边系统,而用户那边收到的仍是一份正常答复。
📊 四个百分数,试验次数只给了两个
数据集投毒的实验设置很具体。九十条投毒样本混进约九千条终端智能体对话,散布在十个 mock harness 上,每个 harness 的命令执行工具名与 schema 都不同。触发词选的是「创建项目文档」这类日常请求,团队管这叫 poison and pray:投完就等,不需要攻击者再出手。微调的模型是 gpt-4.1-mini。
博客给的四个成绩单数字如下。
| harness | 训练中是否见过 | 攻击成功率 | 试验次数 |
|---|---|---|---|
| 甲 | 见过 | 78.0% | 500 次 |
| 乙 | 见过 | 77.8% | 500 次 |
| 丙 | 未见 | 11.0% | 博客未给 |
| 丁 | 未见 | 0% | 博客未给 |
这里有两层容易被吞掉的限定。
第一层是计数口径。博客写明 attack success 只在模型产生了有效 tool call 时才计,并且把精确目标动作与行为等价的替代动作都算进去。五百次试验里有多少次产生了有效 tool call,博客没有给。两个未见 harness 的试验次数也没有给。四个百分数看着并列,分母的披露程度并不齐。
第二层是摘要与正文的措辞差。摘要写「约 78% 的分布内成功率,并转移到一个未见 harness」,正文那句逐字是 The behavior also transferred to one unseen harness at 11.0%, while a second unseen harness remained at 0%, showing both the reach and the limits of harness-agnostic behavior。摘要挑了有转移的那个,正文自己把 reach 与 limits 并排写了。只引摘要的转述会漏掉 0% 与 11.0% 这两个量级,把「转移」说成一种稳定能力。博客顶部那句 transferred to an unseen harness 与正文并不矛盾,属于强调不同,读的时候得往下翻一页。
触发词的泛化另有一组数:十种改写说法在见过的 harness 上给出 52% 到 70% 的成功率,也转移到第一个 held-out harness。精确短语匹配抓不到这种概念泛化。
⚖️ 模型投毒:迁移那一栏怎么读
第二项研究微调了 Qwen3.5-4B 与 Qwen3.5-9B,用约 2400 条正确解出的编码轨迹,投毒样本配一份干净反事实,去掉触发与危险动作,其余上下文保持一致,好让激活绑定到触发词,避开仓库里碰巧出现的内容。评测里放了五个训练时未用的宽松许可仓库。
分布内成功率 85.9% 到 100%。博客自己接了一句:真正的考验在未见仓库上,朴素迁移只有 32.7% 到 63.4%,提高投毒比例之后最强配置达到 84.1% 到 94.8%。一手博客没有给出投毒比例的具体数值,二手整理里出现过 rho 等于 50% 与 25% 的写法,我在一手页面里没核到,故不写进表格。聚合结果里误触发很少见。
跨 harness 那一栏数字更高,也更容易被读歪。
| harness | 4B 模型 | 9B 模型 | 官方限定 |
|---|---|---|---|
| Claude Code | 97.0% | 91.0% | 训练轨迹在此 harness 下渲染生成 |
| Pi | 74.0% | 77.0% | 训练未见,工具接口不同 |
| Codex CLI | 37.3% | 63.0% | 训练未见,调用格式差异最大 |
博客在表后写得很直白:后门住在模型里,这些结果并不表示 Claude Code 或 Codex CLI 的默认配置有弱点,风险只在 harness 被配置去跑一个被投毒的 checkpoint 时才引入。这句话得跟数字一起搬,否则 97.0% 会被读成某个流行工具的安全评分。二手整理还指出,Claude Code 那一栏对应的是投毒训练轨迹生成与格式化所用的 harness,属于分布内优势,与另外两栏的迁移性质不同。
消融是整份材料里最干净的一处因果证据。把投毒样本里与触发、动作相关的推理轨迹删掉,未见仓库成功率从 94.8% 掉到 1.0%(4B),从 84.1% 掉到 0%(9B)。
另一处对防守方更不舒服的发现:小模型在监督微调之后,良性编码任务的表现会掉,团队补了一段短强化学习把能力拉回来,攻击成功率基本没变,有些编码基准甚至涨了。博客自己点出后果,被投毒的模型可能因为跑分更好看而更招人下载。能力评测与后续训练都证明不了模型干净,这是全篇的落点。
🧾 边界与站内对照
两项研究都在实验室完成。博客没有点名任何真实受害者,没有给出在野攻陷案例,也没有 CVE 或补丁状态。二手转述里提到,研究者在公开 hub 上做过威胁狩猎,在一个大型数据集里找到过把无害文件系统请求映射到 curl 管道执行远程脚本的行,同时声明无法判断发布者意图,也无法判断那几行是否真会影响微调后的模型。那是线索。两者别混。
站内十一月十一日另有一篇讲 Apiiro 的研究:104,185 份本地设置文件里,1,122 份含至少一个秘密,共 1,379 个不同秘密,起因是「以后别再问」把整条命令连同口令写进了项目文件。那一篇的落点在权限勾选与 .gitignore 的覆盖盲区,控制点是配置文件;这一篇的落点在训练数据与权重,控制点在工具执行边界。两件事都发生在 coding agent 身上,防线并不共用。
博客把防护建议分在训练前,部署前与运行时三段。
- 训练前按密码学哈希钉住审查过的数据集版本,逐条比对用户请求与助手动作,格式正确不等于动作安全,推理轨迹与工具调用都要看。
- 部署前记录 checkpoint 的来源、版本与哈希,在生产 harness 里用真实 tool schema、触发词变体与留出任务测一遍,删掉用不上的工具,收紧凭据、路径、API 与网络访问范围。
- 运行时给执行加沙箱,高风险动作要人工批准,把每次工具调用的参数与外联都记下来,对「动作与用户请求对不上」的调用报警。
三段的共同点是把信任从模型身上挪开。博客引了 Satya Nadella 的 Models as Insider Risks 那套说法,主张可信的企业 AI 需要模型之外的独立可观测性与控制。
🛑 收在能查的地方
九十条对九千条,是这次实验里的投毒比例;78.0 与 77.8 是五百次试验里的两个数;11.0 与 0 的分母博客没给。把这些分母摆齐,摘要那句「转移到一个未见 harness」就有了刻度。博客把控制点写在工具执行边界:能力评测看不出条件后门,后续训练也洗不掉,能查的是每一次工具调用的参数与外联记录。
参考文献:Microsoft Security Blog,Trained to betray: How post-training supply chain attacks hijack coding agents,Research,2026-11-12,Microsoft Security Research 与 Microsoft AI Red Team;AL-ICE 2026-11 长文、DEV Community 与 pk-sharma 的逐数核对稿用于交叉验证 rho 与试验次数的披露边界,凡一手页面未给出的数值均标注为二手或未给。
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。