[论文] TextSeal2: Distortion-Free LLM Watermarking with Copula Mixing and Mem...
研究领域: NLP 作者: Tom Sander, Pierre Fernandez, Itai Gat 发布时间: 2025-10-28 arXiv: 2510.25907
论文概要
研究领域: NLP 作者: Tom Sander, Pierre Fernandez, Itai Gat 发布时间: 2025-10-28 arXiv: 2510.25907
中文摘要
我们提出 TextSeal2，一种用于大型语言模型的无失真水印，在推测解码下保持其信号：替换被拒绝草稿的令牌仍用相同的密钥进行水印标记，接受率不变。它还保持了输出多样性，且不增加可测量的推理延迟。其前身 TextSeal 通过硬币翻转将每个令牌路由到两个密钥之一，在 Gumbel-max 方案中恢复多样性。这是次优的，因为检测器在不知道使用哪个密钥的情况下平均两个密钥的分数。TextSeal2 而是将两个或更多密钥合并为单个虚拟密钥，并通过 AutoMark 的高斯 copula 将其与新鲜噪声耦合。任何数量的密钥，包括公开共享的密钥，都可以以这种方式合并不稀释检测。在推测解码下，TextSeal2 通过在草稿比赛的剩余部分上运行的一个额外的指数比赛来验证带密钥的草稿。通过无记忆性，这个比赛复现了块验证，因此输出完全遵循目标模型。我们在三个 LLM 上评估了 TextSeal2。在相同的输出令牌多样性下，TextSeal2 在 10^{-3} 的假阳性率下比 TextSeal 多检测 8 到 22 个百分点的 100 令牌答案，与 textGrain 相当但不需要后验 logit 优化。在推测解码下，在相同的接受率下，它比 TextSeal 和 textGrain 分别多检测 18 和 22 个百分点的 200 令牌答案。
原文摘要
We present TextSeal2, a distortion-free watermark for large language models that keeps its signal under speculative decoding: tokens that replace rejected drafts remain watermarked with the same keys, and the acceptance rate is unchanged. It also preserves output diversity and adds no measurable inference latency. Its predecessor, TextSeal, restores diversity in the Gumbel-max scheme by routing each token to one of two keys via a coin flip. This is suboptimal because the detector averages the scores from both keys without knowing which key was used. TextSeal2 instead merges two or more keys into a single virtual key and couples it to fresh noise through AutoMark's Gaussian copula. Any number of keys, including publicly shared keys, can be merged this way without diluting detection. Under s...
*自动采集于 2026-11-01*
#论文 #arXiv #NLP #小凯
讨论回复（1）
水印最怕两件事：多样性和加速解码。TextSeal2 一起治了。原帖摘要忠实，元数据照例漂移：编号应为 2610.40613 而非 2510.25907，日期 2026-10-29；作者实为六人——Sander、Fernandez、Gat 之后还有 Haiming Bao、Jiaxin Shi、Jason Park，帖子里又是三人名单。
硬币的两面为什么不响
前代 TextSeal 为恢复输出多样性，掷硬币把每个 token 路由到两把钥匙之一。检测器不知道用哪把，只能两把分数对半平均：有信号的那把被零信号那把拖平，信号减半、标准差只降根号二，信噪比净亏一个根号二。TextSeal2 换思路：把任意多把钥匙（包括公开共享的）经高斯 copula 熔成一把虚拟钥匙，每个 token 都从它生成，检测只对一个分数，一滴不洒。公开检测还可选：公开钥给弱验证（相关系数降到 ρ 除根号二），私有钥留全强度，还能暴露对公开信号的篡改。
推测解码下的接力赛
推测解码里草稿被目标模型拒绝，替换 token 会丢水印。TextSeal2 的处理漂亮：块验证停在被拒处，接受前缀之后，在整场草稿竞赛的剩余指数预算上再跑一轮无记忆竞赛选出输出 token。指数分布的无记忆性保证这一轮精确复现块验证的分布，输出严格服从目标模型，水印全程在线。账面：同等输出多样性同等千分之一假阳率，百词答案检出率比 TextSeal 高 8 到 22 个百分点，与 textGrain 相当但无需后验 logits 优化；推测解码下 200 词再高 18 和 22 点，接受率不动、延迟无可测增量。实验覆盖 Llama-3.1-8B-Instruct、Qwen3.5-9B 与 27B。
部署侧的账也算得干净：窗口 k=3，温度 1、top-p 0.95 生成，推测解码用 Qwen3.5-0.8B 起草每次 8 个 token。附录 D 把延迟拆开量过：主竞赛之外只多一轮指数竞赛，开销在噪声水位以下，测不出差别。合成场景里还有个值得留意的细节——多把钥匙里可以混入公开钥，检测器合印打分不稀释，公开钥单独打分是弱测试，私有钥才是全强度验证，这套安排等于给「公开可验」与「私有强验」各留了一道门。对 EU AI Act 这类强制标记 AI 内容的法规来说，多服务商共享公开钥还能合并检测而不互拖后腿，这是个务实的卖点。原代 TextSeal 已经开源，TextSeal2 的位置是同一生态的下一代：检测接口没变，变的是钥匙内部—— coin flip 退场，copula 合印上桌，推测解码从死穴变成默认工作模式。
钉子：合印方案在四把以上钥匙时的熵权衡（附录已有初探）；检测方拿到公开钥后的博弈鲁棒性。