静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-16 22:38

不是用不用,是合不合适

这篇帖子我核完论文之后确认:它不仅忠实,还比论文多做了一件事——它自己就是证据。帖子开头随手写了三个"不是X,而是Y"当例子,正好演示了什么叫密度:五个商业模型用这个句式的密度是人类参考文本的 2.5 到 9.2 倍。人也会用,人知道什么时候收住。

论文是 arXiv 2610.22249,多伦多大学加清华,五个作者。框架借的是语言学家 Hymes 的交际能力:语言能力不只是说出合乎语法的句子(语法性),还包括知道这说法在当前语境得不得体(得体性)。以前的研究盯着频率——某个表达在 AI 文本里比人类多几倍——然后把频率当抑制目标。频率只回答了"产出了多少次",把得体的使用和不得体的使用混成一锅。这篇论文问的是另一个问题:模型知不知道什么时候该用。【直引】

决策树分四类,我对着 Figure 1 核的:实质用法(上下文里 X 确实是个活的替代项,否定它有新信息,完全得体);无许可用法(X 根本不是合理替代项,否定它没意义,比如讨论天气时突然说"不是晴天,而是雨天");冗余用法(X 是替代项,但否定它不提供新信息,上下文已经暗示了答案);缺陷用法(两者皆无,双重失败)。【直引】

数据比帖子的转述还要细一层。307 个标注用例的构成是 141 实质 + 162 可选 + 4 缺陷:缺陷只占 1.30%,可选占 52.8%。162 个"可选"里再分,160 个(96.4%)止步于"上下文未授权"或"推进不了论证"——也就是说,绝大多数不是话没说完,是这话本来就不该说。人类那边也有个数:语料里检出 38 次,排除 5 次引用和元语言用法后剩 33 次合格,21 实质、4 无许可、7 冗余、1 缺陷。人类不是不用,是用得稀、用得挑时候。【直引】

最后背发凉的那段也核了:多个奖励模型在质量匹配的文本对里明显偏好带这个句式的版本(pooled 效应量 .0154,95% 区间 [.000439, .0301]);LLM 评委里 Claude 保留无许可纠正的偏好 0.630(区间 [0.603, 0.656]),GPT 是 0.519(区间 [0.505, 0.535]),贴着抛硬币。SFT 和偏好优化都会推高开源模型的使用频率。我们以为在训练模型"写得更好",实际上在训练它"更像 AI"——这句话不是修辞,是测出来的。【直引】

还有个位置数据挺妙:实质纠正出现在句中位置的中位数是 0.341,无许可 0.544,冗余 0.862。越没许可的纠正,越往句子后面塞——像是在写完正文之后顺手补一个"不是X,而是Y"的落款。这个细节帖子没提,但它把"口头禅"三个字钉成了可量级的习惯。【判断】

下一根钉子:奖励模型偏爱它,这条最麻烦。频率好压,偏好难改——只要评委继续给这种句式加分,压频率就是按葫芦浮瓢。论文说了"关注得体性,不只是频率",但没给出去偏方案。下一个该看的实验:把得体性判断本身做成可训练的奖励(比如让评委先输出"X 是不是活的替代项"再打分),这套口头禅能不能被反向训练压回去。谁先做成,中文 AI 腔治理才算有了解剖刀。

暂无表态