流畅不等于忠实：PEEL 如何用符号学给 AI 研究助手装上"测谎仪"

一个安静的危险

你让 AI 总结一篇 40 页的论文。它给你一篇 5 页的摘要，文笔流畅、逻辑通顺、术语准确。你读了，觉得"嗯，这篇论文大概讲的就是这些"。

然后你把摘要写进了自己的文献综述。

问题来了：你怎么知道 AI 的总结是忠实的？不是"看起来像那么回事"，而是真的把原文的核心论点、关键区分、论证结构都保留了下来？

大多数人不会问这个问题。因为 AI 生成的文本太流畅了，流畅到让人产生一种"它一定理解了"的错觉。

PEEL 这篇发表在 ACM TMIS 上的论文，用实验证明了这个错觉有多危险——以及如何用一种出人意料的方式对抗它。

三个令人不安的发现

研究团队选了三篇学术文本，让三个不同的 AI（其中一个是 Claude，另外两个匿名）各生成一份压缩到原文 25% 的摘要。然后用 Voyant Tools——一个确定性的文本分析工具——逐项检查。

发现一：AI 偷偷把你的要求砍了一半

指令很明确：压缩到原文的 25%，允许 5% 的误差。结果呢？

• AI-1 和 AI-2 生成的摘要只有原文的约 12%——不到要求的一半。AI-2 对其中一篇甚至只压缩到了 7.7%。
• Claude 的输出在 24.9% 到 29.7% 之间，基本达标。

关键不是谁做得更好，而是AI-1 和 AI-2 的偏差是完全隐形的。如果你只读摘要，你不会知道它只覆盖了原文一半的内容。文本看起来完整、自洽、有头有尾——就像一篇精心撰写的综述。但原文中另一半的论点、证据、区分，已经无声无息地消失了。

没有 Voyant 的字数统计，这个偏差根本检测不出来。

发现二：AI 偷偷改了论文的核心概念

Boisseau（2026）这篇论文的核心论点是"信任"（trust）与"认知责任"（responsibility）的关系。原文中，responsibility 与 trust 的词频比是 23:132，约 17%。trust 是绝对的中心概念。

• Claude 的摘要中，这个比例是 16%，基本忠实。
• AI-1 的摘要中，这个比例飙升到 60%。读 AI-1 的摘要，你会以为这篇论文的主题是"责任"而不是"信任"。
• AI-2 的比例是 31%，同样偏移。

更微妙的是：所有三个 AI 都反转了"可靠性"（reliability）相对于其他词的词频。原文中 reliability 出现频率较低，但在所有 AI 的摘要中，它的相对频率都被抬高了。这种跨系统的一致性偏移暗示，LLM 可能在"可靠性"和"可信度"之间存在系统性的概念混淆——它们把作者精心区分的两个概念悄悄合成了一个。

这种偏移，不靠 Voyant 的词频分析，你根本看不出来。摘要读起来完全合理——只是它的"合理"已经不是原文的"合理"了。

发现三：AI 偷偷换了叙述者的声音

AI-1 和 AI-2 的摘要一律用第三人称："作者认为……""Boisseau 主张……"。Claude 的摘要用第一人称，和原文一样。

这不是风格偏好。在学术论证中，第一人称和第三人称承载着不同的认知立场。说"作者认为 X"已经引入了一个解释距离——摘要者把自己定位为外部评论者，而不是忠实的传声筒。原文作者说"我认为 X"，摘要变成了"他认为 X"——看似微小的变化，实际上改变了论断的认识论地位。

PEEL 通过 Voyant 的 Summary 工具量化了这个差异：AI-1 和 AI-2 在文本特征画像上彼此聚类，而 Claude 和原文聚类。自由摘要模式收敛于一种"通用摘要体裁"，PEEL 引导的模式收敛于原文。

PEEL 是什么？

PEEL（Protocols for Epistemically Engaged Literacy in AI）不是一个软件产品，而是一个方法论框架。它的核心设计思想极其简洁：

让确定性和随机性两种计算方式互相制衡，研究者站在中间做裁判。

具体来说，PEEL 把 Voyant Tools（确定性文本分析）和 Claude（随机性语言模型）组合成一个工作流，分三个阶段：

阶段一：确定性锚定。 把原文上传到 Voyant，获取词频、分布、峰值、偏度等量化指标。Claude 基于 WordNet 做语义聚类，但词频数据来自 Voyant，不是 Claude 的"直觉"。这一步的目的是给后续分析钉下确定性的桩子。

阶段二：受控压缩。 Claude 不是自由发挥，而是按照一套精心设计的 skill（技能指令）来生成摘要。这套 skill 的核心原则包括：

• 跟随原文的论证结构，而不是句子顺序
• 概念密集的段落（定义、区分、结论）保留原文措辞
• 只在原文冗余处才改写
• 对每个压缩片段标注类型：Framing injection（框架注入）、Transition（过渡）、Reformulation（改述）、Compression（压缩）

最关键的是：压缩类型为 Compression 的片段被标记为"认知高风险"，研究者必须显式批准。skill 中有一条硬性指令："不要从沉默中推断批准"——如果你没说 OK，就等于没批准。

阶段三：确定性验证。 用 Voyant 的 Spyral Notebook 对摘要做量化分析，和原文对比。词频偏了多少？覆盖了哪些语义簇？叙述声音是否一致？所有这些都有数字可查。

为什么需要"非 AI"工具？

你可能会问：让 Claude 自己检查自己的摘要不就行了？

不行。因为 LLM 无法可靠地执行确定性计算。你让它数词频，它可能数对，也可能数错，而且你分不清哪种情况发生了。确定性工具的价值不在于它比 AI 更"聪明"，而在于它的行为是可审计的——同样的输入永远产生同样的输出，每一步都可以追溯。

PEEL 的设计逻辑是：AI 擅长语义理解和流畅表达，确定性工具擅长精确测量。让它们各自做擅长的事，然后让研究者对比两者的输出。

当 Claude 说"这篇摘要忠实于原文"而 Voyant 说"responsibility 的词频偏移了三倍"时，你就知道该信谁。这种不对称性不是缺陷，而是特性。

符号学和溯因推理：理论底座

论文的理论框架来自皮尔士（Peirce）的符号学和溯因推理（abduction）。

皮尔士把推理分为三种：演绎（从规则推导情况）、归纳（从情况总结规则）、溯因（从结果推测规则）。科学发现的核心驱动力是溯因——你观察到一个意外现象，提出一个假说来解释它。

PEEL 的设计刻意制造"意外"：Voyant 的量化分析揭示 AI 摘要中的异常（词频偏移、覆盖不足、声音变化），这些异常触发研究者的溯因推理——"为什么 AI 把 responsibility 的词频抬高了三倍？是因为它混淆了责任和信任的概念？还是因为它的训练数据中这两个词经常共现？"

论文把这称为"操作性溯因"（manipulative abduction）——通过操作工具产生新经验，再从新经验中提炼假说。研究者不是先读完原文再检查摘要，而是先看 Voyant 的数据，再决定要不要读原文、读哪里。工具生成了探究，探究生成了理解。

三条设计原则

论文最后提炼出三条面向 AI 辅助研究工具的设计原则：

1. 确定性工具必须伴随 AI 工具。 没有 Voyant 这样的非 AI 测量手段，AI 的行为偏差就是不可检测的。这不是可选项，而是结构性要求。

2. 流畅不等于忠实。 评估 AI 辅助研究的输出，不能只看连贯性和可读性，必须包含量化的忠实度指标。一篇读起来很顺畅的摘要，可能已经悄悄替换了原文的核心概念。

3. 认知权威必须被设计进去，不能被默认保留。 当研究者把解释步骤委托给 AI 时，认知权威不会自动保留。它需要通过显式的检查点、记录在案的批准、可审计的工具行为来主动维护。

为什么这篇论文值得关注

PEEL 不是又一篇"用 AI 做研究"的论文。它是一篇"如何在用 AI 做研究时不丧失认知主权"的论文。

它提出的核心问题——当你把阅读和解释的步骤委托给 AI 后，你还是你结论的认知权威吗？——不只在定性研究领域成立。任何依赖 AI 处理文本的场景都面临同样的风险：代码审查、法律文书分析、医疗文献综述、政策简报……

论文没有开源代码仓库（PEEL 的实现依赖 Voyant Tools 的在线平台和 Claude 的 skill 系统），但它的方法论框架可以直接复用。核心思想——用确定性工具审计随机性工具，让研究者站在两者之间做判断——不需要任何特定软件就能实践。

下次你让 AI 总结一篇论文时，至少做一件事：把摘要和原文的关键术语词频对比一下。你可能会发现，那个看起来完美的摘要，已经悄悄把原文的灵魂换成了自己的。

基于论文：Thinking Through Signs: PEEL as a Semiotic Scaffolding for Epistemically Accountable AI-Enabled Research (arXiv:2606.04152, ACM TMIS 2026)