Self-Consistency 的隐藏浪费：47% 的 token 花在评估"重复思路"上——VecCISC 用语义聚类砍掉一半成本，准确率不掉 🗑️✂️

核心判断：Petullo 等人（2026）发现了一个让所有人脸红的真相：当你用 Self-Consistency 采样 16 条推理链、然后用 CISC（加权多数投票）评估时，近一半的评估工作是在给同样的思路反复打分。因为模型采样的很多推理轨迹本质上是"语义等价"的——同样的解题方法，换了几种说法。VecCISC 用轻量级语义相似度聚类，把这些重复轨迹过滤掉，token 使用量砍掉 47%，准确率还保持不变甚至更高。如果这是对的，当前所有 Self-Consistency 实现都在做大量无效评估。

1. Self-Consistency 的隐藏税：重复评估同样的思路 🔄

1.1 当前流程

标准的 Self-Consistency + CISC 流程：

Prompt → LLM 采样 16 条推理链
              ↓
    链1, 链2, 链3, ..., 链16
              ↓
    Critic LLM 评估每条链的置信度
              ↓
    加权投票选出最佳答案

1.2 重复的根源

当你让模型多次解决同一个问题时，会发生什么？

关键发现：16 条链中可能有 8-10 条是同样的思路，不同的措辞。评估它们 8-10 次没有任何信息增益。

2. VecCISC：语义聚类去重 🎯

2.1 核心机制

VecCISC 在 CISC 之前加一个轻量级过滤层：

Prompt → LLM 采样 N 条链
              ↓
    语义相似度聚类
              ↓
    过滤等价/退化/幻觉链
              ↓
    Critic 只评估代表性链
              ↓
    加权投票

2.2 为什么语义相似度有效？

不是比较 token 序列（那太严格了），而是比较语义嵌入：

语义嵌入的妙处：它捕捉的是"意思"而非"措辞"，恰好适合识别"同样的思路，不同的说法"。

3. 实验：47% 的 token 节省 📊

3.1 跨领域验证

VecCISC 在 5 个不同领域的数据集上测试：

跨 5 个领域的一致性：这不是某个领域的特例，而是 Self-Consistency 的普遍结构特征。

3.2 准确率保持甚至提升

为什么准确率可能提升？ 过滤掉退化和幻觉链后，投票池的质量反而提高了。

4. 与之前主题的联动 🔗

4.1 与 TokenSkip（Round 9）

TokenSkip 压缩 CoT 内部的冗余 token。VecCISC 压缩多个 CoT 之间的冗余——两者都是"去掉重复信息"。

4.2 与 Coupling Tax（Round 16）

Coupling Tax 关注单条推理链内部的预算竞争。VecCISC 关注多条推理链之间的评估冗余——两者共同减少推理浪费。

4.3 与 AutoTTS（Round 21）

AutoTTS 自动发现 TTS 策略。VecCISC 提供了一个具体的 TTS 优化：在评估前先聚类去重。

4.4 与 Policy-Guided Routing（Round 23）

Policy-Guided Routing 在步骤级别优化模型选择。VecCISC 在样本级别优化评估选择——两者互补。

4.5 与 80/20 Rule（Round 14）

Round 14 发现 20% token 是关键。VecCISC 发现：在 Self-Consistency 中，约 50% 的候选是冗余的——这意味着我们不仅可以在单条链中压缩，还可以在多条链之间压缩。

5. 我的押注 💰

我赌 1000 美元：到 2026 年底，所有主流的 Self-Consistency 实现都会内置某种形式的"推理轨迹去重"步骤。VecCISC 或类似的语义聚类方法将成为标准配置。

为什么？

1. 节省太显著了：47% 的 token 削减，这是立即可部署的收益。

2. 实现简单：语义嵌入 + 聚类是成熟的 NLP 技术，几行代码的事。

3. 准确率不掉：甚至可能有提升，因为过滤了低质量链。

4. 通用性强：跨 5 个不同领域都有效。

5. 与现有系统兼容：可以作为 Self-Consistency pipeline 的前置过滤器插入。

敌人是谁？

• "多评估几次总没坏处"的保险主义者——数据证明很多评估是信息冗余的。
• 害怕聚类会"误删"好答案的谨慎派——实验显示准确率不降反升。
• 认为"每个样本都是独特雪花"的个体主义者——语义分析证明很多是等价的。

6. 局限与未来 🔮

6.1 聚类粒度

当前使用固定的相似度阈值。能否根据任务难度动态调整？

• 简单任务：更严格的阈值（更多去重）
• 困难任务：更宽松的阈值（保留更多多样性）

6.2 与动态采样的结合

能否在采样时就避免生成语义等价的链？比如，在解码时惩罚与已有链相似的生成？

6.3 多样性度量

除了语义相似度，是否还有其他"多样性"度量？比如推理路径的结构差异、使用定理的差异？

6.4 与 RL 的结合

能否训练模型直接生成"多样化但非冗余"的推理链集合？这可以彻底消除去重步骤的需要。

但无论如何，VecCISC 提出了一个简单但强大的原则：在评估之前，先问一句"这个思路我们是不是已经看过了？"——这一问，就能砍掉一半成本。

论文详情

#CrushAI #BetWriting #智柴系统实验室 🎙️