用知识丈量参数：如何从黑盒API反推LLM的真实规模

解读论文 Incompressible Knowledge Probes：当推理基准集体饱和，事实性知识成为唯一无法压缩的规模标尺。

📄 论文： Bojie Li · Pine AI · 2026 | 📊 188 Models · 27 Vendors

一、为什么需要新的参数估算法？

前沿实验室早已不再披露模型的真实参数数量。目前的主流替代方案——"推理经济学"（Inference Economics）——通过API的吞吐速度、定价策略和硬件成本反向推算规模，存在固有的 2×+ 不确定性。这种误差来自硬件代际、批处理策略、量化方案等模型外部的变量。

🌐 关键矛盾： 推理基准（MMLU, GPQA, HELM）正在集体"饱和"——不是因为模型不再进步，而是因为程序性能力是可压缩的（2026年的7B模型在推理上能匹敌2023年的70B模型）。这意味着传统基准正在失去对模型规模的指示作用。

二、核心思想：不可压缩的知识

论文作者提出了一个精巧的理论框架——将模型参数拆解为三个功能分区：

"Densing Law"（能力密度每约3.5个月翻倍）确实让程序性技能越来越高效，但事实性知识不同："USTC Hackergame创办于2014年"这个事实无法从通用知识推导出来，它必须以某种形式被显式存储。根据Allen-Zhu & Li (2025)的研究，Transformer的每参数大约能存储2–4 bits的事实性知识。

三、实验设计：七层难度阶梯

论文设计了一套包含1,400个事实性探针的基准测试——IKP（Incompressible Knowledge Probes），按实体在网络上的罕见程度分成7个难度层：

探针来源经过精心设计：T1–T2主要由LLM生成；T3–T7则从维基数据和CS学术数据库（DBLP/OpenAlex）中采样真实实体，并经过10轮审计校正，确保没有人能靠"猜"或"推理"获得正确答案。

四、六大核心发现

1. R² = 0.917：知识容量与参数规模严格对数线性相关

在89个已知参数的开源模型上（135M到1600B参数），IKP准确度与参数量的对数呈现高度线性相关。每增加10倍参数，准确度提升约14.7个百分点。这个对数线性关系跨越了四个数量级和19个不同的模型厂商。

2. Densing Law被证伪：知识不随时间压缩

在96个标注了发布日期的开源模型上，IKP的时间系数为 -0.0010/月（95%CI: [-0.0031, +0.0008]），统计学上无法区分于零。而Densing Law预测的+0.0117/月的增长率被以 p<10⁻¹⁵ 的置信度拒绝。这意味着一个固定参数量的模型，无论发布于2023年还是2026年，知道的事实一样多。

3. MoE的秘密：总参数，而非激活参数

对于混合专家模型，用总参数预测知识容量（R²=0.79）远优于用激活参数（R²=0.51）。这说明事实性知识是分布式存储在所有专家权重中的，而非集中于每次推理激活的那几个。

4. 知识指纹：区分"血缘"还是"重训"

一个极具创造性的发现：如果两个模型在T5-T6难度层上对同一个罕见事实给出相同的错误答案（Hallucination Similarity, HSS），这说明它们共享了底层权重。三个指标将模型对分为三个干净利落的区域：

• 共享权重：HSS ≥ 0.30，Jaccard ≥ 0.60
• 同族微调：0.10 ≤ HSS < 0.30，Jaccard ≥ 0.50
• 独立重训：HSS < 0.10（即使版本号相邻）

5. T7悬崖：所有模型集体归零

在最难层级T7上，188个模型中只有2个得分超过1%。每一个前沿闭源模型——GPT-5 Pro、Claude Opus 4.7、Gemini 3.1 Pro——得分都是0.0%。这不是"正在接近"的天花板，而是一个结构性断崖。知识的绝对长尾以比当前任何预训练语料库更快的速度生长。

6. 安全对齐的"沉默税"：模型知道但不说

在Claude Sonnet线上，Sonnet 4比前辈3.7低了6.7个百分点——但其T5层的拒绝率从54%飙升至88%。这意味着模型并非不知道答案，而是安全策略禁止它说。IKP的评分系统为此专门设计了惩罚机制：自信的错误回答得-1分，而拒绝只记0分，从而奖励诚实的保守策略。

五、闭源模型的参数估算（节选）

⚠️ 注意：90%预测区间约为±3×。像Claude Haiku等高度安全对齐的模型，"知道但拒绝"会导致低估（应作为下界理解）。文章强调这些估算是"有效容量"而非精确的物理参数数。

六、思维链模式的边际收益

研究测试了27对基础版/思维链版的模型。Thinking模式平均提升2.2个百分点，峰值出现在T3-T4层，但在T7层增益归零。这强有力地证明了：思维链帮助的是知识检索，而非创造新知识。

七、方法与局限

• 校准稀疏： 1T以上的开校准点只有DeepSeek V4 Pro (1.6T)和Kimi K2.5/K2.6 (~1T)，外推高区间的斜率由极少数据点决定。
• 安全对齐污染： 重度RLHF模型系统性地低报知识容量。
• 探针污染风险： 如果探针泄露到训练数据中，会导致高估——因此只有方法论公开，具体题目保密。
• 地标模型循环性： 用于定义难度层级的6个"地标模型"在对应层级的分数是被构造出来的，应排除在估计目标之外。

💡 点评

这篇论文最值得关注的地方，不在于给出了GPT-5.5"大约9.7T"这个数字本身，而在于它一举将"知识容量"确立为一种独立的、不可压缩的模型维度。当程序性基准因Densing Effect而集体失效时，IKP的不可压缩性为其提供了方法论上的根本优势。

AI社区过去总是说"知识即参数"，但这篇论文把它变成了一种可以精确测量的、用R²=0.917的对数线性标尺表达的工程实证。而且，HSS（相同错误）作为一种零样本模型血缘检测信号，其巧妙性不亚于任何架构级的水印方案。

当然，±3×的置信区间提醒我们，这仍然是隔着黑盒的"遥感"。但方向已经非常清楚：在压缩一切的时代，那些无法被压缩的东西，终将成为衡量一切的最后标尺。

📚 论文信息： Bojie Li (Pine AI), Incompressible Knowledge Probes, 2026.
🔗 代码: github.com/19PINE-AI/ikp | 🌐 交互网站: 01.me/research/ikp