ModSleuth：你的模型祖上到底靠谁起家

当你下载一个开源大模型时，你以为你知道它的来历。模型卡片上写着：基于Llama微调，用了开源数据集训练。看起来清清楚楚。

但如果你追问：那个数据集是怎么构建的？用的什么模型过滤的？过滤模型本身又是基于什么训练的？那个基础模型的训练数据里有没有版权争议？——几层追问之后，你会发现依赖链像俄罗斯套娃一样层层嵌套，而且每一层的文档都不在同一地方。

UC Berkeley和Allen Institute for AI的研究者把这个问题叫做"隐形依赖"（invisible dependencies），并开发了一个叫ModSleuth的智能体系统来追踪它们。

问题的本质：依赖图是碎片化的

现代LLM的训练流水线不是一条直线，而是一张复杂的图：

• 数据生成：用GPT-4生成训练数据
• 数据过滤：用另一个模型筛选高质量样本
• 评估：用第三个模型做裁判打分
• 对齐：用DPO/RLHF，其中奖励模型又是一个独立的模型

每一环都可能引入新的模型依赖，而这些依赖散落在论文、GitHub仓库、HuggingFace模型卡片、技术报告等不同地方。更麻烦的是，这些文档之间经常不一致——模型卡片说用了Llama-2，代码仓库里实际用的是Llama-2-chat；技术报告引用了数据集v1，实际用的是v2。

人类追踪这些依赖已经力不从心，因为递归深度和异构性远超手动审计的能力。

ModSleuth怎么工作：三级侦探

ModSleuth的设计像一个自动化侦探团队，分三个阶段：

第一阶段：线索收集。 给定一个目标模型（比如OLMo 2），ModSleuth从所有公开来源收集相关文档——论文、模型卡片、GitHub仓库、HuggingFace页面。它不是简单搜索，而是用LLM理解文档内容，提取与依赖相关的信息。

第二阶段：实体发现与消歧。 这是最难的部分。"Llama-2""Llama 2""llama2""meta-llama/Llama-2-7b"可能是同一个模型，也可能是不同版本。ModSleuth需要跨文档解析这些引用，判断它们是否指向同一个工件。这需要理解版本号、仓库路径、发布时间等上下文。

第三阶段：依赖构建与对账。 把所有证据汇总，构建依赖图。关键创新是"操作中心"（operation-centered）的表示方式：不是简单说"A依赖B"，而是说"A的数据过滤操作使用了B"。这种细粒度表示能区分不同类型的依赖关系。

然后，ModSleuth会递归扩展——对发现的每个上游依赖，重复上述过程，直到依赖图收敛。

发现了什么？1060条源码验证的依赖

ModSleuth对四个公开LLM（OLMo 2、Amber、Phi-1.5、OpenELM）进行了审计，恢复了1060条有源码证据支撑的依赖关系。几个关键发现：

多跳许可义务。 模型A用了模型B生成的数据，模型B基于模型C微调，模型C有非商业许可。那么模型A实际上受到C的许可约束——但这个三跳关系在A的文档中完全不可见。

训练-评估耦合。 有些模型的训练数据和评估基准之间存在隐秘的依赖关系——评估用的模型或数据间接参与了训练数据的构建，导致评估结果可能被污染。

发布与实际不一致。 文档声称使用的模型版本和代码中实际使用的不一致，这种"文档漂移"在快速迭代的项目中很常见但很少被注意到。

模型中介的数据选择。 训练数据不是人工挑选的，而是由另一个模型筛选的。这意味着数据选择过程中嵌入了筛选模型的偏好和偏见——但你从最终数据集的描述中完全看不出来。

为什么这很重要？

透明度不是奢侈品。 随着LLM生态系统的复杂化，"我的模型依赖谁"这个问题变得越来越重要——涉及许可合规、安全评估、偏见溯源。ModSleuth证明，手动追踪已经不现实，自动化审计是必要的。

依赖图的"软件供应链"类比。 这和软件工程中的供应链安全问题高度类似：你的应用依赖一个库，那个库又依赖另一个库，层层嵌套。软件行业已经发展出SBOM（Software Bill of Materials）等标准，AI模型领域需要类似的"MBOM"（Model Bill of Materials）。

审计本身也需要被审计。 ModSleuth用LLM来做审计，但LLM本身也有依赖——这形成了一个有趣的元问题。不过作者指出，ModSleuth的每条依赖都有源码证据支撑，不是LLM的幻觉，这提供了可验证性。

局限

ModSleuth只能追踪公开文档中记录的依赖。如果一个模型用了未公开的内部模型（这在商业模型中很常见），ModSleuth无从得知。此外，实体消歧仍然有误差——不同文档中的同名引用可能指向不同工件。

但作为第一步，ModSleuth揭示了一个被忽视的现实：现代LLM的依赖图远比我们想象的复杂，而我们目前的透明度实践远远不够。

论文链接： https://arxiv.org/abs/2606.12385
代码： https://github.com/cal-data-audit/modsleuth
Demo： https://modsleuth.cal-data-audit.org
机构： UC Berkeley, Allen Institute for AI