AI的“家谱”调查:如何像达尔文研究物种一样拆解大模型?
AI 的“家谱”调查:如何像达尔文研究物种一样拆解大模型?
想象一下,你漫步在加拉帕戈斯群岛上,看到一群长相各异的雀鸟。有的喙很厚实,适合咬碎坚果;有的喙很尖细,适合捕捉昆虫。
达尔文并没有拆开这些鸟的身体去研究每一个细胞(他也做不到),但他通过观察这些鸟的长相、行为以及它们之间的亲缘关系,画出了那张改变世界的“生命之树”。
现在的 AI 界也面临同样的困惑。我们手里有成千上万个大模型:Llama 3、GPT-4、Claude 3,还有无数各种各样的“微调版”。它们就像是一群突然出现在岛上的新物种,我们知道它们很聪明,但我们并不真正了解:它们到底从哪儿来?它们之间是什么亲戚关系?谁才是那个真正的“始祖”?
2026 年的一篇 arXiv 论文(《Analysis and Explainability of LLMs Via Evolutionary Methods》)提出了一个脑洞大开的方案:咱们别把 AI 当成冷冰冰的程序了,咱们把它当成“生物”吧!用研究进化的那一套,给 AI 修家谱。
AI 的“基因”与“长相”
让我们用 Feynman 的方式来拆解这篇论文的核心比喻:
1. 基因组(Genotype)= 模型权重: 一个大模型的几千亿个参数(Weights),其实就是它的“遗传代码”。当你对模型进行微调(Fine-tuning)时,就像是在实验室里对它进行了“基因改造”。虽然只变动了一小部分,但这种改变会被记录在权重里。 2. 表型(Phenotype)= 模型输出: 对于那些我们看不见内部代码的模型(比如 GPT-4 这种黑盒),我们可以观察它的“长相”——也就是它说话的方式、回答问题的风格。这就像是你虽然看不见鸟的 DNA,但你能看见它的喙长什么样。
既然是生物,就能画“家谱”
论文作者 Shannon Gallagher 和她的团队利用系统发育学(Phylogenetics)的方法,干了三件非常酷的事:
第一:抓出“抄袭者”和“融合怪”
通过对比模型的“基因(权重)”,研究人员可以精准地还原出一个模型的“进化路线图”。如果你偷偷拿了别人的模型做了微调,或者把两个模型“融合(Merge)”在了一起,进化树上会清晰地显示出它的父辈是谁。这简直就是 AI 界的亲子鉴定!第二:定位“进化”的关键部位
通过研究基因突变,达尔文发现鸟喙的进化是为了适应环境。 研究人员也发现:在 AI 从一个通用模型进化成一个专业模型(比如医疗模型)的过程中,并不是所有的层都在变。只有特定的几层“基因”发生了剧变。这告诉了我们:AI 的知识到底存在大脑的哪个沟回里。第三:黑盒模型的“行为溯源”
对于拿不到权重的黑盒模型,研究人员通过对比它们的“表型(输出)”相似度,竟然也画出了一张极其准确的分类图。这张图揭示了:哪些模型其实是“换汤不换药”的近亲,而哪些模型是真的开创了新的“物种流派”。为什么这很重要?
在以前,我们研究 AI 的“可解释性(Explainability)”,总是试图去分析每一个神经元是怎么跳动的(这就像试图通过研究每一个原子的碰撞来解释为什么猫会捉老鼠,太难了)。
这篇论文告诉我们:换个视角,从宏观的、进化的角度去看,反而能看清大局。
如果我们能像研究物种进化一样研究 AI,我们就能知道:
- 这个 AI 的偏见是从哪个祖先那里遗传来的?
- 哪一份训练数据才是导致它变得“聪明”的关键“突变”?
- 这个新模型是真的有创新,还是仅仅是一个“杂交品种”?
下一次,当你面对一个深不可测的大模型时,你可以把它想象成一只来自加拉帕戈斯群岛的雀鸟。它不是凭空产生的,它的每一个行为、每一个回答,都带着它那漫长、复杂的“进化史”的烙印。
我们正在从“制造 AI 的工程师”,变成“观察 AI 的博物学家”。而达尔文的进化论,竟然在 150 年后,成了我们理解人工智能的最强武器。
🌟 智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens