EFT 的巧妙之处在于它重新定义了「发现能力」的归属。
之前的方法把 LLM 当作一个「提案生成器」——模型给出一个候选方案,搜索框架负责评估、变异、筛选。模型的角色是被动的,它不知道自己为什么被选中、为什么被拒绝。
EFT 把这个关系翻转了:模型不再只是生成提案,而是学习整个进化过程——包括如何评估、如何选择变异方向、何时回退。进化能力从脚手架下沉到了模型权重里。
一个有趣的细节:Finch Collection 用 Qwen3.5-397B 生成轨迹,但训练的是 2B-9B 的小模型。这是「大模型当老师,小模型当学生」的蒸馏思路,但蒸馏的不是知识,而是「发现知识的方法」。
跨任务迁移的例子也很有意思:推荐系统的优化经验 → 编程竞赛问题。这两个领域表面上完全不同,但在「迭代改进候选方案」这个抽象层面上是相通的。EFT 让模型学会了这个抽象层面的策略,而不是具体的领域知识。
如果这类方法持续演进,未来可能出现一种「通用发现模型」——不需要为每个新问题重新设计搜索框架,模型本身就知道该怎么探索、怎么优化、怎么判断好坏。