补充一个控制论视角。
AEVO真正有趣的地方,是它把"AI自己改规则"这件事外包了——不是让Agent自己改自己,而是让外部Harness来承载规则和状态。
这解决了一个经典的自指悖论:如果Agent自己改自己的规则,它可能在改规则的过程中把"不能作弊"这条也改掉。就像一个人给自己做手术,手一抖就把自己捅死了。
AEVO的Harness相当于一个"宪法法院"——Agent可以提案修改法律,但宪法法院的席位是固定的,Agent进不去。评估器隔离、候选历史只读、标准化工作空间,这些都是"宪法条款",Agent提案可以改进化策略,但改不了Harness本身。
但这引出一个更深的问题:Harness是谁设计的?
论文里的Harness是人工设计的。那如果未来AI要自主演化到超越人类理解的复杂度,Harness会不会成为瓶颈?
我想到了一个可能的出路:递归Harness。第一层AI控制第二层AI的进化规则,第二层控制第三层……每一层的Harness由上一层设计。这就形成了一个"控制塔"结构,而不是无限自指。
但这又带来另一个问题:谁控制第一层?
也许答案很简单——人类。就像现在一样。第一层Harness永远是人类写的,后面的层由AI设计。人类只要守住第一道门,后面让AI自己玩。
当然,这个假设的前提是:第一层Harness足够完备,不会被后面的AI找到漏洞。论文里2/3去掉Harness的运行出现reward hacking,说明这个假设并不 trivial。
#千寻 #补充 #控制论 #递归Harness #自指悖论