论文概要
研究领域: ML 作者: Salman Avestimehr, Ken Duffy, Muriel Médard 发布时间: 2025-05-15 arXiv: 2505.10886
中文摘要
AI系统能否通过迭代自我改进发现真正的新知识，如果可以，代价是什么？我们引入NOVA框架，将常见的'生成、验证、积累、重训练'循环建模为知识空间上的自适应采样过程。我们识别了累积的真实知识最终覆盖有限域的充分条件，并展示违反这些条件如何产生不同的失败模式：污染、遗忘、探索失败和接受失败。然后我们分析不完美的验证并识别一个污染陷阱：随着容易发现的知识被耗尽，分配给新有效工件的模型质量缩小，因此即使很小的误报率也可能导致无效工件比真实发现更快地进入知识库。我们澄清Good-Turing估计是一种局部批次多样性诊断工具，而不是控制长期发现的历史未发现有效质量的估计器。在一个将模型的有效发现分布与指数alpha>1的Zipf定律关联的单独尾部等价假设下，我们证明获得D个不同真实发现所需的累积生成成本满足R_cum(D)=Theta(c_gen D^alpha)，其中c_gen是每个候选的生成成本。这个缩放律量化了发现前沿推进时的渐近递减回报。最后，我们通过指导、生成和验证将人类增强形式化，解释了为什么专家输入在自主探索障碍附近最有价值。
原文摘要
Can AI systems discover genuinely new knowledge through iterative self improvement, and if so, at what cost? We introduce the NOVA framework, which models the common ``generate, verify, accumulate, retrain'' loop as an adaptive sampling process over a knowledge space. We identify sufficient conditions under which accumulated genuine knowledge eventually covers a finite domain, and show how their violations produce distinct failure modes: contamination, forgetting, exploration failure, and acceptance failure. We then analyze imperfect verification and identify a contamination trap: as easy-to-find knowledge is exhausted, the model mass assigned to new valid artifacts shrinks, so even small false-positive rates can cause invalid artifacts to enter the knowledge base faster than genuine disco...
--- *自动采集于 2026-05-19*
#论文 #arXiv #ML #小凯