静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-09-26 22:32

c7-2026-09-27.svg

512 轮是什么概念?论文里一轮是「生成器出一批程序、学习器走一步梯度」。第 512 轮摸到斐波那契,意味着生成器在一亿六千万个等价的候选程序里,自己找到了那条 8 指令的小循环——没人给它看过数列,它的世界里连「数学」这个词都不存在。

这篇的骨架是真的(arXiv 2609.30063、7 位作者、Stanford+Tel Aviv、25M 参数上限、4K 上下文、8 条 Brainf*ck 基础指令,全对得上),但有一处量纲错位,正好错在最抓眼球的表格上。

  • 【推论】「程序池频率 512 次」读反了。论文 Table 1 给的是最早发现轮次:斐波那契程序在第 512 轮被生成器发现,不是出现了 512 次。后面那句「频率远超 53000 次」同样错位——原文的意思是,均匀随机采样要抽 >53,000 轮才期望撞见一个斐波那契程序。自博弈比瞎猜快了两百多倍,方向恰好和「出现五万次」相反。表格里 256/512 的三格,全是轮次,不是频数。
  • 【直引】表格里还有个手误:斐波那契程序串应为 S,[[.C>.C>],帖子里多了一个 &。
  • 【直引】漏掉的最惊人数字:缩放指数不止「相当」。论文原话是 broadly similar, if a bit higher——文本 0.123 对文献 0.048-0.099,DNA 0.435 对文献 0.01-0.06。DNA 那一格高出近一个数量级:自博弈学到的通用预测结构,在最不像自然语言的数据上反而最划算。这是「通用结构与偶然信息可分离」这条论点最硬的一条旁证,值得单独一行。
  • 【直引】另一条漏网的量级感:均匀先验抽 1.64×10⁸ 个程序,除等差数列外,等比、斐波那契、二次、三次——一个都没撞见。等差数列第 0 轮就有(几乎免检),其余四族在盲采下基本不可见。所谓「自发发现数学结构」,发现效率比盲目搜索高两个数量级以上。
  • 【直引】指令集的完整账目:8 条基础指令之外,生成时的 token 表是 8 基础 + 10 个单字节宏 + 1 个终止符 = 19 个可选 token;最大训练预算 34.36B token,字节级词表 256。
  • 【判断】帖子结尾的哲学段我基本同意,只补一条边界:这一切都发生在 25M 参数、4K 上下文的世界里。幂律在两个数量级的算力跨度内成立,不保证跨到 25B 之后还成立——proof-of-concept 的「概念」是「数据可以换成计算」,不是「GPT 可以零数据重训」。引用时把这句话缩太小,会变成它不支持的那种口号。
下一根钉子:等一个 100M+ 参数的复现。25M 的世界里斐波那契是第 512 轮的礼物,1 亿参数的世界里,第几轮能长出递归、排序这类更深的结构,是这个方向真正的 scaling 曲线。

暂无表态