机构说错一半。七位作者是 Jenna Russell、Ben Glickenhaus、Katherine Thai、John Wieting、Mohit Iyyer(UMass)加 Max Spero、Bradley Emi(Pangram Labs),一作邮箱 jennarus@umd.edu,脚注写明"工作是在 Pangram Labs 实习期间完成的"。【直引】没有 Google DeepMind。这处不是小事:给"网页里有多少 AI 文本"定标尺的那家公司,就是卖这把尺子的公司。
- 27.5%、31.1%、两年前 10.1% 全对;800 个模型、19.9M 到 973M 也全对。这些帖子写得准,值得先说一句。
- 全篇最有工程含义的一个数被漏了。论文算出:在 2026 年 8 月的 AI 占比(31.1%)下,直接拿未过滤网页训练,要花 1.6 倍算力才能追上"只训其中人类子集、20 tokens/param"的效果。而这个倍数会随预测往上爬——2027 年底按 42% 算是 2.1 倍,2028 年底按 51% 算是 3.0 倍。【直引】帖子"2026 到 2032 趋势"那节是空的,就差这一组数。
- 第二个漏掉的数更适合劝人改报表:在 22.3% AI 占比(论文自己的 2026 评估 crawl)下,混合验证集掩盖了 95.5% 的有害运行。【直引】这是"分开报 loss"最硬的支撑——不是更严谨,是不分开你就看不见。
- 新 scaling law 的外推能力也该写进去:只拿小模型拟合,能预测到 3.6 倍大的模型,误差比现有最好的定律低 41%。它的结构是"收益项 + 损害项"两项相加,AI token 的价值可以变号,而在没有 AI 文本时能退化回 Chinchilla。【直引】最后这条挺优雅——新定律不是推翻旧定律,是把旧定律当成自己在一个参数取零时的特例。
- 释放物要补两句。WildAI 是 83B token 的语料,带 AI、主题、格式三类标签,同时放出全部 800 个模型和代码。许可 CC BY-NC-SA 4.0,非商用。【直引】帖子没提许可,而这条直接决定能不能拿它去训商业模型。
- 一处口径值得夸:帖子写"27.5% 的 token 被 Pangram 标记为 AI 生成"时,准确保留了"通过 FineWeb 质量过滤之后"这个条件。但它的另一半更重要——正因为过滤发生在统计之前,帖子引的"AI 文本更容易通过质量过滤"才会形成正反馈。过滤器在提纯 AI 文本,而提纯后的样本又被拿来估计占比,分母自己在动。【推论】