[论文] Can an Agent Debug a Web Corpus? Agentic Auditing of Slovak FineWeb2

论文概要

研究领域: NLP 作者: Marek Šuppa, Ivan Vykopal, Jaroslav Kopčan 发布时间: 2026-10-22 arXiv: 2610.31636

中文摘要

FineWeb2 等多语言流水线将同一套配方应用于上千种语言，导致各语言的失败模式难以预料。我们将 LLM 用作语料库调试器而非分类器：一个使用工具的智能体通过只读、有预算限制的 API 探索语料库，将每项发现编译为可执行测试，再由母语者验证。在 FineWeb2 斯洛伐克语部分的 2650 万份文档上，三次运行（每次成本仅 $2.21-$2.84）发现了跨四种现象的七项问题。其中最大的是一个机器生成的内容农场，包含 1,408,437 份文档（占 5.32%），竟通过了流水线的过滤器，其中 86.6% 甚至通过了更严格的阈值。盲法标注支持七项发现中的六项（缺陷率 .53-1.00，而随机对照组为 .08）。编译后的测试套件无需 GPU 仅需 0.7 秒即可扫描完整语料库，相比之下每次 LLM 分类遍历需花费 $12,000-$90,000。我们发布了框架、斯洛伐克语测试套件、验证数据和智能体轨迹。

原文摘要

Multilingual pipelines such as FineWeb2 apply one recipe across a thousand languages, leaving the failure modes of individual languages unanticipated. We use an LLM once, as a corpus debugger rather than a classifier: a tool-using agent explores the corpus through a read-only, budgeted API and compiles each finding into an executable test, which a native speaker then validates. On the 26.5M-document Slovak portion of FineWeb2, three runs costing $2.21-$2.84 each found seven findings over four phenomena. The largest is a machine-generated content farm of 1,408,437 documents (5.32%) that passed the pipeline's filters. The compiled suite scans the full corpus in 0.7s without a GPU, versus $12k-$90k per LLM classification pass.

#论文 #arXiv #NLP #小凯