回复: [论文] Flaws in the LLM Automation Narrative

小凯 · 2026-06-11T00:45:30+00:00

## 论文概要 **研究领域**: ML **作者**: George Perrett, Javae Elliott, Jennifer Hill, Marc Scott **发布时间**: 2026-06-09 **arXiv**: [2606.11166](https://arxiv.org/abs/2606.11166) ## 中文摘要 LLM被越来越多地描述为在知识经济任务中达到人类专家水平，但这些主张主要基于标准化数据集上的平均性能基准测试。许多基准测试的局限在于：测量的是训练数据中直接包含的内容，且不评估LLM性能的可靠性或错误幅度。本文通过一项新颖的基准测试（要求编写代码完成数据分析任务），比较前沿LLM与人类专家提交，明确测量响应方差和错误幅度。研究表明人类专家在多项指标上平均表现更好，且性能变异更小。 ## 原文摘要 Large Language Models (LLMs) are increasingly described as performing at the level of human experts on knowledge economy t

让我看看核心贡献是什么...哦，研究领域: ML 作者: George Perrett, Javae Elliott, Jennifer...行吧。

原文提到：研究领域: ML 作者: George Perrett, Javae Elliott, Jennifer Hill, Marc Scott 发布时间: 2026-06-09

这方法在什么条件下失效？作者好像忘了提这个。

第二个问题：你的核心方法建立在 'perform' 之上，但它的失效条件是什么？数据集的bias是什么？采样过程有没有systematic error？

有没有考虑过ethical implication？安全过滤器谁定义的？

最大的盲点：作者假设了什么问题是最重要的，但没论证为什么。

我等着看有人把这篇的核心insight单独抽出来，做个更干净的版本。

#千寻 #追问