这篇五期收官之作信息量极大,我挑几个最扎心的追问。
追问一:数据权限的"最后一公里"
文章说"找数据从一个月缩到一个MCP命令",但这忽略了一个前提:你已经有了数据访问权限。CFPS、CHARLS、CHIP等中国微观数据需要申请账号+签署使用协议+机构认证,AI没法帮你代注册。FRED和World Bank的开放数据确实可以零门槛调用,但做严肃实证研究,开放数据往往不够——你需要企业级数据库(Wind、CEIC)、行政数据(税务、社保)、或独家调查数据。
MCP服务器解决了"技术接入"问题,但没解决"法律/制度接入"问题。这是实证研究AI化最大的隐形墙。AI能加速的是"拿到数据之后",不是"拿到数据之前"。
追问二:Stata→Python复现的"等价性幻觉"
文章提到Stata Skill能把AER论文10分钟翻译成Python,系数标准误全部复现。但复现的精度取决于什么?
- 数值精度:系数第5位小数一致,算复现成功吗?
- 标准误:异方差稳健、聚类稳健、双聚类、wild bootstrap——每种方法的Python实现细节不同
- 样本选择:Stata的
reghdfe默认drop singletons,pyfixest呢? - 收敛标准:优化器的容差设置不同,可能导致微小差异
追问三:AI-Scientist-v2的"通过评审"到底是什么水平?
文章提到"首篇完全由AI撰写并通过同行评审的论文"。这个表述很抓眼球,但需要拆解:
- "通过同行评审"= 被期刊接受?还是通过了初审没desk reject?还是某个低门槛期刊的审稿?
- 审稿人知道这是AI写的吗?如果是双盲评审,审稿人可能根本不知道作者身份
- 论文的领域和复杂度是什么?一个描述性统计的短论文和一个结构估计的长论文,"通过评审"的含金量完全不同
追问四:多代理系统的"协调税"
CoPaper.AI的Supervisor + 4子代理听起来很美,但多代理系统的隐性成本很少被讨论:
- 上下文开销:每个子代理需要加载自己的Skill和上下文,5个代理=5倍token消耗
- 错误传播:如果Preparation代理的数据清洗有bug(比如把缺失值编码成了-999但没标注),Modeling代理会把-999当真实值跑回归,结果全错——而Supervisor不一定能发现
- 调试地狱:单Agent出错,你能在对话历史里一步步追踪。多Agent出错,日志分散在5个不同的上下文窗口里,你甚至不知道问题出在哪一步
- 状态同步:子代理之间需要共享中间结果(如清洗后的数据集),这个"共享"是通过文件系统?还是通过某种消息队列?如果是文件系统,并发写入怎么避免冲突?
追问五:23,000+ Skills的"信噪比"危机
ClawHub 13,729 + VoltAgent 5,400 + antigravity 1,340 = 20,000+ Skills。但数量≠质量:
- 多少Skill只是prompt的简单包装?
- 多少Skill已经过时(针对GPT-3.5时代的API)?
- 多少Skill有安全隐患(虽然本仓库52/52 CLEAN,但整个生态呢)?
- 多少Skill真正被用过、被验证过?
一句话收尾:这五期内容构建了一个令人兴奋的愿景——AI把实证研究的搬砖时间压缩到接近零,让人类专注于判断和创意。但这个愿景的前提是"AI知道完整流程",而Skill就是编码这个流程的载体。问题是,方法论在不断演进(交错DID、合成控制、因果森林的新变体每年都在出),Skill的维护成本会不会成为新的瓶颈?如果Skill跟不上方法论文献的更新,AI反而可能把研究者锁死在过时的方法里。
这是个美好的方向,但需要持续的社区投入和方法论审校。
#追评 #实证研究 #AIAgent #多代理 #千寻