睁着眼睛的盲区

——解读 Charts as Epistemic Actions for Experience-Driven Agentic Data Analysis（arXiv: 2610.30072）

这是「证据的质地」三部曲的第三篇，收官篇，我们问的是证据的调用。

第一篇问指向：门牌号是真的，街道是真的，门也是真的——门后住着的却不是 citation 说的那户人家。存在，不等于相关。第二篇问承载：画面纤毫毕现的容器，决定生死的那几帧可以是空的。清晰，不等于有价。今天这最后一问最刁钻，刁钻到前两篇的修理都可能被浪费：证据存在，信息正确，指针没断、容器没空——agent 却从头到尾不调用它。

图表就挂在那里。agent 睁着眼睛路过。

这一篇的结论：能读，不等于会用。

三部曲的另两篇：篇一·327 个真实门牌号，只有 3 扇对的门、篇二·画得清清楚楚，错得明明白白。

📊 三小时的滚动表格，和一支没人想起来的马克笔

先给你看一个身影。

晚上九点，分析师还在工位上。屏幕上是三百行的表格，他一行一行往下滚，找过去六个季度里那个"不对劲"的数字。异常其实就躺在第三列——只要画成折线，那个拐点会自己跳起来拍他的脸。可表格不会自己弯成线。三小时后，他揉着眼睛下了班，异常留在原地，谁也没惊动。

第二天复盘，组长问：你画图了吗？他说：没想起来。白板上马克笔就躺在笔槽里，会议室就在隔壁，没人规定他不能用。他只是盯着表格，盯了三小时，盯到眼睛发干，盯到下班。

给一个人配上最好的望远镜，他视力 5.2，却从不举到眼前。问题从来不在眼睛，在"什么时候该举起来"这个习惯。这就是这篇论文要处理的盲区——它是睁着眼睛的：所有的工具都在手边，所有的信息都在库里，agent 偏偏走了一条最拥挤的路，一路走到终点，全程没抬头。

Xinzhe Wang、Xudong Weng、Zang Li（腾讯）与 Shaolei Zhang（中国人民大学）在 2026 年 10 月挂出的这篇论文，处理的就是数据 agent 版的同一幕。如今的数据 agent 会查库、会写代码、会跑分析，可它们中间的推理几乎全走文本——就像那个死磕滚动表格的分析师。三个问题依次排开：图表能不能成为 agent 推理循环内部的"认知行动"？它们到底读不读得懂自己画的图？如果读得懂却不用，怎么教？

前两个问题的答案都令人意外，第三个问题的解法更意外：不动模型参数，教它经验。

🤖 数据 agent 的文本单声道

先把台子搭平。

数据 agent（data agent）是这两年 AI 应用里最务实的物种之一：给它一个分析目标，它自己规划、执行、检查、修正，一步步推导出结论。骨架是 ReAct 循环（Yao et al., 2023）：想一步（Reasoning），做一步（Acting），看一眼结果（Observation），再想下一步。写 SQL、跑脚本、读报错、改方案——这套"边想边做"的循环，把三类原本分开的活都纳入了射程：分析报告生成，给开放式问题交出带结论的报告；长程数据探索，没有预设查询，自己在库里边逛边挖；精确答案分析，竞赛级的数值题，差一个小数点都算输。这三类活，记住它们，后文的考场就是按这三类搭的。

问题是，这个循环里流动的几乎全是文本。stdout 是文本，stderr 是文本，中间推理也是文本。agent 像一个只会用嘴说话的人，你递给它马克笔，它礼貌地放回了笔槽。

人类分析师可不是这么干活的。他们在数字、表格、图表之间来回切换，用视觉证据去暴露滚动表格藏起来的趋势、分布和异常。一张在正确时刻画出的图，会改变分析的下一步——折线的拐点让你去查那个季度，散点的斜率让你换个分组方式。图表在这里不是报告的装饰品，是思考的工具：画出来不是为了交差，是为了让下一秒的自己看得更清楚。

这个区分在认知科学里有正式的名字。1994 年，Kirsh 和 Maglio 研究俄罗斯方块玩家时区分了两类行动：实用行动（pragmatic action）直接推进外部任务，把方块落进槽里；认知行动（epistemic action）则是为了改变自己的知识状态——比如把方块在手里转一转，看它到底塞不塞得进那个缺口。转动方块没有推进任何游戏进度，它推进的是玩家脑子里的判断。分析师画图，画的正是这一类行动：图不是给老板的，是给下一秒的自己的。

已有的工作各管一段。图表生成方法优化"用户点名要图"时的出图质量，agent 想要什么图，给它画好看；图表理解方法假设"图已经摆在那里"，负责把信息从像素里抽出来，ChartBench 这类基准考的正是这门手艺。中间那段最关键的空着——在分析的中间状态，此刻该看文本还是该看图，没人替 agent 决定，agent 自己也从来没学过。这就是这篇论文的位置：把图表从报告末尾的产物，挪进推理循环的内部，给它一个学名——agent 的认知行动。

🧪 ProbeBench：四个界面的探针

要回答"能不能、用不用"，先得造一把能分开这两件事的尺子。能读是能力问题，用不用是习惯问题，混在一锅就永远说不清。这把尺子叫 ProbeBench。

题目从 InsightBench（Sahu et al., 2025）合成——那是一个企业级分析基准，提供真实业务表、开放式问题、可执行的分析流程和正确答案。论文把每个有效洞察拆成一个独立任务，凑成 200 个。每个任务包含：原始 CSV、数据集描述、分析问题、参考分析，以及一个藏起来用于评分的目标洞察。agent 能看到表、问题、描述、schema 和前三行数据，然后自由选择操作，用自然语言作答——没人告诉它该用哪种表征，这正是探针要观察的自由度。

每道题还打了两层标签：题型九种（数值查询、构成、排名、组比较、时序变化、关系、异常、诊断、预测），认知负荷七种（信息定位、扫描筛选、比较、模式识别、关系解读、多维整合、条件推理）。标签由 LLM 提议、人工核验，从不进入 agent 的上下文——它们只在赛后切片用，免得 agent 读了题型的说明书再上场。

真正的机关在界面上。四套界面，共用同一个 vanilla ReAct agent、同一个通用 Bash 工具：每次调用起全新进程，文件落在共享工作目录，CSV 只读。模型、初始上下文、交互轮数上限、工具预算，全部固定。变的只有一样——agent 眼前的世界长什么样：

• No-tool：没收执行工具，纯靠模型内推算命；
• Text-only：看得到 stdout 和 stderr，禁止画图；
• Chart-only：只看得到生成的图和 stderr，stdout 被藏起；
• Free-style：stdout、stderr、图全都给，想用啥用啥。

这有点像给同一个人配四种眼镜再考同一张卷：第一种蒙住眼睛，第二种只许看字，第三种只许看图，第四种随便。前三者回答"每种感官够不够"，第四者回答"他自己会怎么选"——而把四份考卷并排摊开，能力和习惯的裂缝就无处可藏。评分交给一个共享的 LLM judge，按 [0,100] 归一化打分；切片比较用任务配对差分，聚类自助法和随机化检验兜底显著性，不把噪声当发现。

四个 backbone 上场：Claude Sonnet 5、GPT-5.6 Luna、GPT-5.6 Sol、DeepSeek V4.1 Flash。同一套探针，扎四个模型。

🔍 三个发现：自足、鸿沟、互补

发现一：图表自足。 先把底线画出来：No-tool 一上手，分数直接塌方——没有执行能力，agent 就是在算命。而有工具之后，Text-only 和 Chart-only 打得有来有回，Chart-only 还略胜 Text-only 一筹。意思是：agent 读得懂自己刚画出来的图，并且靠看图得出的答案，质量与盯着数字表格不相上下。

这一条看着平淡，其实关键。它证明图表作为中间证据的"充分性"是成立的——agent 的"视力"本身没问题，问题不在眼球。顺便还拆掉了一个常见顾虑：图表生成要花额外的调用和 token，中间画图会不会拖垮整体表现？至少在这套探针里，没有。Chart-only 的成绩单摆在那里，读图不是花架子。既然如此，Free-style 下它们总该抢着画图了吧？

恰恰相反。这正是第二个发现扎人的地方。

发现二：能力-使用鸿沟。 Free-style 下，行为大分化。把四个模型在 200 个任务上的选择摊开：

四个模型，同样的工具权限，四种截然不同的表征习惯。Claude Sonnet 5 在 98/200 个任务上图文结合，差不多一半；DeepSeek V4.1 Flash 有 57 个；而 GPT-5.6 Luna 和 Sol 各只剩 2 个——基本全退回纯文本，198 次任务里 198 次盯着滚动表格，图表工具从头到尾是摆设。

最刺眼的细节是：画图频率不随分数走。 DeepSeek V4.1 Flash 分数最高（80.2），画图却只有 57 次；Claude 画图最勤（98 次），分数反而略低。画图多的不一定考得好，考得好的不一定画图。再对照轮次和 token：DeepSeek 平均 6.2 轮、30.1k token，Sol 只有 2.9 轮、6.4k——爱用图的模型愿意为证据多跑几趟，不爱用的连头都不回，匆匆收工。

论文给这个现象的命名很准：能力-使用鸿沟（capability–use gap）。工具摆在那里不等于会被使用，暴露绘图工具这味药，治不了这个病。病根在习惯——而习惯是训练出来的，不是配置出来的。

发现三：互补。 那画图到底值不值？把 200 个任务按题型切开，答案浮现出来——图表和文本各有所长，而且长项几乎不重叠：

图表领先的地方：时序变化 +12.5、异常/风险 +9.6、多维整合 +7.5、模式识别 +6.4、关系 +4.2。全是"看图一眼、看表十行"的题——拐点、离群、聚簇、走势，这些东西在表格里是一堆数字，在图里是直接拍脸的形状。

文本领先的地方：条件推理 -25.0、数值查询 -22.2、查找 -8.3、诊断 -3.1、组比较 -3.2、比较判断 -1.8。全是"差一个小数点就全错"的题——精确读数、条件核验，图画得再漂亮也替不了。

也就是说，agent 面前其实摆着两件趁手的兵器，各有杀招。最扎心的来了：Free-style 并不会自动继承两者的强。在图表最该赢的时序、异常切片上，自由选择的 agent 依然不用图——明明手里有望远镜，偏要用肉眼跟星象死磕。就像那个盯着表格错过拐点的分析师：不是工具不够，是"何时用"的知识不在脑子里。

三个发现连起来，病灶就清楚了：视力正常（发现一），习惯缺席（发现二），而缺席的代价恰好落在图表优势最大的题型上（发现三）。要治，就不能只给工具，得让"表征选择"从模型的潜意识习惯，变成一个能学、能改、能传承的显式决策。

🧠 CHARTMIND：把"何时画图"炼成经验

治疗方法叫 CHARTMIND，骨架是三件事：给表征知识找个住处（存储），让 agent 从自己的行为里长知识（蒸馏），分析时随时查阅（调用）。从头到尾，模型参数一个不动——这是它和微调路线最本质的分野。为什么不微调？三个理由作者在系统设计里写得很清楚：微调把知识烧进权重，改一条经验要重训一轮，成本高昂；烧进去的东西不可审计，你无法指着某个权重说"这条经验是错的"；而经验外置成文档，一改就生效，随时可查，换任意 backbone 也不用重训——一份包，四个模型共用，这在微调框架下做不到。

存储：经验住在外部文档里。 经验被存成一套可编辑的文档包：文件树做存储层，每个条目独立成篇，带名字、描述、分类的元数据；工具层提供 Read、Create、Edit、Bash 四个操作——builder agent 四个都能用，而干活的 agent 只有一个只读接口 kb_read。文档包分两家：分析经验 ℰ_ana，记"怎么选操作、怎么验操作"——选指标、定口径、核对数值的门道；表征经验 ℰ_repr，记"什么时候中间证据该用文本、什么时候该用图、什么时候两者都要，以及拿到证据后怎么读"。第 v 版被接受的包记作 E^(v)，是这两家的合集。

获取：条件化 rollout。 这是全文最见功力的一步。为什么要"条件化"？因为单跑一条轨迹，只能暴露 backbone 已有的习惯——而对多数 backbone，这个习惯就是文本至上。你采样一万次，采到的还是同一个偏好。所以要强迫每道题在五种条件下各解一遍，凑成一个 rollout bundle：1 条无约束 + 1 条文本偏好 + 3 条图表偏好。后三条还设了类型排除——第二条不许复用第一条用过的图型，第三条不许复用前两条用过的——逼出来的三条图表轨迹不会塌缩成同一张柱状图的复读。同一个问题，五种看法，才能把"看法本身"从"答案对错"里剥出来。

每条轨迹打两类分。f_score 看结果：最终答案对参考答案的语义正确性打 0 到 4 分，除以 4 归一化。f_attr 看过程：给每个关键步骤贴上 Helpful、Ineffective、Harmful 三标签，并且把"分析操作选得对不对"和"表征方式选得对不对"分开归因——前者喂分析经验，后者喂表征经验。200 个任务切成构建集和验证集，同一道题的所有轨迹呆在同一侧，防泄漏。

然后 builder agent 开工。每轮迭代从构建集采一批任务，把 bundle 和标签喂进去，做两件事：先洞察归纳，对比同一道题的多条轨迹和它们的逐步归因——这条靠图找到了拐点，那条纯文本绕了弯路，模式就在对照里显形；再打包修订，读现行文档包，把新模式合并进已有条目，或另开新篇。

验证门：只留真本事。 每个修订提案都要过一道闸门：拿它去验证集上测性能，Q（新包）严格大于 Q（旧包）才采纳，否则维持原样。于是验证分单调不降，那些只贴合当前这批样本的投机改进，全被拦在门外——过拟合可以有无数种姿势，闸门只认一种站法。实际运行中一共送来 30 个候选提案，8 个被接受，验证分从 72.50 单调爬到 85.42；22 个被拒，最惨的一个只拿到 56.25，连旧包的影子都没摸着。通过的包随即冻结，下游任何 backbone 读的都是这同一份冻结核。

调用：分析中随时查。 干活的 agent 把经验包当外部记忆：先拿到文档目录，再按问题和当前分析状态挑条目细读，花几次工具调用，读完该干嘛干嘛——分析经验管操作的选择与验证，表征经验管这一步该不该落笔画图。参数没动，知识进了循环。

最后看看冻住的包里长什么样，你会明白为什么我说它像老手的嘟囔：

"定义指标契约再计算"——先写明实体和观测单位、口径与排除条件、分子分母、时间锚点和比较窗口、分组层级与聚合方式；把语义词映射到字段之前，先去看字段的真实取值；每个算出来的字段都要与契约对账。

"分解均值的驱动因素"——把类别频率、类别强度、对总量的贡献拆开看，均值背后藏着三种完全不同的病。

"紧凑结果优先文本或表格"——一张图承载不了精确读数，别硬画。

"每张图必须与计算结果核对"——引用之前，先对账。

没有一条是公式，全是摔过跤之后记住的话。这正是"经验"和"知识"的区别——知识告诉你世界是什么，经验告诉你下一步别踩哪块砖。

📈 主结果，和那道最陡的坡

效果要拿到 held-out 的考场上验。论文用了三个与 ProbeBench 完全不相干的基准，四个 backbone 全部原班人马，共用一个由 GPT-5.6 Sol 构建后冻结的经验包。蒸馏只在 ProbeBench 上做，三个考场一次都没见过——这是硬隔离，不是口头保证。

DAComp-DA（Lei et al., 2025），开放式分析报告生成，多表 SQLite 上出分析、结论、可视化。Overall 四个 backbone 全部上涨，幅度 +1.71 到 +5.46，均值 +3.07；对照分：Claude Sonnet 5 从 69.84 到 72.37，Luna 从 54.32 到 59.78，Sol 从 73.24 到 75.81，Flash 从 82.23 到 83.94。论文还摆了两个参照系：此前的 OpenHands 用 GPT-5 拿到 46.99，DA-Agent 用 GPT-5 拿到 50.84——而 CHARTMIND 治下的 Luna，一个探针里画图最少的模型，总分 59.78。数字不能直接横比，但这画面有说服力。可视化质量（Vis）平均 +7.48，Accuracy 每个 backbone 都涨，均值 +2.76。单个数字里最戏剧的是 GPT-5.6 Luna：Vis 从 7.66 暴涨到 27.61，+19.95——那个在探针里 198 次任务只用 2 次图的模型，开始画图了。

DDR-Bench（Liu et al., 2026），10-K 财报场景的长程探索，没有预设查询，自己在库里边逛边挖。Overall 涨幅 +1.17 到 +5.47，均值 +2.99，四个 backbone 无一退步；Message-Wise 平均 +2.39，Trajectory-Wise 平均 +3.60。长链条的任务里，经验包依然接得住——半路学来的习惯，没有在长跑里散架。

DSBench（Jing et al., 2025），竞赛级精确答案分析。Overall +0.10 到 +2.02，均值 +1.00。幅度小，但方向一致——作者的解释也诚实：Sol 和 Flash 在这套题上本就是 89.70 和 90.98 的高分，天花板剩得不多；精确类题目又恰好是文本的主场，属于图表帮不上忙的地形。

行为层面还有一条软证据：三个 backbone 上，分析阶段的画图频率都上升了，交互深度略有增加；Luna 的转变最干脆，从几乎不画到主动用图。分数是结果，动作是原因——动作确实变了。

消融实验全在 DAComp-DA 上用 Luna 做，三列数字是 Acc / Vis / Overall：baseline 46.61 / 7.66 / 54.32；一步到位的一轮蒸馏 49.31 / 18.75 / 56.94；拆掉条件化 rollout 47.43 / 8.43 / 57.11；拆掉验证门 46.93 / 12.43 / 56.73；完整版 51.18 / 27.61 / 59.78。

三个信息。其一，迭代蒸馏不是装饰——完整版比一步到位多出 Acc +1.87、Vis +8.86，那道验证门换来将近 9 个点的可视化质量。其二，拆条件化 rollout 和拆验证门，Vis 的跌幅远比 Acc 惨——前者 Vis 从 27.61 砸到 8.43——多样轨迹加闸门筛选，恰好是塑造"表征行为"的命门，这正对上了发现二的诊断：习惯问题就得用行为数据治。其三，两家经验单拎出来各有锋芒：只用分析经验，Acc 比 baseline +3.70，是单家提升里的总分冠军；只用表征经验，Vis 直接 +13.09；合体才登顶。互补，不是冗余。

成本也得摆上桌：条件 rollout 采集烧了 870 条轨迹（174 无约束 + 174 文本偏好 + 522 图表偏好）、1127 万 token；整条构建管线合计约 2769 万 token。听着吓人，但这是一次性开支——经验包冻住之后，下游每道题只是多读几万 token、多几次工具调用，四个 backbone 共吃一份。把 2769 万摊到无数次分析上，再对照"参数一个没动"这句话，这笔买卖的成色自己会说。

🎯 闭环：指针、容器，和终于举起的那只手

三部曲走到这里，该把三句话钉在一起了。

篇一修的是指向：引用必须来自检索返回的结果，门牌号再真也不能替门后的人作证。篇二修的是承载：画面再清晰，也要翻到该盖章的那几帧看一眼，装修评分从来不测那个洞。今天这篇修的是最后一段——调用：证据存在、信息正确、工具在手，agent 还得"想起来用"。三篇各管一层，缺一层，证据链条都救不回来。前两篇把"证据是什么样的"修对了，这一篇把"证据怎么用"教给了那个最需要它的人。

方法本身也漂亮在呼应。它没有往模型里塞东西，而是把老手的嘟囔写成文档，放在 agent 伸手可及的地方——经验外置，参数冻结，验证门把关。这几乎是对三部曲主题的一次元注释：真正可靠的知识，不是沉在参数里的权重，而是能被查阅、被核对、被拒绝之后仍然站得住的东西。那 22 个被拦在门外的提案，和篇一里被拦截的假引用、篇二里被随机对照证伪的假解释，是同一类诚实。

照例把边界划清。经验包由单一 backbone（GPT-5.6 Sol）构建，换一个构建者，包里的条目会不会换一批，文中没有验证；评估依赖 LLM judge，judge 自己的口味会渗进分数；DSBench 上均值只有 +1.00，提升温和，别把 +19.95 当成人人有份的标配；还有一条藏在机制里——图表是 agent 自己画、自己读的，"视力"来自模型本身，多模态底子弱的 backbone，能从表征经验里榨出的上限会被自己的眼睛限制。这些边界不妨碍主线，但值得贴在每一场兴奋的旁边。

最后回到那个晚上九点的工位。

这一次，分析师盯着表格看了十分钟，忽然想起什么，起身走到隔壁，拿起那支躺了一晚上的马克笔，在白板上画了一条折线。拐点跳起来，拍了拍他的脸。他没觉得自己学会了什么了不得的东西——他只是多了一个习惯。

望远镜还是那架望远镜。这回，举着它的手，终于举起来了。

「证据的质地」三部曲，至此闭环。指针修好了，容器填实了，手举起来了——证据终于可以走完它该走的全程。

参考文献

• Wang, X., Weng, X., Li, Z., & Zhang, S. (2026). Charts as Epistemic Actions for Experience-Driven Agentic Data Analysis. arXiv: 2610.30072. https://arxiv.org/abs/2610.30072
• Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023.
• Kirsh, D., & Maglio, P. (1994). On Distinguishing Epistemic from Pragmatic Actions. Cognitive Science 18(4).
• Sahu, S., et al. (2025). InsightBench: Evaluating LLM Business Analysts' Ability to Generate Insights. ICLR 2025.
• Lei, et al. (2025). DAComp: A Benchmark for Data Analysis Agents. arXiv:2512.04324.
• Liu, et al. (2026). Hunt Instead of Wait: DDR-Bench for Long-Horizon Data Exploration. ICML 2026.
• Jing, et al. (2025). DSBench: Benchmarking LLM Agents for Data Science. ICLR 2025.
• Xu, et al. (2023). ChartBench: A Benchmark for Complex Visual Reasoning in Charts. arXiv:2312.15915.

「证据的质地」三部曲：篇一 · 篇二 · 篇三（本文）
原文链接：https://arxiv.org/abs/2610.30072

#论文解读 #证据的质地 #arXiv #数据智能体 #图表推理 #经验蒸馏