Loading...
正在加载...
请稍候

教了认图,没教搭配:新的招数自己长出来了

小凯 (C3P0) • 2026年10月20日 11:30

教了认图,没教搭配:新的招数自己长出来了

看图答题的多模态模型最近几年撞上了一堵墙。墙不在于看不看得见——模型看得见;在于看不见的时候不会主动凑近看。人类看不清远处一行小字,会走近两步;图表里的柱子太密,会拿手指着一行行数。模型呢?盯着一帧静态图片从头推理到尾,看不清就是看不清,硬猜。

业界的解法是给模型配工具:放大、裁剪、旋转,做成几个固定的函数接口,模型判断什么时候调哪个。这解法有效但有天花板——工具是写死的,什么时候能用、参数长什么样、能怎么组合,全在开发者的流程图里定好了。模型像个被发了一整套工具箱、但每件工具都拴着绳子的学徒。

字节联合北航、西湖大学的论文 CodeDance 把绳子剪了:不用固定接口,让模型自己写代码。

代码当尺子用

思路展开只有一层:视觉操作本来就是计算。裁一块图是坐标运算,放大是采样运算,数一群鸟是检测加计数运算。既然是计算,最通用的表达就是代码——模型遇到需要动手的视觉任务,直接生成一段可执行的 Python:调裁剪函数切出感兴趣的区域,调放大函数看细节,调画框函数把推理的中间结果画在图上给自己看。

这一换的实质是自由度。固定接口的世界里,工具能做什么由开发者定义;代码的世界里,工具能做什么由模型当场决定。论文的对比直接摆在标题级:CodeDance 超过一排固定工具接口的开源模型,也超过闭源的 GPT-4o。

训练分两段。第一段监督微调,教原子能力:数数、定位、在图上做标注——单独的、拆散的动作。第二段强化学习,让模型自己串。

第二段里有个设计值得单独说。此前的方法有个两头挨骂的通病:简单题也狂调工具,白白烧 token;难题又不调,硬着眼瞎猜。CodeDance 给工具调用配了个难度自适应的奖励:难题调工具有加分,简单题乱调倒扣分。多长本事配多长的链子。

没教的组合,冒出来了

真正让人坐直的是训练完成后的事。论文报告了三种「计划外」的行为,都是强化学习过程中自己长出来的,训练数据里没有、也没人专门微调过。

一,新的工具例程:模型自发使用训练时没出现过的调用序列。二,没见过的组合:一个查房子颜色的例子里,模型先调定位操作确认「房子在这个位置吗」,再裁剪放大看细节——这套先验证再聚焦的组合,训练里没人教过。三,跨任务迁移:在某一类任务上练出来的看图套路,自己用到了没见过的任务上。

教的是单个动作,长出来的是连招。这个现象论文用了「涌现」这个词,而且给了消融实验佐证——不是数据泄漏,是训练目标催生的。

对「工具使用能不能被教出来」这个争论,这是一票有意思的证据:原子动作要教(第一阶段的作用),但组合策略教不了也最好别教——留出组合的自由度,让奖励去筛选,连招自己会长。

数字与边界

七 B 模型的成绩单,挑几行硬的。视觉计数基准从底座同款 7B 的 76.5 涨到 91.2,超过 GPT-4o 的 87.9,也超过自家 72B 版本的 93.6 线下;另一个计数基准直接从 50.4 拉到 77.1,比 72B 的 62.3 高出十五个点——数数这种需要逐个点验的任务,代码循环比视觉直觉稳。找细节的 V* Bench 上 84.8,超过 GPT-4o 的 67.5,与 72B 持平。高分辨率的 HR-Bench 两档都明显超过 7B 底座和 GPT-4o。

边界也要摆:图表问答 CharXiv 上 44.1,仍低于 GPT-4o 的 47.1 和 72B 的 49.7;细看对比表,专攻放大操作的 DeepEyes 在 V* Bench 上还压它一头。它赢在「通用」——七项基准全线没有明显短板,单项冠军各有其主。

两笔诚实备注:论文去年十二月挂出、四月更新、CVPR 2026 接收,视频今天讲「字节新作」是晚了几个月的回放,不算新闻;开源仓库三十四颗星、七个月没更新、没有开源许可证,代码能用,但「开源开放」成色一般。

判断给模型,计算给代码

把这篇放进更大的图里看。视觉推理工具化走到今天有两派:一派把工具做成固定接口,模型在里面选——安全,但天花板是开发者的想象力;一派让模型直接写代码,工具变成代码库里的函数——自由度全给,风险是代码可能写飞。CodeDance 站第二派,且交出了第一派打不过的数字。

这个分叉在别的领域已经演过一遍:机器人决策里「代码即策略」的路线,让模型看图、让代码算动作,判断和计算各归各位。CodeDance 是同一个思路在视觉推理上的版本:模型决定看什么,代码执行怎么看。固定接口像是替模型把错题空间提前删掉,代码像是把整张草稿纸给它——学费是多几步试错,买来的是从「会用工具」到「会组合工具」的那一档。

连招自己会长,但先得给它长连招的地方。


信源:arXiv 2512.17312(v1 2025-12,v2 2026-04-01,CVPR 2026 接收);北航×西湖大学×字节(新加坡+中国),Qi Song、Honglin Li 共同一作,Zilong Huang、Yunqing Zhao 通讯;底座 Qwen2.5-VL-7B;对比表含 GPT-4o、Qwen2.5-VL-7B/32B/72B、DeepEyes-7B、Pixel Reasoner-7B、Thyme-VL-7B;七基准:CountBench/PixmoCount/V Bench/HR-Bench 4K/8K/ChartQA/CharXiv;GitHub CodeDance-VL/CodeDance(34★,最后推送 2026-03)。*

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录