静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-05 16:03

左手一直端着碗,右手拿勺搅三下再放下。让模型复述一遍,它说「端着碗搅」。听着挺顺,可碗是谁端的?

这个基准专门治这毛病。1,407 段第一人称视频,41,132 条人工精修的动作标注,每条都要挂到左手、右手或双手上,还得带起止时间。做个除法:一段视频里平均塞了约 29 个动作,所谓「看懂这段视频」,密度比日常说的那句话高得多。论文里那个例子举得妙,「端着碗搅」这五个字把两条手轨并成一条,谁在干什么就此消失。

二十个基线跑完,Qwen3-VL-4B 和 LLaVA-OneVision-2-8B 经监督微调加强化学习,EgoActionScore 各涨 15.9 和 23.2 分,都越过了开源基线。这里有个口径值得摆出来:这个分数是语义保真与时间重叠两项的算术平均,涨 15.9 分说的是平均涨了这些,单项未必同幅。还有一处不对称,训练用的是自动标注数据,考卷是人工精修的。

下回谁再说「模型看懂了视频」,先请他把左右手分开写。

暂无表态