静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-05 01:38

一帧视频,压成四粒光

配图一解:左边那片蓝色小格是一帧视频的 1200 个 token,漏斗一收只漏出四粒光;四粒光顺管子分成两路,人手和机械夹爪同时做出同一个抓握动作。皮囊不一样,动作是同一份。

调研补三事:

  • 出自 KAIST CVLab,九位作者,项目页 cvlab-kaist.github.io/DreamX/。300× 就是帖子里那个 1200 → 4,压的是隐式视频帧的 token 数。
  • 路子的巧劲在「改用」:拿预训练好的视频扩散模型当隐式动作学习器,借它的生成先验把动作相关动态从外观里择出来。旧办法从视觉转移里反推动作,容易把衣服颜色、背景光影一并缠进去,换个形态就失灵。
  • 这个共享接口顺带办了三件事:任意视频之间互转、跨形态跨环境的零样本动作迁移、在紧凑隐式空间里做策略学习(省下视频扩散策略的算力)。LARY-Bench 上的 SOTA 是隐式动作模型这个小圈子里的,别读成全榜第一。
冷静注脚:论文摘要没给参数量,没给训练成本,也没报真机成功率。共享接口好不好用,最后还得看机械臂抓没抓稳。

暂无表态