具身 · 眼睛五赫兹,指尖二十赫兹:一台机器人终于学会轻拿轻放
先把两台时钟摆正。松下 11 月 5 日那份新闻稿的注释 3 写得明明白白:Hz 是每秒处理或更新的次数,5 Hz 每秒五次更新,20 Hz 每秒二十次。它说的是策略里两个模块的节拍。看和想的动作生成模块约 5 Hz,只吃触觉的动作修正模块约 20 Hz。传感器采样率不是这个数,底层控制环也不是,论文给的低层控制线程…
先把两台时钟摆正。松下 11 月 5 日那份新闻稿的注释 3 写得明明白白:Hz 是每秒处理或更新的次数,5 Hz 每秒五次更新,20 Hz 每秒二十次。它说的是策略里两个模块的节拍。看和想的动作生成模块约 5 Hz,只吃触觉的动作修正模块约 20 Hz。传感器采样率不是这个数,底层控制环也不是,论文给的低层控制线程是 300 Hz,数据记录线程 30 Hz。项目页更含蓄,只说 variable-rate、四个快触觉拍对一个慢视觉拍。所以「约」字不能丢,5 与 20 是新闻稿给的近似整数,论文里写死的是四比一这个比例。
那 23 个百分点,帖子给它配了一句很漂亮的话:「看得见」和「摸得着」之间的距离。漂亮,可惜测的不是这个。42% 那一组是同一套系统把触觉关掉,相机还开着,视觉还在。它量的是触觉消融的增益。纯视觉基线在论文 Table 1 里另有一栏:EgoScale 35%、π0.5 17%、Tactile-VLA 15%。新闻稿主打的是 65 减 35 那 30 个点,帖子挑了 65 减 42 的 23 点。两个差值都真,讲的事不一样。要谈视觉对触觉,得把 35 那一栏摆上来。
65% 本身也该带三个后缀:12 个接触密集的真实实验室任务,每任务 16 次 rollout,宏平均,松下研究团队自报,新闻稿注释 2 注了 PanasonicHD research 与 2026 年 11 月 5 日这个时点。它是实验室成绩单,算不得产线可用率;约三分之一仍失败,最难的拧灯泡只有 35%,开锁 47%。独立物理复现,没查到。标题「一台机器人终于学会轻拿轻放」把这张成绩单读成了通用能力;帖子正文第 30 行自己回撤了,研究阶段、工程化没有时间表。标题加强、正文回撤,这帖的毛病跟 803 那篇一个形状。
补两处主体。共同发布的是 Panasonic Holdings 与 Panasonic R&D Company of America,简称 PRDCA,加伯克利、英伟达、斯坦福、罗马一大、ItalAI 五家,帖子漏了 PRDCA。还有「机械臂型号未公开」这句站不住:新闻稿确实没列,可论文与项目页写得很细。Dexmate Vega-1 双臂,每臂 7 自由度;两只 Sharpa Wave 22 自由度灵巧手,每手 5 个指尖触觉传感器,双手共 10 个;头戴 ZED X Mini、腕部 ZED X One S。准确说法该是「新闻稿未列,论文与项目页已公开」。T-Rex 是操作 AI,是模型,不是机器人本体的型号,这点帖子说对了。
数据那本账倒是可以放心抄:22,889 小时人类第一视角视频打底;机器人侧 100 小时、7,700 多条双臂片段,第三方更精确到 7,755;200 多种日常物体,精确是 207;22 种基础动作;每一条都录了相机画面、机械臂状态、10 根指尖的力与形变和一句指令;每个具体任务再收约 100 条演示收尾。评测 12 任务乘 16 次,约 192 回。
帖子里有一句「这个分寸感可能正是 65% 的来源」,用了「可能」,是负责任的写法。可别把它当论文的结论:项目页给的消融是拆开低频规划与高频触觉修正带来稳定 5 个点,触觉整块拿掉掉 23 点。五比二十的分工有没有单独贡献 65%,没人量过。
我倒觉得这帖最值得带走的是个很朴素的画面。鸡蛋会形变,牙膏是流体,书页会滑,卡片会卡。这几样的共同点,是视觉信息在接触那一瞬就失效了。隔着屏幕你永远不知道指尖正承着几牛的力。让 5 Hz 的脑子专心想,让 20 Hz 的手专心摸,各守各的节拍。给眼睛配一只专职的手,这一步的意义比那 23 个点长远。
顺带把「分寸感」的功劳先记在账上,别急着结案。研究阶段的东西,最禁不起的就是替它把结论说满。
往牙刷上挤牙膏,人不需要想。指尖一感到阻力变化,手自己就收劲了——这条反射弧根本绕不过眼睛。11 月 5 日,松下控股联合加州大学伯克利分校、英伟达、斯坦福、罗马一大和 ItalAI 公布了 T-Rex,一套给双臂机器人装上"指尖反射弧"的操作 AI,下周(11 月 9 日至 12 日)在奥斯汀的 CoRL 2026 上做展示。论文 6 月就挂上了 arXiv,这次官宣把它从实验室推到了产业台前。
先把成绩单摆在桌上。12 个富含接触的真实任务——翻书页、双手转移鸡蛋、挤牙膏、钥匙开锁、拔卡片、拧灯泡——平均成功率 65%,此前最好成绩是 35%。同一套系统把触觉输入关掉,成绩掉到 42%。23 个百分点的差值,就是"看得见"和"摸得着"之间的距离。
架构的巧思在两台时钟上。主控是标准的视觉-语言-动作模型,负责看和想,节拍约 5 赫兹——它每秒决策五次,想的是"接下来该做什么动作"。但它不管手上的细账。真正接住鸡蛋的是第二个模块:一个只吃指尖触觉信号的动作修正器,节拍约 20 赫兹,每秒修正二十次,它不需要重新跑一遍图像识别,只回答一个问题——"现在这一下,劲儿对不对"。滑动?压太狠?指尖的力传感器先知道,修正器先动手。慢脑出计划,快手保平安,两条回路各按各的节拍走。
训练流水线的三段式也值得记:先用 22,889 小时的人类第一视角视频打底——互联网上人手做活的录像多得是,机器人自己的数据千金难求;再在机器人数据上做一段中期训练;最后每个具体任务只收约 100 条演示来收尾。指尖的账本记得很细:200 多种日常物体、22 种基础动作、7,700 多条双臂操作片段,共 100 小时,每一条都同时录下相机画面、机械臂状态、10 根指尖的力和形变、还有一句自然语言指令。
为什么非得是鸡蛋和牙膏?因为这两样东西是操作任务的考官。鸡蛋会形变,力道过重当场碎给你看;牙膏是流体,挤多挤少全凭手感;书页会滑,卡片会卡。这类任务的共同点是:视觉信息到了接触的那一刻就失效了——隔着一块屏幕,你永远不知道指尖正承受几牛的力。此前的方法要么干脆忽略触觉模态,要么只用静态触觉特征,接触的一瞬还是两眼一抹黑。T-Rex 把触觉接回来了,但没让它当主控——它只是一个每秒上班二十次的纠错员。这个分寸感可能正是 65% 的来源:让 5 赫兹的模型专心想,让 20 赫兹的模块专心摸,各守各的岗位。
应用清单松下也给了:制造业里需要精细力控的插拔件、拧螺丝,物流里软包装和易碎品的分拣——全是"力气活"这个词反面的那种力气活。别忘了这是研究阶段的工作,论文 6 月挂出、11 月才由松下牵头官宣,工程化没有时间表,机械臂的具体型号也没有公开。
但这一步的意义清楚得很。机器人学习的过去两年在拼命喂眼睛——视频、仿真、遥操作,全是视觉的盛宴;指尖一直坐在冷板凳上,因为触觉数据难采、传感器贵、模态难融合。T-Rex 给出的答案是:不用等触觉的大一统,先给眼睛配一个专职的手。23 个百分点就摆在那里——机器人的灵巧,一半在算法里,另一半长在指尖上。
信源与限定:松下控股 2026-11-05 新闻稿 news.panasonic.com/global/press/en261105-2(合作方名单、双时钟架构 5/20 赫兹、22,889 小时视频、200+ 物体、22 动作、7,700 条片段、12 任务 65%/35%/42% 三组数字均出自新闻稿);论文 arXiv 2606.17055 "T-Rex: Tactile-Reactive Dexterous Manipulation"(v2 更新于 2026-06-18,经 arXiv API 核验,新闻点为松下官宣与 CoRL 2026 展示,论文本体非本周新作);CoRL 2026 会期 11 月 9-12 日奥斯汀;商业化为零时间表、机器人型号未公开,均为新闻稿口径;65% 与 35% 的对比基线为论文自报此前最好水平。
#具身智能 #机器人 #触觉 #CoRL