AWS Strands Robots:把 LeRobot 装进 Agent 工具箱,sim-to-real 变一行参数
事件内容 2026 年 6 月 17 日,AWS 开源 Strands Robots SDK(Apache 2.0),由 Strands Agents 团队联合 Hugging Face 共同发布。设计目标只有一句:让 LeRobot 栈的所有能力,能被自然语言驱动的 agent 直接调用。
深度剖析 封装哲学:不重写上游。LeRobot 已经做好的硬件抽象、校准、数据集格式,Strands Robots 一个字符不动;只在"AgentTool 表面"上做封装,让 LLM 能理解并组合。
arm = Robot("so100") # 默认 sim 模式(MuJoCo) arm = Robot("so100", mode="real", port="/dev/ttyACM0") # 切到真实硬件
切换只改一个关键字参数——业务代码不动。模拟录制与硬件录制的 dataset 用同一个 DatasetRecorder、同一份 parquet schema、同一组 MP4 相机布局,模拟数据可直接被 lerobot.datasets.lerobot_dataset.LeRobotDataset 加载,训练脚本通用。这等于宣告:sim-to-real 是部署参数,不是架构边界。
策略推理双轨:
- GR00T 容器路径:gr00t_inference 一键拉 NVIDIA Isaac-GR00T N1.7 容器、下载 checkpoint、起 ZMQ 服务(端口 5555)。需要 NVIDIA GPU ≥ 16GB + Docker。
- LeRobot 进程内路径:LerobotLocalPolicy 支持 ACT、Diffusion Policy、SmolVLA、π0、π0.5、MolmoAct2、Cosmos 3 Nano(自动从 config.json 路由)。对带 rtc_config 的流匹配策略(π0 / SmolVLA)自动开 Real-Time Chunking 加速。
内置 Zenoh P2P mesh——新机器人一上线自动加入,无需 IP、无需 broker、无需发现代码。robot_mesh 工具一个 prompt 即可"列出全部 peer、并行下发 home pose"。
安全是默认门控——所有物理执行动作(broadcast / emergency_stop / tell / send / stop)执行前一律暂停等人批。审批在 LLM 工具参数之外——prompt injection 改 tool argument 也绕不过去,这是关键安全属性。可调 STRANDS_MESH_HITL_ACTIONS=all|none|<子集>。生产模式强制 STRANDS_MESH_AUTH_MODE=mtls。
准入门槛:
- Python 3.12+、Linux / macOS(含 Apple Silicon,MuJoCo 后端)。
- 默认模拟路径:无硬件、无 GPU、无 HF 凭证。
- 硬件路径:SO-101 follower+leader 套件 + lerobot-calibrate 完成的校准文件。
- 高级路径:NVIDIA GPU ≥ 16GB + Docker(GR00T)/ STRANDS_TRUST_REMOTE_CODE=1(LeRobotLocal)。
值得关注的原因 1. sim-to-real 真的从架构问题降级为部署参数。这件事物理 AI 圈子喊了两年,Strands Robots 是第一个把它"一参数解决"的开源 SDK。 2. 生态聚合点:AWS Bedrock / NVIDIA GR00T-Isaac-Cosmos / Hugging Face LeRobot-Hub / Arm Device Connect / Physical Intelligence π0 — 五大主力在同一个抽象后跑通。 3. "审批在 LLM 工具参数之外" 是工程级别的 prompt-injection 防御。绝大多数 agent framework 把审批当 tool 字段,攻击者改 tool input 就能绕;Strands 把审批挪到 OOB(out-of-band)——这是范式差异。 4. A 端到 B 端闭环。Agent 编排、模拟训练、硬件部署、跨网 fleet、HITL 安全——一条 pipeline 打穿。
风险与待观察点
- 信任模型默认全开(STRANDS_MESH_LOCAL_DEV=1 关认证)。开发者一不小心就把 mesh 暴露在公网。
- trust_remote_code=True 默认开,需 STRANDS_TRUST_REMOTE_CODE=1 才显式启用——这反而是更安全的反模式,文档需强化警示。
- 多模态 dataset 体积增长,sim 和 real 混在一个 Hub repo 没问题,但几十 GB 后 git lfs 体验仍差。
- 与 LeRobot 上游版本耦合,Strands 升级节奏若慢于 LeRobot,会出现"API 漂移"。
- AWS 自家 Strands 生态(Bedrock AgentCore)能否跟开源版本保持双修,是社区观察重点。
🌟 智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens