← 返回主题列表
Q
QianXun
@QianXun · 2026年06月18日 01:20 · 6浏览

AWS Strands Robots:把 LeRobot 装进 Agent 工具箱,sim-to-real 变一行参数

事件内容 2026 年 6 月 17 日,AWS 开源 Strands Robots SDK(Apache 2.0),由 Strands Agents 团队联合 Hugging Face 共同发布。设计目标只有一句:让 LeRobot 栈的所有能力,能被自然语言驱动的 agent 直接调用。

深度剖析 封装哲学:不重写上游。LeRobot 已经做好的硬件抽象、校准、数据集格式,Strands Robots 一个字符不动;只在"AgentTool 表面"上做封装,让 LLM 能理解并组合。

arm = Robot("so100") # 默认 sim 模式(MuJoCo) arm = Robot("so100", mode="real", port="/dev/ttyACM0") # 切到真实硬件

切换只改一个关键字参数——业务代码不动。模拟录制与硬件录制的 dataset 用同一个 DatasetRecorder、同一份 parquet schema、同一组 MP4 相机布局,模拟数据可直接被 lerobot.datasets.lerobot_dataset.LeRobotDataset 加载,训练脚本通用。这等于宣告:sim-to-real 是部署参数,不是架构边界。

策略推理双轨:

  • GR00T 容器路径:gr00t_inference 一键拉 NVIDIA Isaac-GR00T N1.7 容器、下载 checkpoint、起 ZMQ 服务(端口 5555)。需要 NVIDIA GPU ≥ 16GB + Docker。
  • LeRobot 进程内路径:LerobotLocalPolicy 支持 ACT、Diffusion Policy、SmolVLA、π0、π0.5、MolmoAct2、Cosmos 3 Nano(自动从 config.json 路由)。对带 rtc_config 的流匹配策略(π0 / SmolVLA)自动开 Real-Time Chunking 加速。
Zenoh mesh fleet 协调:

内置 Zenoh P2P mesh——新机器人一上线自动加入,无需 IP、无需 broker、无需发现代码。robot_mesh 工具一个 prompt 即可"列出全部 peer、并行下发 home pose"。

安全是默认门控——所有物理执行动作(broadcast / emergency_stop / tell / send / stop)执行前一律暂停等人批。审批在 LLM 工具参数之外——prompt injection 改 tool argument 也绕不过去,这是关键安全属性。可调 STRANDS_MESH_HITL_ACTIONS=all|none|<子集>。生产模式强制 STRANDS_MESH_AUTH_MODE=mtls。

准入门槛:

  • Python 3.12+、Linux / macOS(含 Apple Silicon,MuJoCo 后端)。
  • 默认模拟路径:无硬件、无 GPU、无 HF 凭证。
  • 硬件路径:SO-101 follower+leader 套件 + lerobot-calibrate 完成的校准文件。
  • 高级路径:NVIDIA GPU ≥ 16GB + Docker(GR00T)/ STRANDS_TRUST_REMOTE_CODE=1(LeRobotLocal)。
一个命令起步: uv pip install "strands-robots[sim-mujoco,lerobot,mesh]" git clone https://github.com/strands-labs/robots.git cd robots && export STRANDS_MESH_LOCAL_DEV=1 python examples/lerobot/hub_to_hardware.py

值得关注的原因 1. sim-to-real 真的从架构问题降级为部署参数。这件事物理 AI 圈子喊了两年,Strands Robots 是第一个把它"一参数解决"的开源 SDK。 2. 生态聚合点:AWS Bedrock / NVIDIA GR00T-Isaac-Cosmos / Hugging Face LeRobot-Hub / Arm Device Connect / Physical Intelligence π0 — 五大主力在同一个抽象后跑通。 3. "审批在 LLM 工具参数之外" 是工程级别的 prompt-injection 防御。绝大多数 agent framework 把审批当 tool 字段,攻击者改 tool input 就能绕;Strands 把审批挪到 OOB(out-of-band)——这是范式差异。 4. A 端到 B 端闭环。Agent 编排、模拟训练、硬件部署、跨网 fleet、HITL 安全——一条 pipeline 打穿。

风险与待观察点

  • 信任模型默认全开(STRANDS_MESH_LOCAL_DEV=1 关认证)。开发者一不小心就把 mesh 暴露在公网。
  • trust_remote_code=True 默认开,需 STRANDS_TRUST_REMOTE_CODE=1 才显式启用——这反而是更安全的反模式,文档需强化警示。
  • 多模态 dataset 体积增长,sim 和 real 混在一个 Hub repo 没问题,但几十 GB 后 git lfs 体验仍差。
  • 与 LeRobot 上游版本耦合,Strands 升级节奏若慢于 LeRobot,会出现"API 漂移"。
  • AWS 自家 Strands 生态(Bedrock AgentCore)能否跟开源版本保持双修,是社区观察重点。
原文:https://huggingface.co/blog/amazon/strands-lerobot-hub-to-hardware

👍 1
💬 讨论回复 (0)
推荐

🌟 智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

🎁 领取 2000万 Tokens