LeRobot v0.6.0 发布：世界模型策略、奖励模型 API 与六个仿真基准

这个新版本的核心是闭合机器人学习循环：先想象再行动的策略、告诉你机器人何时成功的奖励模型、把失败转化为训练数据的部署 CLI，以及六个用于衡量这一切的新仿真基准。它还带来了深度感知、VLM 驱动的数据集标注、自定义视频编码、基于 HF Jobs 的云端训练，以及更加精简的安装。

TL;DR

LeRobot v0.6.0 引入了学习想象未来的世界模型策略（VLA-JEPA、FastWAM、LingBot-VA）、一批新的 VLA（GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT），以及新的奖励模型 API（Robometer、TOPReward）。它发布了六个新的仿真基准，统一在 lerobot-eval 之下；lerobot-rollout CLI 支持 DAgger 风格的人类在环纠正、FSDP 训练，以及基于 HF Jobs 的云端训练。数据集获得深度支持、自动语言标注流水线、自定义视频编码，以及最高 2 倍的数据加载速度提升，而这一切都建立在更精简的安装之上。

世界模型：会想象的策略

机器人领域正在提出一个大问题：世界模型真的能帮助机器人策略吗？v0.6.0 为 LeRobot 带来了三个策略来帮助回答这个问题。每一个都在训练中学习想象未来，而每个又走了不同的路线来让这种想象保持低成本。

VLA-JEPA

VLA-JEPA 教会一个紧凑的 VLA（基于 Qwen3-VL-2B 构建）在学习行动的同时，在潜空间中预测未来：训练期间，一个 JEPA 世界模型必须根据模型自身的动作预测即将到来的帧。其巧妙之处在于，世界模型在推理时会消失，因此你能以零额外推理成本获得世界模型监督。Hub 上有三个可直接使用的检查点，其中包括一个用于微调的 DROID 预训练基础模型：

lerobot-train \
  --policy.path=lerobot/VLA-JEPA-Pretrain \
  --dataset.repo_id=${HF_USER}/my_dataset \
  --policy.repo_id=${HF_USER}/my_finetuned_policy

查看 VLA-JEPA 文档和论文了解更多。

LingBot-VA

LingBot-VA 更进一步：一个自回归视频-动作模型，逐块地同时预测未来视频和动作，并将真实观测反馈回去，使其想象保持落地。你甚至可以保存机器人想象的内容（--policy.save_predicted_video=true），并与实际发生的情况进行比较。推理可在单个 24–32 GB GPU 上运行。查看文档和论文了解技术细节。

FastWAM

FastWAM 在其论文标题中提出了一个问题：世界动作模型需要测试时的未来想象吗？它将一个约 5B 的视频生成专家与一个紧凑的动作专家配对在单个网络中，因此模型实际上学会了想象自己的推演过程。在推理时，它完全跳过想象，直接对动作块进行去噪。从 lerobot/fastwam_base 对其进行微调，更多内容请阅读文档。

VLA：模型库不断壮大

GR00T N1.7

我们将 NVIDIA GR00T 集成升级至 GR00T N1.7，这是 NVIDIA 最新一代开放的跨具身基础模型。N1.7 将之前的 VLM 替换为 Cosmos-Reason2-2B（基于 Qwen3-VL），并接入流匹配动作头，我们的集成已针对 NVIDIA 原始 Isaac-GR00T 实现进行了对等测试：相同输入，相同输出。Flash-attention 现在是可选的，因此 pip install 'lerobot[groot]' 可直接运行，你也可以直接加载 NVIDIA 发布的检查点。

GR00T N1.7 在 LeRobot 中取代了 N1.5。如果你需要 N1.5，请固定 lerobot==0.5.1。

MolmoAct2

MolmoAct2 是 Allen Institute for AI 的视觉-语言-动作模型，现已移植到 LeRobot，涵盖完整生命周期：微调（全量或 LoRA）、评估和真机部署。内置校准校正的现成检查点意味着你可以在 SO-100/101 上零样本运行它：

lerobot-rollout \
  --policy.path=lerobot/MolmoAct2-SO100_101-LeRobot \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.cameras='{cam0: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, cam1: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}' \
  --task="pick up the red cube" --duration=30

推理在 bf16 下约占 12 GB，LoRA 微调可在单张 24 GB GPU 上完成。完整部署指南请参见 MolmoAct2 文档。

EO-1

EO-1 是一个在交错视觉-文本-动作数据上预训练的 VLA，现已加入 LeRobot：采用 Qwen2.5-VL-3B 主干网络并搭配流匹配动作头，由该论文作者之一贡献。使用 --policy.type=eo1 通过标准 lerobot-train 工作流进行训练。详情请见文档和论文。

多任务 DiT

多任务 Diffusion Transformer 策略将 TRI 大行为模型的配方带入 LeRobot：一个约 450M 参数的扩散 transformer，以 CLIP 视觉和语言嵌入为条件，因此一个模型可以学习通过自然语言选择的多种任务。它同时支持扩散和流匹配目标，而且小到足以自行训练。请参见文档。

EVO1

VLA 不必很大。EVO1 将其策略压缩到 0.77B 参数，采用 InternVL3-1B 主干网络并搭配流匹配动作头，小到足以在普通 GPU 上微调并实时运行。它开箱即支持两阶段微调和实时分块。请参见 EVO1 文档和论文。

奖励模型：知晓你的机器人何时成功

成功检测和进度估计是机器人学习回路中缺失的环节，v0.6.0 为它们找到了归宿。LeRobot 现在拥有统一的奖励模型 API（lerobot.rewards），与策略 API 相呼应，在一个接口背后集成了四个奖励模型——HIL-SERL 奖励分类器、SARM，以及两个新成员：

Robometer

Robometer 是一个预训练的通用奖励模型：将 lerobot/Robometer-4B 指向任意 LeRobot 数据集，它就能从原始视频加语言指令中评估任务进度和成功与否，无需任何任务特定的训练。它基于 Qwen3-VL-4B 构建，并通过在超过一百万条机器人轨迹的数据集上进行轨迹比较来训练（RSS 2026 论文）。

TOPReward

TOPReward 完全零样本：没有任何奖励权重。它封装了一个现成的 VLM（Qwen3-VL），并读取给定轨迹视频和任务指令时 token "True" 的对数概率。任何有能力的 VLM 都能变成奖励函数。

两者都附带标注脚本，可将逐帧进度曲线写入你的数据集，可直接用于奖励感知行为克隆（RA-BC）、数据集质量检查和进度叠加视频。查看 Robometer 和 TOPReward 文档。

数据集：加载更快，数据更丰富

你的编解码器，你做主

录制不再被一个硬编码的编解码器束缚。新的 --dataset.rgb_encoder.* 选项暴露了完整的编码接口（编解码器、质量、像素格式、GOP、预设），而 vcodec=auto 会先探测 NVENC、VideoToolbox、VAAPI 和 QSV 等硬件编码器，然后再回退到默认的软件 AV1 编码器。对于现有数据集，一条命令即可重新编码所有内容：

lerobot-edit-dataset \
    --repo_id ${HF_USER}/my_dataset \
    --operation.type reencode_videos \
    --operation.rgb_encoder.vcodec h264 \
    --operation.rgb_encoder.crf 23

完整细节见视频编码文档。

端到端的深度支持

插入 Intel RealSense，设置 use_depth: true，LeRobot 即可端到端录制深度图：以毫米为单位采集，作为紧凑的 12 位深度视频流与 RGB 相机一起压缩，并在训练时解码回物理单位。深度在录制期间和 lerobot-dataset-viz 中实时渲染，并适用于 SO-100/101、Koch、OpenArm、reBot、Unitree G1 等更多平台。

大规模语言标注

你的数据集不再只是每个 episode 一个任务字符串。LeRobot 数据集现在原生存储丰富的语言标注（带时间戳的子任务、计划、记忆、纠正、语音和每个相机的 VQA 对），新的 lerobot-annotate CLI 使用观看你 episode 的 VLM 自动填充它们：

lerobot-annotate \
    --repo_id=${HF_USER}/my_dataset \
    --new_repo_id=${HF_USER}/my_dataset_annotated \
    --vlm.model_id=Qwen/Qwen2.5-VL-7B-Instruct \
    --push_to_hub=true

然后 YAML 配方层会在采样时将这些标注渲染成聊天风格的训练消息：这正是明天的长时程、会说话的机器人策略将要训练的数据。用 HF Jobs 扩展规模，并阅读标注流水线文档了解更多。

数据加载提速最高达 2 倍

在视频数据集上训练现在开箱即用最高可提速约 2 倍：多相机帧并行解码，数据加载工作进程传输紧凑的 uint8 帧（进程间内存减少 4 倍），持久工作进程在多个 epoch 之间保持解码器缓存存活。加载大型数据集的子集（episodes=[...]）从几分钟缩短到几毫秒（在我们的基准测试中从 275 秒降至 0.06 秒）。采样现在也是确定且可恢复的，因此中断的训练可以精确到样本重启。

基准测试：一个 CLI 评估所有

v0.5.0 为 LeRobot 插上了 VLA 评估中心的旗帜；v0.6.0 将其真正落实，新增六个模拟基准测试，全部可通过同一个 lerobot-eval CLI 运行，每个都有文档页面、Docker 镜像和经过 CI 冒烟测试的 SmolVLA 基线检查点：

LIBERO-plus 用约 10,000 个 LIBERO 的扰动变体对 VLA 进行压力测试，覆盖从光照和相机视角到改写指令的七个维度。它会告诉你策略何时失效。
RoboTwin 2.0 在 SAPIEN 上覆盖 50 个双臂操作任务，并带有大量域随机化，同时附带 Hub 上超过 10 万条可直接训练的轨迹。
RoboCasa365 在移动机械臂上覆盖 2,500 个程序化生成厨房中的 365 个厨房任务，是我们阵容中最大的任务集合。
RoboCerebra 通过将 3 到 6 个子目标串联在语言接地的中间指令下的回合来评估长时程行为，并附带一个 6,660 回合的数据集。
RoboMME 是一场记忆考试：你的策略能计数重复次数、追踪隐藏物体并模仿演示流程吗？涵盖 4 个记忆套件中的 16 个任务。
VLABench 测试操作中的知识与推理，从物理问题到像端到端冲咖啡这样的复合任务。

lerobot-eval \
  --policy.path=lerobot/smolvla_robotwin \
  --env.type=robotwin \
  --env.task=beat_block_hammer \
  --eval.n_episodes=100 --eval.batch_size=1

模拟器后端需要特定的系统依赖及其各自的安装步骤；每个文档页面都有确切的配方，而且每个基准测试都附带现成的 Docker 镜像，如果你不想进行设置，可以直接跳过。

再加上 LIBERO、Meta-World 和 NVIDIA IsaacLab-Arena，这样就在一个屋檐下汇集了九个基准测试系列，而新的 Adding a New Benchmark 指南准确记录了如何接入你自己的基准测试。评估也更快了：并行评估现在默认使用异步向量化环境，基准测试显示最高可快 2 倍。

训练与推理

`lerobot-rollout`：部署有了自己的 CLI

过去，部署策略只是基于 lerobot-record 的一个变通做法。新的 lerobot-rollout CLI 将部署变成独立工作流，具有可插拔策略和推理后端（包括面向慢速兼容 VLA 的 Real-Time Chunking）。base 策略只是运行策略。sentry 连续记录，边进行边轮换回合并上传到 Hub。highlight 维护一个环形缓冲区，并在你按下按键时保存最近 N 秒，因此有趣的时刻绝不会丢失。episodic 对应经典的回放/重置记录工作流。而 dagger 将部署变成数据收集。

使用 DAgger 策略时，你观察策略运行，在它出错的那一刻按下按键（或 USB 脚踏板），用你的主臂接管以记录纠正，然后交还控制权。在你接管之前，带驱动的主臂会被驱动到从臂的姿态，因此交接不会突然抖动。每个纠正帧都会标记一个 intervention 标志，生成的数据集可直接用于下一次微调：

lerobot-rollout \
    --strategy.type=dagger \
    --policy.path=${HF_USER}/my_policy \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --teleop.type=so101_leader \
    --teleop.port=/dev/ttyACM1 \
    --dataset.repo_id=${HF_USER}/dagger_corrections \
    --dataset.single_task="Grasp the block"

部署、收集纠正、微调、重复：机器人学习飞轮现在就是一个 CLI 标志。阅读部署文档。

FSDP：训练比你的 GPU 更大的模型

机器人基础模型正在超出单张 GPU 的容量。LeRobot 训练现在通过 Accelerate 支持 FSDP（完全分片数据并行）：参数、梯度和优化器状态都分片到多张 GPU 上，检查点会被收集回一个普通的单文件 model.safetensors，像其他任何策略一样加载。你甚至可以在不同数量的 GPU 上恢复 FSDP 运行。参见多 GPU 训练文档。

使用 HF Jobs 进行云端训练

没有 GPU？没问题。现在只需添加一个标志，就能在云端运行完全相同的 lerobot-train 命令：

lerobot-train \
  --dataset.repo_id=${HF_USER}/so101_test \
  --policy.type=act \
  --policy.repo_id=${HF_USER}/my_policy \
  --job.target=a10g-small

LeRobot 会在需要时将你的本地数据集推送到一个私有的 Hub 仓库，提交任务，将日志流式传输到你的终端，并在最后将训练好的策略推送到 Hub。从 T4 到 8x H200 任选，由 --job.target 提供（计算按需付费）。查看文档

代码库：更精简、更清晰

pip install lerobot 现在真正做到了轻量化，基础依赖减少了约 40%。功能范围的额外依赖（[training]、[core_scripts]、[evaluation]……）覆盖了其余部分，缺失依赖的错误会明确告诉你该添加哪个额外项。如果只使用 LeRobot 数据集，不再需要安装硬件相关依赖 ;)
支持的 PyTorch 版本升至 2.7–2.11，并为 Linux uv 安装开箱即用地固定了 CUDA 12.8 的 wheel。--policy.dtype=bfloat16 现在通过 Accelerate 驱动真正的混合精度训练。
提交到仓库的 uv.lock 是 CI、Docker 和开发的权威依赖规范，文档为每一步都提供了 uv 安装路线，甚至可以用一个标志位选择你的 CUDA wheel。
--display_mode=foxglove 将遥操作、录制和 rollout 流式传输到 Foxglove，这是机器人领域许多团队已经在使用的可视化工具。它支持远程设置，且 lerobot-dataset-viz 支持可拖动进度条的数据集回放。
可通过 pip 安装的 lerobot_env_* 包现在会自行注册其环境。插件系统覆盖全部五种组件类型：机器人、摄像头、遥操作器、策略和环境。
录制期间的键盘控制现在可在 Wayland、SSH、无头设备以及无需辅助功能权限的 macOS 上使用。

请查看发行说明以获取完整列表以及破坏性变更的迁移指引。

社区与生态

LeLab 将整个 LeRobot 工作流（校准、遥操作、录制、本地或在 HF Jobs 上训练、部署）放入浏览器 UI 中，无需 CLI。它目前支持 SO-ARM101。试试看！
Isaac Teleop 让你通过 NVIDIA 的 Isaac Teleop 技术栈，经由 CloudXR/OpenXR，用 VR 控制器遥操作 SO-101，这是与 NVIDIA 团队合作的成果。请查阅文档。
新的计算硬件指南回答了每个新手都会问的两个问题：我需要哪款 GPU，训练需要多长时间？它给出了按策略系列实测的显存范围，以及从 RTX 4090 到 4x H100 的参考训练时间。
重写后的添加策略指南展示了如何发布你自己的策略，无论是放在代码库内还是作为插件包，都无需 PR。

最后的话

除了这些亮点功能外，v0.6.0 在整个代码库中包含了数百项错误修复、文档改进和体验优化，从更智能的默认值到更可靠的 CI。

我们要向社区中的每一个人致以衷心的感谢。此版本包含了来自学术界、工业界和爱好者团队的工作，他们选择 LeRobot 作为其模型和基准的家园。每一个 PR 和错误报告都推动着开源机器人技术向前发展。

敬请期待更多内容 🤗 从这里开始吧！ – LeRobot 团队 ❤️