LeRobot v0.5.0 发布：支持 Unitree G1 人形机器人与 Pi0-FAST 自回归 VLA

自 v0.4.0 以来，已有超过 200 个合并的 PR 和超过 50 位新贡献者，LeRobot v0.5.0 是我们迄今规模最大的版本——同时向各个方向扩展。更多机器人（包括我们的首个人形机器人）、更多策略（包括自回归 VLA 的回归）、更快的数据集、可直接从 Hub 加载的仿真环境，以及运行在 Python 3.12 和 Transformers v5 上的现代化代码库。无论你是在仿真中训练策略，还是将它们部署到真实硬件上，v0.5.0 都有适合你的内容。

TL;DR

LeRobot v0.5.0 新增对 Unitree G1 人形机器人的完整支持（全身控制模型）、新策略——包括 Pi0-FAST 自回归 VLA 以及用于响应式推理的 Real-Time Chunking——以及流式视频编码，消除了录制回合之间的等待时间。该版本还引入了 EnvHub，用于从 HF Mirror Hub 加载仿真环境、NVIDIA IsaacLab-Arena 集成，以及一次重大的代码库现代化，采用 Python 3.12+、Transformers v5 和第三方策略插件。

目录

• LeRobot v0.5.0: Scaling Every Dimension
  • TL;DR
  • 目录
  • Hardware: More Robots Than Ever
    • Unitree G1 人形机器人
    • OpenArm 与 OpenArm Mini
    • 更多机器人
    • CAN Bus 电机
  • Policies: A Growing Model Zoo
    • Pi0-FAST：自回归 VLA
    • Real-Time Chunking（RTC）
    • Wall-X
    • X-VLA
    • SARM
    • PEFT 支持
  • Datasets: Faster Recording, Faster Training
    • 流式视频编码
    • 图像训练速度提升 10 倍，编码速度提升 3 倍
    • 新的数据集工具
  • EnvHub: Environments from the Hub
    • NVIDIA IsaacLab-Arena
  • 代码库：现代化基础
  • 社区与生态
  • 最后的思考

硬件：前所未有的更多机器人

LeRobot v0.5.0 大幅扩展了支持的硬件阵容——从机械臂和移动机器人到完整的人形机器人。

Unitree G1 人形机器人

本次发布最大的硬件新增内容：对 Unitree G1 人形机器人的完整支持。这是 LeRobot 首次集成人形机器人，而且非常全面：

• 运动：行走、导航并在环境中移动。
• 操作：执行灵巧的物体操作任务。
• 遥操作：通过直观的遥操作界面远程控制 G1。
• 全身控制（WBC）：同时协调运动与操作，以完成复杂的真实世界任务。

G1 集成代表着 LeRobot 在通用机器人方向迈出的重要一步——从桌面机械臂迈向全身具身 AI。请按照文档亲自尝试。

OpenArm 与 OpenArm Mini

我们新增了对 OpenArm 机器人及其配套 OpenArm Mini 遥操作器的支持。OpenArm 是一款性能出色的机械臂，具备完整的 LeRobot 集成，而 Mini 则是它天然的遥操作设备。两者都支持双臂配置，可实现双臂设置以完成更复杂的操作任务。请在文档中查看。

更多机器人

硬件生态持续壮大：

• Earth Rover：我们的首个移动机器人集成，将 LeRobot 带入户外导航和地面级机器人领域。
• OMX Robot：一款新的机械臂，支持可配置的夹爪设置和校准支持。
• SO-100/SO-101 整合：我们将 SO-100 和 SO-101 的实现统一到一个更简洁的代码库中——包括双臂设置。更少的代码重复，更易于维护，同样出色的机器人。

CAN 总线电机

通过 CAN（控制器局域网）总线支持新的电机控制器，为更高性能的执行器打开了大门：

• RobStride：一款面向高扭矩应用的 CAN 总线电机控制器。
• Damiao：另一款 CAN 总线电机控制器，扩展了兼容硬件的范围。

这些新增功能意味着 LeRobot 现在可以驱动更广泛的专业级执行器，超越现有的 Dynamixel 和 Feetech 生态系统。

策略：不断壮大的模型库

本次发布为 LeRobot 带来了六种新策略和技术，突破了开源机器人学习的可能性边界。

Pi0-FAST：自回归 VLA

Pi0-FAST 将自回归视觉-语言-动作模型引入 LeRobot，采用 FAST（频率空间动作序列分词）。与 Pi0 的流匹配方法不同，Pi0-FAST 使用自回归动作专家（基于 Gemma 300M）生成离散化的动作 token，从而实现：

• FAST 分词：动作被分词以进行自回归解码，配有专用的 FAST 动作分词器。
• 灵活解码：可配置的温度和最大解码步数，以平衡速度和质量。
• RTC 兼容：与实时分块（见下一节）配合使用，实现响应式推理。

lerobot-train \
  --policy.type=pi0_fast \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human \
  --policy.device=cuda

实时分块（RTC）

实时分块是来自 Physical Intelligence 的一种推理时技术，使流匹配策略的响应能力大幅提升。RTC 不再等待完整的动作块完成后才重新规划，而是持续将新预测与进行中的动作混合，产生更平滑、更灵敏的行为。

RTC 不是独立的策略——它是一种增强功能，可接入现有的流匹配策略（Pi0 系列、SmolVLA 和 Diffusion）。通过 --policy.rtc_config.enabled=true 进行配置。

这对于延迟至关重要的现实世界部署来说是一个游戏规则改变者。阅读原始论文了解技术细节，以及我们的文档。

Wall-X

Wall-X 是一种新的 VLA 策略，基于 Qwen2.5-VL 构建，采用流匹配动作预测。它将 Qwen2.5-VL 强大的视觉-语言理解能力与流匹配头相结合，用于跨具身机器人控制。

pip install lerobot[wall_x]
lerobot-train \
  --policy.type=wall_x \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human

X-VLA

X-VLA 将基于 Florence2 的 VLA 引入 LeRobot。X-VLA 构建在微软的 Florence-2 视觉-语言模型之上，为 VLA 策略提供了另一种骨干选择，扩展了可用于机器人学习的基础模型的多样性。查看训练指南了解设置说明，以及基础模型。

pip install lerobot[xvla]
lerobot-train \
  --policy.type=xvla \
  --dataset.repo_id=lerobot/bimanual-so100-handover-cube

SARM

SARM（Stage-Aware Reward Modeling，阶段感知奖励建模）解决了机器人学习中最棘手的问题之一：长时程任务。它并非对整个回合使用单一的全局线性进度信号，而是以阶段感知的方式对进度建模，同时预测任务阶段以及该阶段内的进度。这使得为复杂的多步骤操作任务训练策略变得容易得多。按照文档开始尝试吧。

PEFT 支持

现在你可以使用 LoRA（及其他 PEFT 方法）微调大型 VLA，而无需修改核心训练流程。PEFT 配置位于策略层级，让你能以极少的算力轻松将庞大的基础模型适配到你的特定机器人和任务上。阅读文档了解更多。

lerobot-train \
  --policy.type=pi0 \
  --policy.peft_config.use_peft=true \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human

数据集：更快的录制，更快的训练

本次发布中数据集流水线获得了大幅性能提升，使数据采集和训练都显著加快。

流式视频编码

以前，录制数据集意味着每个回合结束后都要等待视频编码完成。再也不用这样了。借助流式视频编码，帧在采集时就会实时编码——这意味着回合之间零等待时间。完成一个回合后立即开始下一个。

流式编码还支持硬件编码器自动检测，因此如果你的系统有 GPU 加速的视频编码器，LeRobot 会自动使用它：

dataset = LeRobotDataset.create(
    repo_id="my/dataset",
    fps=30,
    video_backend="auto",       # Auto-detect best HW encoder
    streaming_encoding=True,    # Encode in real-time
)

流式编码的性能会因硬件和录制设置（摄像头数量、分辨率等）的不同而有很大差异。在启用它之前，请务必查阅流式视频编码文档。

图像训练提速 10 倍，编码提速 3 倍

在底层，我们修复了关键的数据访问瓶颈，并彻底改造了图像处理：

• 图像训练提速 10 倍：改进了图像变换支持，并修复了此前悄悄拖慢训练的数据访问瓶颈。
• 编码提速 3 倍：并行编码现已成为所有平台的默认设置，在不使用流式编码时，压缩级别会根据你的数据集类型（视频还是图像）动态调整。
• 更好的 CPU 利用率：在录制和数据集创建期间更高效地利用资源。

新的数据集工具

数据集编辑工具包持续扩展：

• 子任务支持：对回合内的子任务进行标注和查询，以支持分层任务学习。
• 图像转视频：将现有的基于图像的数据集转换为视频格式，以获得更好的存储效率，并支持每个视频文件包含多个回合。
• 更多编辑操作：新增用于检查数据集的 info 操作、任务修改工具，以及对现有操作（拆分、合并、特征编辑）的大量修复。
• 暴露更多选项：可配置的视频编解码器、容差设置和元数据缓冲区大小，让你对数据集创建拥有细粒度控制。

EnvHub：来自 Hub 的环境

EnvHub 是一种在 LeRobot 中使用仿真环境的新方式：直接从 HF Mirror Hub 加载它们。无需在本地安装环境包并配置注册，现在你只需将 LeRobot 指向一个 Hub 仓库，它就会处理一切——下载环境代码、向 Gymnasium 注册，并使其可用于训练和评估。

Hub 环境使用 HubEnvConfig，它会下载并执行远程 make_env 函数：

lerobot-train \
  --env.type=hub \
  --env.hub_path="username/my-custom-env" \
  --policy.type=act

这降低了与社区分享自定义仿真环境的门槛。打包你的环境，推送到 Hub，任何人都可以在其上训练。查看文档了解更多。这里有一个入门示例：LeIsaac x LeRobot EnvHub 教程。

NVIDIA IsaacLab-Arena

我们集成了 NVIDIA IsaacLab-Arena，将 GPU 加速仿真引入 LeRobot。IsaacLab-Arena 提供了一系列在 NVIDIA Isaac Sim 上运行的操作任务，可提供大规模并行的环境实例，用于快速强化学习。该集成包含专用的预处理/后处理步骤，并与 LeRobot 的训练流程完全兼容。查看文档。

代码库：现代化基础

本次发布使代码库现代化：

• Python 3.12+：LeRobot 现在要求最低版本为 Python 3.12，从而支持现代语法和更好的性能。
• Transformers v5：我们已迁移到 HF Mirror Transformers v5，紧跟最新的模型生态。
• 第三方策略插件：就像 v0.4.0 的硬件插件系统一样，你现在可以将自定义策略注册为可安装的包——pip install lerobot_policy_mypolicy 并与 --policy.type=mypolicy 一起使用。无需修改核心库。按照文档了解如何操作。
• 远程 Rerun 可视化：使用 Rerun 远程可视化你的机器人遥测数据，支持压缩图像，实现带宽高效的流式传输。
• 安装改进：新增了 uv 安装说明，澄清了设置步骤，并改进了依赖管理。顺序安装步骤现在已有清晰文档。
• 文档版本管理：文档现已支持版本管理，因此你始终可以找到与已安装版本匹配的文档。
• PyTorch 版本提升：更新了 PyTorch 版本范围，以支持 NVIDIA Blackwell GPU。

社区与生态

• 现代化 Discord：更新了最具活力的社区中心，频道组织更合理。
• GitHub README、模板与自动标签：焕新的 README、新的 issue 和 PR 模板、贡献指南，以及工单自动标签——让每个人都能更轻松地贡献。
• ICLR 2026 论文录用：LeRobot 论文已被 ICLR 2026 录用！
• LeRobot Visualizer 焕新：可视化工具焕然一新，新增数据集可视化徽章并改进功能。来看看吧！
• LeRobot Annotation Studio：一个 HuggingFace Space，旨在轻松用自然语言子任务标注数据集的每一刻。来看看吧！

结语

除了这些头条功能外，v0.5.0 还在整个代码库中包含了数百项错误修复、文档改进、CI/CD 增强和体验优化。从更好的类型检查到更健壮的测试基础设施，我们正在投入于这些基础建设，让 LeRobot 在规模化扩展时保持可靠和可维护。

我们要向社区中的每一位——贡献者、用户和合作者——致以最诚挚的感谢，感谢你们帮助 LeRobot 成长为今天的样子。每一份错误报告、每一个 PR 和每一次讨论都让这个项目变得更好。

敬请期待更多内容 🤗 从这里开始吧！ – LeRobot 团队 ❤️

惊喜即将来袭，敬请期待！👕