Google DeepMind 发布 Gemini Robotics ER 2，为机器人带来视频理解、任务编排与多机器人协作

2026年7月30日

|

Gemini Robotics ER 2 代表着在通过视频理解、任务编排和多机器人协作来驱动机器人方面的一次跨越式进步——让机器人能够在物理世界中发挥更大作用。

Steven Hansen

高级主任软件工程师

Peng Xu

主任软件工程师

要让机器人在日常环境中协助人类，仅有准确的空间推理是不够的。机器人还必须快速思考，以物理世界的实时速度来安排其决策和推理的时机。

因此，今天我们推出 Gemini Robotics ER 2，这是我们能力最强的机器人“具身推理”模型。可以把 Gemini Robotics ER 2 看作是机器人的高级大脑。它让机器人能够与人类对话、理解物理世界并规划多步骤任务，然后将运动执行交给任意给定的底层视觉-语言-动作（VLA）模型。Gemini Robotics ER 2 还能原生调用 Google 搜索等工具来查找信息，或调用任何其他用户自定义函数。Gemini Robotics ER 2 的设计让机器人能够在执行动作的同时“思考”下一步。

Gemini Robotics ER 2 相比 Gemini Robotics ER 1.6 是一次重大升级。通过观看连续视频流，机器人现在能够跟踪自身进展、在出现问题时进行调整，并准确知道何时进入下一步。我们还引入了多机器人协作，使机器人能够在共享空间中协同工作，完成单个机器人无法独立完成的复杂工作流程。

Gemini Robotics ER 2 现已通过 Gemini API、Google AI Studio 向开发者公开提供，并在 Gemini Enterprise Agent Platform 上开放私密预览。为帮助你快速上手，我们分享了示例，展示如何配置该模型并编写提示词，以驱动更实用的物理 AI 任务。

提升物理智能体能力

物理世界中的大多数任务都很复杂，需要多个步骤才能完成。Gemini Robotics ER 2 是一个物理智能体，它为机器人编排各个步骤，使其能够自我纠正，并泛化到更新颖的情境中。要构建智能体式设置，开发者可以将底层控制接口——例如视觉-语言-动作（VLA）模型或导航 API——声明为工具，并将多模态视频、音频或文本直接流式传输到模型中。

Gemini Robotics ER 2 改进了这一工具编排工作流。我们可以在仿真中通过真实机器人控制来评估其与机器人配合的表现，甚至可以将其与远程操控机器人的人类配对。

在三种控制模式下——真实 VLA、仿真 VLA 和人类远程操控——Gemini Robotics ER 2 在工具编排方面始终优于 ER 1.6。

在机器人领域，高层推理取决于执行速度。Gemini Robotics ER 2 集成到 Gemini Live API 中，使用针对延迟敏感任务优化的双向流式端点。其结果是流畅的编排：Gemini Robotics ER 2 指挥动作模型和机器人 API 完成多步骤任务，而不会出现令人不适的“停下来思考”式停顿。

为说明这一点，我们与合作伙伴 Boston Dynamics 的 Spot 一起构建了一个演示。我们使用 Gemini Robotics ER 2 来编排 Spot API，例如导航和机械臂运动，打造出一个能为你取物的交互式机器人。

Gemini Robotics ER 2 驱动的 Boston Dynamic Spot 根据自然语言命令取来爆米花零食。

代码已在 Github 上提供，并附有其他示例。

解锁时间智能以实现稳健的任务完成

机器人技术最艰巨的挑战之一是知道任务何时完成。Gemini Robotics ER 2 在视频理解和进度跟踪方面带来了跨越式进步，能够验证复杂任务——例如拧紧灯泡或扎紧垃圾袋——是否按规格完成，然后再切换到下一个任务。

在本次更新中，我们在任务进度理解的两项基础能力上取得了进展：进度分类和时刻定位。

连续进度分类

进度分类是指机器人跟踪任务完成进度的能力。在我们的评估中，我们将视频流中的每一帧划分为五个进度级别（0-20%、20-40%、40-60%、60-80%、80-100%）。通过量化任务进度，Gemini Robotics ER 2 为机器人提供实时态势感知，使其能够即时调整动作或重试失败步骤，而无需重新启动整个工作流程。

Gemini Robotics ER 2 在进度分类任务上达到 57.4% 的准确率，优于前代模型和竞争的前沿模型。

精准时刻定位

时刻定位衡量模型识别关键事件发生的确切视频帧的能力（即何时停止向杯中倒咖啡）。Gemini Robotics ER 2 在时刻定位性能上取得显著提升，使机器人能够精确地在任务之间切换、验证成功并建议纠正措施。

在时刻定位任务上，Gemini Robotics ER 2 达到 91.3% 的准确率和 0.96 秒的平均绝对距离。它与规模大得多的模型类别竞争不相上下，但以极小的计算成本和 4 倍的执行速度实现这一精度——亚秒级延迟正是现实世界中安全操作物理机器人所实际需要的。

多机器人协作

没有单一机器人能胜任所有任务——轮式漫游车在室内表现出色，而人形机器人可能在不平坦地形上更胜一筹。Gemini Robotics 2 支持多机器人协作，让多样化的机器通过共享的语义理解进行通信，以交接并完成复杂任务。在此处查看 Gemini Robotics ER 2 如何让 Apptronik 的 Apollo 2 和 Franka F3 Duo 进行协作。

提升通用空间智能

Gemini Robotics ER 2 推进了我们的核心空间推理能力，这通过三个基准来衡量：

• 成功/失败检测： 现在基于原始视频流而非静态快照运行，以捕捉执行中途的失败，如溢出、滑落或错位。
• 通用仪表读取： 超越圆形表盘和视镜，扩展到数字显示屏、线性刻度、直尺和液体温度计。我们在 10 种不同类型的仪表上进行了测试。
• 增强空间 VQA： 通过 Gemini 在多模态理解方面的进步改进视觉问答。

Gemini Robotics ER 2 在所有核心能力上始终实现最高准确率，亮点包括成功检测（图像/视频）、问答（ERQA）和通用仪表读取。

推进具身智能的安全性

Gemini Robotics ER 2 是我们最安全的模型，在安全指令遵循和人类接近基准测试中取得了显著提升，这两项基准测试分别评估模型在推理任务中遵守物理约束的能力，以及检测人类的空间感知能力。我们发现，Gemini Robotics ER 2 能够在有人靠近时成功让类人机器人停止运行，并且仅在周围区域清空后才会自动恢复工作。为了推进物理智能体的安全性，我们推出了一项基准测试，通过测试基础模型执行安全约束、监控环境、评估物理可行性以及寻求人类澄清的能力，来评估其作为安全 VLA 编排器的能力。详情请参阅我们的安全技术报告。

Gemini Robotics ER 2 在安全指令遵循和人类接近基准测试中优于 ER 1.6 和其他前沿模型。

展望未来，我们的计划是推动这些模型处理更复杂的任务，以加速开发有用的机器人并支持机器人社区。

在您的收件箱中获取 Google 的最新消息

订阅我们的新闻通讯，获取产品更新、活动信息、特别优惠等更多内容。

您的信息将按照Google 隐私政策使用。您可以随时选择退出。