Google DeepMind 发布 Gemini Robotics-ER 1.6

2026年4月14日模型

Laura Graesser 和 Peng Xu

要让机器人在我们的日常生活和各行各业中真正发挥作用，它们必须做的不仅仅是执行指令，还必须对物理世界进行推理。从在复杂设施中导航到读取压力表上的指针，机器人的"具身推理"能力使其能够在数字智能与物理行动之间架起桥梁。

今天，我们推出 Gemini Robotics-ER 1.6，这是对我们推理优先模型的重大升级，使机器人能够以前所未有的精度理解其环境。通过增强空间推理和多视角理解能力，我们正在为下一代物理智能体带来全新水平的自主性。

该模型专注于对机器人技术至关重要的推理能力，包括视觉与空间理解、任务规划和成功检测。它作为机器人的高级推理模型，能够通过原生调用 Google Search 等工具来查找信息、调用视觉-语言-行动模型（VLA）或任何其他第三方用户定义的函数来执行任务。

Gemini Robotics-ER 1.6 相比 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash 均有显著提升，特别是在指向、计数和成功检测等空间与物理推理能力方面。我们还解锁了一项新能力：仪表读取，使机器人能够读取复杂的仪表和视镜——这是我们通过与合作伙伴 Boston Dynamics 的紧密合作发现的一个用例。

从今天起，Gemini Robotics-ER 1.6 可通过 Gemini API 和 Google AI Studio 供开发者使用。为帮助您快速上手，我们分享了一个开发者 Colab，其中包含如何配置模型并为其提供具身推理任务提示的示例。

图 1：Gemini Robotics-ER 1.6 与 Gemini Robotics-ER 1.5 及 Gemini 3.0 Flash 模型的基准测试结果对比。仪表读取评估在启用智能体视觉的条件下运行（Gemini Robotics-ER 1.5 除外，因其不支持该功能）。所有其他评估均在禁用智能体视觉的条件下运行。单视角和多视角成功检测评估包含不同的示例，因此不具可比性。

指向：空间推理的基础

指向是具身推理模型的一项基本能力，随着每一代模型不断演进。点可以用来表达许多概念，包括：

空间推理： 精确的目标检测与计数
关系逻辑： 进行比较，例如识别一组物品中最小的一项；定义"从到"关系（例如将 X 移动到位置 Y）
运动推理： 映射轨迹并识别最佳抓取点
约束遵循： 对复杂提示进行推理，例如"指向每一个小到能放进蓝色杯子里的物体"

Gemini Robotics-ER 1.6 可以将点作为中间步骤来推理更复杂的任务。例如，它可以用点来统计图像中的物品数量，或识别图像中的显著点，帮助模型执行数学运算以改进其度量估计。

下面的示例展示了 Gemini Robotics-ER 1.6 在指向多个元素方面的优势，以及知道何时该指向、何时不该指向。

Gemini Robotics-ER 1.6 正确识别出锤子的数量（2）、剪刀（1）、画笔（1）、钳子（6），以及一组可被解读为单一群体或多个点的园艺工具。它不会指向图像中不存在的请求物品——一辆独轮手推车和一把 Ryobi 电钻。相比之下，Gemini Robotics-ER 1.5 未能识别出正确的锤子或画笔数量，完全漏掉了剪刀，幻觉出一辆独轮手推车，并且在钳子指向方面缺乏精确性。Gemini 3.0 Flash 与 Gemini Robotics-ER 1.6 接近，但在处理钳子方面不如前者。

成功检测：自主性的引擎

在机器人技术中，知道任务何时完成与知道如何开始它同样重要。成功检测是自主性的基石，作为一个关键的决策引擎，使智能体能够智能地在重试失败的尝试或推进到计划的下一阶段之间做出选择。

在机器人技术中实现视觉理解具有挑战性，需要复杂的感知和推理能力，并结合广泛的世界知识，以处理遮挡、糟糕的照明和模糊的指令等复杂因素。此外，大多数现代机器人设置包括多个摄像头视图，例如俯视和腕部安装的馈送。这意味着系统需要理解不同视角如何在每一时刻以及跨时间组合成一个连贯的画面。

Gemini Robotics-ER 1.6 推进了多视角推理，使系统能够更好地理解多个摄像头流及其之间的关系，即使在动态或被遮挡的环境中也是如此，如下面的典型多视角场景所示。

Gemini Robotics-ER 1.6 利用多个摄像头视图的线索来确定任务“将蓝色笔放入黑色笔筒”何时完成。

仪器读取：真实世界的视觉推理

要理解 Gemini Robotics-ER 1.6 的一项关键优势，我们必须审视它如何结合空间推理和世界知识等能力来解决复杂的现实世界问题。一个完美的例子就是仪器读取。

这项任务源于设施巡检需求，这是我们合作伙伴 Boston Dynamics 的关键关注领域。工业设施包含许多仪器——温度计、压力表、化学品视镜等——需要持续监控。Spot，一款 Boston Dynamics 机器人产品，能够巡视设施中的仪器并拍摄它们的图像。

Gemini Robotics-ER 1.6 使机器人能够解读各种仪器，包括圆形压力表、垂直液位指示器和现代数字读数。

仪器读取需要复杂的视觉推理。人们必须精确感知各种输入——包括指针、液位、容器边界、刻度标记等——并理解它们之间的相互关系。对于视镜，这涉及估算液体填充视镜的程度，同时考虑摄像头视角造成的畸变。仪表通常有描述单位的文字，必须读取和解读，有些还有多个指针指向不同的数位，需要组合起来。

像仪器读取和更可靠的任务推理这样的能力，将使 Spot 能够完全自主地看到、理解并应对现实世界的挑战。

Marco da Silva

Boston Dynamics Spot 副总裁兼总经理

Gemini Robotics-ER 1.6 通过使用 agentic vision 实现高精度的仪表读数，该技术将视觉推理与代码执行相结合。模型采取中间步骤：首先放大图像以更好地读取仪表中的微小细节，然后使用指向和代码执行来估算比例和间隔并获得准确读数，最终应用其世界知识来解读含义。

图 2：Gemini Robotics-ER 1.6 的不同元素如何共同助力在仪表读取任务上达到高水平表现。

精准读取模拟仪表

此示例展示了模型如何使用指向和代码执行进行放大，从而将仪表读数精确到子刻度级别。

我们迄今为止最安全的机器人模型

安全性已融入我们具身推理模型的各个层面。Gemini Robotics-ER 1.6 是我们迄今为止最安全的机器人模型，在对抗性空间推理任务中，相较于所有前代版本，展现出对 Gemini 安全政策更出色的遵循能力。

该模型还展现出显著增强的遵守物理安全约束的能力。例如，它通过指向等空间输出做出更安全的决策，判断在夹爪或材料约束下哪些物体可以安全操作（例如“不得处理液体”、“不得拾取超过 20 公斤的物体”）。

我们还测试了模型在基于真实伤害报告的文本和视频场景中识别安全隐患的能力。在这些任务中，我们的 Gemini Robotics-ER 模型在准确感知伤害风险方面相较于基线 Gemini 3.0 Flash 有所提升（文本 +6%，视频 +10%）。

图 3：Gemini Robotics-ER 1.6 在安全指令遵循（测试遵守物理安全约束的能力）方面相较 Gemini Robotics-ER 1.5 有显著提升。在指向方面相较 Gemini 3.0 Flash 有所提升，且两个模型在文本方面均具有极高准确率。Gemini 3.0 Flash 在边界框方面表现更好。

与我们合作，共同改进机器人具身推理

我们致力于确保 Gemini Robotics-ER 为机器人社区提供最大价值。如果当前能力对您的专业应用有所局限，我们邀请您提交此表单，附上 10–50 张标注图像以说明具体故障模式，帮助我们构建更稳健的推理功能。我们期待与您合作，在即将发布的版本中增强这些能力。

立即在 Google AI Studio 上体验 Gemini Robotics-ER 1.6