Google DeepMind 发布 D4RT 统一 4D 场景重建与追踪模型

2026年1月22日 研究

Guillaume Le Moing 和 Mehdi S. M. Sajjadi

介绍 D4RT，一个统一的 AI 模型，用于跨空间和时间的 4D 场景重建与跟踪。

每当我们观察世界时，我们都在进行一项非凡的记忆与预测壮举。我们看见并理解事物在某一时刻的状态、片刻之前的状态，以及下一刻将如何变化。我们对世界的心智模型保持着对现实的持续表征，并借此对过去、现在与未来之间的因果关系得出直觉性结论。

为了让机器更像我们一样看世界，我们可以为它们配备摄像头，但这只解决了输入问题。要让计算机理解这些输入，必须解决一个复杂的逆问题：取一段视频——即一系列平面的 2D 投影序列——并从中恢复或理解丰富的、运动中的体积化 3D 世界。

今天，我们推出 D4RT（Dynamic 4D Reconstruction and Tracking，动态 4D 重建与跟踪），这是一个新的 AI 模型，将动态场景重建统一到一个单一、高效的框架中，使我们更接近人工智能的下一个前沿：对我们动态现实的完全感知。

第四维度的挑战

为了理解 2D 视频中捕捉到的动态场景，AI 模型必须跟踪每个物体在三个空间维度和第四个时间维度中运动时的每个像素。此外，它还必须将这种运动与相机运动分离开来，即使在物体相互遮挡或完全离开画面时，也要保持连贯的表征。传统上，从 2D 视频中捕捉这种级别的几何和运动需要计算密集型过程，或由多个专用 AI 模型拼凑而成——一些负责深度，另一些负责运动或相机角度——导致 AI 重建既缓慢又碎片化。

D4RT 简化的架构和新颖的查询机制使其处于 4D 重建的前沿，同时比先前方法效率高出多达 300 倍——快到足以用于机器人、增强现实等实时应用。

D4RT 如何工作：基于查询的方法

D4RT 作为一个统一的编码器-解码器 Transformer 架构运行。编码器首先将输入视频处理为场景几何和运动的压缩表征。与为不同任务采用独立模块的旧系统不同，D4RT 通过一个围绕单一基本问题的灵活查询机制，只计算它所需的内容：

“视频中给定像素在任意时间、从选定相机观察时，位于3D 空间中的何处？”

基于我们先前的工作，一个轻量级解码器随后查询这一表征，以回答所提出问题的具体实例。由于查询彼此独立，它们可以在现代 AI 硬件上并行处理。这使得 D4RT 极其快速且可扩展，无论是跟踪几个点还是重建整个场景。

能力：快速、准确的 4D 理解

借助这种灵活的表述方式，该模型现在可以解决各种各样的 4D 任务，包括：

• 点跟踪：通过查询像素在不同时间步的位置，D4RT 可以预测其 3D 轨迹。重要的是，即使物体在视频的其他帧中不可见，模型也能做出预测。
• 点云重建：通过冻结时间和相机视角，D4RT 可以直接生成场景的完整 3D 结构，省去了单独的相机估计或逐视频迭代优化等额外步骤。
• 相机姿态估计：通过生成并对齐同一时刻不同视角的 3D 快照，D4RT 可以轻松恢复相机的轨迹。

如底层技术报告中详细所述，D4RT 在广泛的 4D 重建任务中优于此前的方法。定性比较显示，其他方法在动态物体上表现不佳——常常将其重复或完全无法重建——而 D4RT 对运动中的世界保持着稳固、连续的理解。

至关重要的是，D4RT 的精度并非以牺牲效率为代价。在测试中，它的速度比此前的最优方法快 18 倍到 300 倍。例如，D4RT 在单个 TPU 芯片上大约五秒即可处理一分钟的视频。此前的最优方法完成相同任务可能需要长达十分钟——提升了 120 倍。

下游应用

D4RT 表明，我们在 4D 重建中无需在精度和效率之间做出取舍。其灵活的、基于查询的系统可以实时捕捉我们动态的世界，为下一代空间计算铺平道路。这包括：

• 机器人：机器人需要在由移动的人和物体构成的动态环境中导航。D4RT 可以提供安全导航和灵巧操作所需的空间感知能力。
• 增强现实（AR）：AR 眼镜要将数字物体叠加到现实世界上，需要对场景几何形状有即时、低延迟的理解。D4RT 的高效率有助于让设备端部署成为切实可行的现实。
• 世界模型：通过有效分离相机运动、物体运动和静态几何，D4RT 让我们更接近拥有对物理现实真正“世界模型”的 AI——这是通往 AGI 道路上的必要一步。

我们正在继续探索该模型的能力及其在机器人、增强现实等领域应用的潜力。