NVIDIA 在 GTC 2025 发布 Cosmos Transfer、Physical AI Dataset 与 Isaac GR00T N1


用于物体操作的 NVIDIA Isaac GR00T N1。

在一年一度的 GTC 大会上，NVIDIA 发布了一系列突破性的开源产品，旨在加速物理 AI 的发展。发布的一套带有多重控制的新世界基础模型（WFM）Cosmos Transfer、经过精心整理的物理 AI 数据集，以及首个用于通用人形推理的开放模型 NVIDIA Isaac GR00T N1 —— 代表着物理 AI 技术的重大飞跃，为开发者提供了强大的工具和资源，以推进机器人系统并增强自动驾驶汽车技术。

新世界基础模型 - Cosmos Transfer

Cosmos Transfer 是 NVIDIA Cosmos™ 世界基础模型（WFM）系列的最新成员，在生成虚拟世界场景方面引入了新的控制水平和精度。

该模型提供 70 亿参数规模，利用多重控制从结构化输入引导生成高保真世界场景，确保精确的空间对齐和场景构图。

工作原理

该模型的构建方式是为用于捕捉模拟世界的每种传感器模态分别训练单独的 ControlNet。

3D bounding box map input Trajectory map input Depth map input Segmentation map input

输入类型包括 3D 边界框图、轨迹图、深度图、分割图。

在推理时，开发者可以使用各种输入类型，包括结构化视觉或几何数据，如分割图、深度图、边缘图、人体运动关键点、LiDAR 扫描、轨迹、HD 地图和 3D 边界框来引导输出。
来自每个控制分支的控制信号乘以其对应的自适应时空控制图，然后求和，再添加到基础模型的 transformer 模块中。
生成的输出是逼真的视频序列，具有受控的布局、物体放置和运动。开发者可以通过多种方式控制输出，例如保留结构和外观，或在保持结构的同时允许外观变化。

Output 1 Output 2 Output 3

Cosmos Transfer 在不同环境和天气条件下的输出。

Cosmos Transfer 与 NVIDIA Omniverse 平台相结合，正在推动机器人和自动驾驶汽车开发中规模化可控合成数据的生成。在 GitHub 上查找更多 Cosmos Transfer 示例。

使用后训练基础模型构建的 Cosmos Transfer 样本也可用于自动驾驶汽车。

开放物理 AI 数据集

NVIDIA 还发布了物理 AI 数据集，这是一个在 HF Mirror 上的开源数据集，用于开发物理 AI。这个商业级、经过预验证的数据集包含 15 TB 的数据，代表超过 320,000 条用于机器人训练的轨迹，以及多达 1,000 个通用场景描述（OpenUSD）资产，包括一个 SimReady 集合。

该数据集专为后训练基础模型（如 Cosmos Predict 世界基础模型）而设计，为开发者提供高质量、多样化的数据，以增强其 AI 模型。

专为人形机器人打造的模型 - NVIDIA Isaac GR00T N1

另一个令人兴奋的公告是发布 NVIDIA Isaac GR00T N1，这是全球首个用于通用人形机器人推理和技能的开放基础模型。这个跨实体模型接受多模态输入，包括语言和图像，以在不同环境中执行操作任务。NVIDIA Isaac GR00T-N1-2B 模型已在 HF Mirror 上提供。

Isaac GR00T N1 是在一个广泛的人形数据集上训练的，该数据集由真实捕获数据、使用 NVIDIA Isaac GR00T Blueprint 组件生成的合成数据以及互联网规模的视频数据组成。它可以通过后训练适应特定的实体、任务和环境。

Isaac GR00T N1 使用单一模型和一组权重，使各种人形机器人能够实现操作行为，例如 Fourier GR-1 和 1X Neo。它在一系列任务中展示了强大的泛化能力，包括用单臂或双臂抓取和操作物体，以及在手臂之间转移物品。它还可以执行复杂的多步骤任务，这些任务需要持续的上下文理解以及多种技能的整合。这些能力使其非常适合物料搬运、包装和检验等应用。

Isaac GR00T N1 采用受人类认知启发的双系统架构，由以下互补组件组成：

视觉-语言模型（System 2）：这种有条理的思考系统基于 NVIDIA-Eagle 与 SmolLM-1.7B。它通过视觉和语言指令解释环境，使机器人能够推理其环境和指令，并规划正确的行动。
扩散 Transformer（System 1）：这个动作模型生成连续动作来控制机器人的运动，将 System 2 制定的动作计划转化为精确、连续的机器人运动。

前进之路

后训练是推进自主系统、为下游物理 AI 任务创建专用模型的前进之路。

请查看 GitHub 上的 Cosmos Predict 和 Cosmos Transfer 推理脚本。探索 Cosmos Transfer 研究论文以了解更多细节。

NVIDIA Isaac GR00T-N1-2B 模型已在 HF Mirror 上提供。使用自定义用户数据集进行后训练的示例数据集和 PyTorch 脚本（兼容 HF Mirror LeRobot 格式）可在 GitHub 上获取。有关 Isaac GR00T N1 模型的更多信息，请参阅研究论文。

关注 NVIDIA on HF Mirror 以获取更多更新。