NVIDIA 发布 Cosmos Reason 2，面向物理 AI 的开源推理视觉语言模型

NVIDIA 今日发布 Cosmos Reason 2，这是面向物理 AI 的开放式推理视觉语言模型的最新进展。Cosmos Reason 2 在准确性上超越其前代版本，并登顶 Physical AI Bench 和 Physical Reasoning 排行榜，成为视觉理解领域排名第一的开放模型。

NVIDIA Cosmos Reason 2：面向物理 AI 的推理视觉语言模型

自问世以来，视觉语言模型在图像中的物体和模式识别等任务上迅速提升。但它们在人类觉得轻而易举的任务上仍然吃力，比如提前规划多个步骤、应对不确定性或适应新情况。Cosmos Reason 旨在弥合这一差距，为机器人和 AI 智能体赋予更强的常识和推理能力，以逐步解决复杂问题。

Cosmos Reason 2 是一款最先进的开放式推理视觉语言模型（VLM），让机器人和 AI 智能体能够像人类一样在物理世界中观察、理解、规划和行动。它运用常识、物理规律和先验知识来识别物体如何在空间和时间中运动，从而处理复杂任务、适应新情况，并逐步找到解决问题的方法。

✨ 核心亮点

改进的时空理解和时间戳精度。
通过 2B 和 8B 参数模型规模，以从边缘到云的灵活部署选项优化性能。
支持更广泛的空间理解和视觉感知能力——2D/3D 点定位、边界框坐标、轨迹数据以及 OCR 支持。
通过 256K 输入 token 改进长上下文理解，较 Cosmos Reason 1 的 16K 大幅提升。
借助易用的 Cosmos Cookbook 配方适配多种用例。

🤖 热门用例

视频分析 AI 智能体——这些智能体可以从海量视频数据中提取有价值的洞察，以优化流程。Cosmos Reason 2 在 Cosmos Reason 1 能力的基础上构建，现在提供 OCR 支持，以及 2D/3D 点定位和一组标记理解能力。

Cosmos Reason 如何理解视频中嵌入的文字，以判断暴雨期间道路状况的示例。

开发者可以使用 NVIDIA 视频搜索与摘要（VSS）蓝图，以 Cosmos Reason 作为 VLM，快速启动视频分析 AI 智能体的开发。

Salesforce 正在通过 Agentforce 和以 Cosmos Reason 作为 VLM 的 VSS 蓝图，分析 Cobalt 机器人拍摄的视频画面，从而变革工作场所的安全与合规。
数据标注与评估——让开发者能够对海量、多样的训练数据集进行高质量标注和评估的自动化。Cosmos Reason 为真实或合成生成的训练视频提供时间戳和详细描述。

为赛车视频生成详细的、带时间戳的字幕的示例提示词。

Uber 正在探索 Cosmos Reason 2，为自动驾驶汽车（AV）训练数据提供精准、可搜索的视频字幕，从而高效识别关键驾驶场景。这份共同编写的 Reason 2 用于 AV 视频字幕与 VQA 的配方展示了如何在标注的 AV 视频上微调和评估 Cosmos Reason 2-8B。在多项评估指标上均取得了可量化的提升：BLEU 分数提高了 10.6%（0.113 → 0.125），基于 MCQ 的 VQA 提升了 0.67 个百分点（80.18% → 80.85%），LingoQA 提高了 13.8%（63.2% → 77.0%）。这些收益表明针对 AV 应用实现了有效的领域适应。
机器人规划与推理 — 在机器人视觉语言动作（VLA）模型中充当大脑，进行深思熟虑、有条不紊的决策。Cosmos Reason 2 现在除了确定下一步行动外，还能提供轨迹坐标。

Cosmos Reason 2 给出的提示词与 JSON 输出示例，展示机器人夹爪为将美纹纸胶带移入篮子需要采取的步骤和轨迹。

Encord 在其 Data Agent 库和 AI 数据平台中为 Cosmos Reason 2 提供原生支持，使开发者能够将 Cosmos Reason 2 作为 VLA 用于机器人及其他物理 AI 用例。

Hitachi、Milestone 和 VAST Data 等公司正在使用 Cosmos Reason 推进机器人、自动驾驶以及用于交通和工作场所安全的视频分析 AI 智能体。

在 build.nvidia.com 上试用 Cosmos Reason 2，通过用于生成边界框和机器人轨迹的示例提示词体验最新功能。上传你自己的视频和图像以进行进一步分析。

在 Hugging Face 上下载 Cosmos Reason 2 模型（2B 和 8B），或在云端使用 Cosmos Reason 2。该模型即将在 Amazon Web Services、Google Cloud 和 Microsoft Azure 上线。要开始使用，请查看 Cosmos Reason 2 文档和 Cosmos Cookbook。

Cosmos 系列的其他模型：

🔮 Cosmos Predict 2.5

Cosmos Predict 是一种生成式 AI 模型，可基于文本、图像或视频输入，以视频形式预测物理世界的未来状态。

Physical AI Bench 在质量、准确性和整体一致性方面处于领先地位。
每次生成可输出最长 30 秒物理和时间上一致的片段。
支持多种帧率和分辨率。
在 2 亿个片段上预训练。
提供 2B 和 14B 预训练模型，以及多种 2B 后训练模型，适用于多视角、动作条件控制和自动驾驶汽车训练。

查看模型卡>>

🔁 Cosmos Transfer 2.5

Cosmos Transfer 是我们最轻量的多控制模型，专为视频到世界风格迁移而构建。

将单个仿真或空间视频扩展到各种环境和光照条件。
改进了提示词遵循度和物理对齐。
与 NVIDIA Isaac Sim™ 或 NVIDIA Omniverse NuRec 配合使用，实现仿真到现实的转换。

查看模型卡>>

🤖 NVIDIA GR00T N1.6

NVIDIA GR00T N1.6 是一个开放的推理视觉语言动作（VLA）模型，专为人形机器人打造，可实现全身控制，并使用 NVIDIA Cosmos Reason 来实现更好的推理和上下文理解。

资源

▶️ 观看 Cosmos 演示 → https://youtu.be/iWs-2TD5Dcc

🧑🏻‍🍳 阅读 Cosmos Cookbook → https://nvda.ws/4qevli8

📚 探索模型和数据集 → https://github.com/nvidia-cosmos

⬇️ 在我们的托管目录中试用 Cosmos 模型 → https://nvda.ws/3Yg0Dcx

💻 加入 Cosmos 社区 → https://discord.gg/u23rXTHSC9

🗳️ 为 Cosmos Cookbook 做贡献 → https://nvda.ws/4aQcBkk