NVIDIA 五步打造机器人仿真用 SimReady 资产,结合前沿 AI 模型
NVIDIA 发布五步流程,借助 Omniverse 库、SimReady Foundation 规范和智能体技能,将 CAD 资产转换为机器人仿真可用的 SimReady 资产。该流程不限于几何转 OpenUSD,还要求配置并验证材质、碰撞几何、关节等物理属性,之后才能测试机器人行为。
NVIDIA 发布五步流程,借助 Omniverse 库、SimReady Foundation 规范和智能体技能,将 CAD 资产转换为机器人仿真可用的 SimReady 资产。该流程不限于几何转 OpenUSD,还要求配置并验证材质、碰撞几何、关节等物理属性,之后才能测试机器人行为。
NVIDIA 分享了教机器人组装 GB300 测试托盘的经验,GB300 是支撑现代基础模型训练与推理的 Grace Blackwell 超级芯片,其托盘组装目前依赖全球工厂的技能型体力劳动。文章围绕这一过程讨论了机器人学习、机械智能与工程实践。
微软研究院对移动操作机器人负载做了首次系统性测量,发现仅依赖机载 GPU 推理会限制机器人性能、电池寿命与可扩展性。
推荐理由:微软对机器人负载的首次系统性测量显示,把推理从机载 GPU 卸载到边缘或云端可在成功率、模型规模与续航上同时获益。
NVIDIA 在 ROSCon 发布 Isaac ROS 5.0,为 ROS 开发者带来智能体工作流与新的平台支持,免费开源。新版本支持 ROS Lyrical 和 Ubuntu 24.04,并与 Open Source Robotics Alliance 合作向 ROS Lyrical 贡献标准数据处理接口,CUDA 提供 GPU 加速示例。
NVIDIA 介绍如何借助 AI 智能体与 Isaac ROS 加速 ROS 2 节点:单有快速 CUDA kernel 并不足以让 ROS 2 graph 变快,消息在节点间传递时仍可能在 CPU 内存中序列化或拷贝,抵消感知与 AI 负载留在 GPU 上的收益。方案依托上游抽象与 NVIDIA 近期推出的 CUDA buffer 后端来消除这一瓶颈。
NVIDIA 推出 Halos,称其为首个也是唯一面向物理 AI 的全栈安全系统,覆盖设计、验证与部署各层,AV 与机器人共享同一套原则。ABI Research 预计 2035 年 L3-5 自动驾驶汽车保有量达 4900 万辆,Omdia 估算 2026 至 2035 年间约 6000 万台工业机器人将部署。
NVIDIA 介绍了一种用 AI 智能体训练跨具身机器人导航策略的方法。导航要求机器人持续定位自身、理解变化的环境、规划路线并避障,而迁移到新机器人或新场景往往需要新的数据、仿真资产和机器人接口。
NVIDIA 推出 Cosmos 3 Edge,这是 Cosmos 3 家族中的 4B 全模态模型,内置 2B 基于 Nemotron 的推理器,用于解决世界模型体积过大难以端侧部署的问题。该模型面向机器人利用自身传感器、环境和任务进行策略适配,NVIDIA 开发者博客介绍了如何对其做后训练以用于端侧机器人控制。
AWS 开源 SDK Strands Robots(Apache 2.0)演示了机器人数据闭环:用 Robot("so100") 录制 LeRobotDataset。
MIT CSAIL 与清华大学提出预训练方法 GeoPT,通过 130 万个"合成动力学"样本让仿真模型学习物理交互,峰值性能达成速度提升 2 倍、训练数据减少最多 60%。该方法可模拟车辆、飞机、船舶受风、水、碰撞等力的响应,在工业基准上速度和精度超过现有仿真模型。
NVIDIA 提出 World Action Models,用于解决机器人策略泛化难题:传统策略在训练场景有效,物体形状、位置或光照变化后往往失效。该模型通过让策略理解任务背后的物理规律而非模仿演示,从而泛化到新条件,这一能力来自其骨干网络。
MIT CSAIL 主任 Daniela Rus 获 2026 年巴伐利亚州长高科技奖,表彰其在机器人、人工智能与自主系统领域的贡献,该奖由巴伐利亚州政府与巴伐利亚科学与人文学院联合颁发,是德国奖金最高的技术与工程奖项。
NVIDIA 提出以 GPU 原生医学物理仿真开发医疗机器人,应对医疗机器人无法像自动驾驶或工业机器人那样依赖互联网规模数据采集和无限真实世界实验的问题。该领域每次演示都需要专用设备、临床专业知识和患者或实验室环境,由此带来数据缺口等三大挑战,仿真成为训练现代机器人策略的途径。
Google DeepMind 发布 Gemini Robotics 2,通过 VLA 模型、具身推理模型 Gemini Robotics ER 2 和端侧模型 Gemini Robotics On-Device 2 三个模型,实现人形机器人全身控制、灵巧操作与多机器人协作。
推荐理由:原文给出三个模型的职责分工与开放入口,读者可据此判断机器人智能层在全身控制与本地部署上的实际进展。
NVIDIA 推出 Cosmos-H-Dreams,一个面向手术机器人的实时、动作条件生成式仿真器,将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 推理库在单张 NVIDIA RTX PRO 6000 GPU 上运行。
Hugging Face 发布开源系统 Grabette,用手持夹爪加双摄像头记录人类操作演示,并自动转成机器人可用的 LeRobot 数据集。整套方案硬件全部开源,Grabette 手持设备 BOM 成本约 490€,配套的 Gripette 电机夹爪约 120€,数据可通过浏览器端 Space 完成 SLAM 与格式转换后上传 Hub 分享。
MIT 团队推出 FloatForm,一个由 21 厘米见方的小型方形机器船组成的集群系统,可自主拼装成刚性结构、拆解并重组为新构型。实验中海量 8 艘机器船从随机位置聚合、锁定、按指令分离并整体航行,单次耗时 4-8 分钟,仿真验证可平滑扩展至 64 艘;其去中心化方法让规划复杂度只取决于局部邻居而非集群总规模。
LeRobot 发布 v0.6.0,围绕机器人学习闭环引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新一批 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT)以及统一奖励模型 API(Robometer、TOPReward)。
推荐理由:原文给出世界模型策略、奖励模型 API 与六个仿真基准的完整清单,读者可据此判断机器人学习闭环的现有工具面。
AWS 开源的 Strands Robots SDK 将 LeRobot 相关的数据录制、策略推理和机器人抽象封装成 AgentTools,可组合成单个 Strands agent,把 Hub 上的数据集一路走到物理机器人。
推荐理由:完整走通从 Hub 数据集到真机的一条 Agent 流水线,说明仿真与硬件数据共用同一格式后,训练脚本可以不加改动地互换使用。
Google DeepMind 推出为期三个月的 Accelerator: Robotics 项目,从欧洲选拔 15 家早期机器人初创公司,提供技术指导、产品支持和 Gemini 机器人模型等 AI 资源。入选公司本周在伦敦集结,覆盖物流、制造、医疗、气候和导航等领域,例如挪威 3D-Components 的 RobTrack 将焊接与金属 3D 打印的参数选择和质量控制提速 280 倍。
Reachy Mini 对话应用现在可经由 MCP 调用托管在公开 Hugging Face Spaces 上的远程工具,通过 `reachy-mini-conversation-app tool-spaces add` 一条命令即可为机器人添加查天气、网页搜索等能力,工具运行在 Space 内、无需把代码下载到本地。
Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人的推理优先模型的一次重大升级,增强了空间推理与多视角理解,并新增仪表读数能力。
推荐理由:官方给出新版本在空间推理、成功检测与仪表读数上的能力变化,以及 API 与 AI Studio 的开放入口。
Hugging Face 的 LeRobot 发布 v0.5.0,自 v0.4.0 以来合并 200 多个 PR、新增 50 多位贡献者,是其迄今规模最大的版本。
推荐理由:LeRobot v0.5.0 一次性补齐人形机器人、自回归 VLA 策略与流式数据录制,读者可据此判断开源机器人栈的推进速度。
Hugging Face 发布 NXP 的嵌入式机器人 AI 实操指南,覆盖数据集录制、VLA 策略微调(ACT 与 SmolVLA)及端侧优化。指南建议采用顶视、夹爪、左视三摄像头配置,按 10×10 cm 划分 11 个工作区簇、每簇至少录制 10 个 episode,并用 20% 恢复型 episode 提升成功率。
AMD 联合 Hugging Face 和 Data Monsters 举办 AMD Open Robotics Hackathon,首站 12 月 5-7 日在东京,第二站 12 月 12-14 日在巴黎。
NVIDIA 发布 Isaac for Healthcare v0.4,提供基于 SO-ARM 的端到端入门工作流和"自带手术室"教程,覆盖数据采集、训练与部署全流程。
Hugging Face 发布 LeRobot v0.4.0,对开源机器人学习框架做重大升级,推出支持流式与分块 episode 的 LeRobotDataset v3.0 数据集格式、可用 pip install 接入第三方硬件的插件系统,并新增 lerobot-edit-dataset 数据集编辑工具。
推荐理由:内容完整列出数据集格式、插件系统与多GPU训练的具体改动,可据此判断开源机器人学习工具链的工程变化。
Hugging Face 发布 LeRobotDataset v3.0,将多个 episode 打包进单个文件,并用关系型元数据在 episode 级别检索,解决 v2 每文件一个 episode 在百万级数据集上的文件系统瓶颈。
Hugging Face 发布博客介绍机器人异步推理,将动作预测与动作执行解耦,让机器人在 PolicyServer 计算下一段动作时继续执行当前动作队列,从而消除等待推理的空闲时间。
Hugging Face 与 Pollen Robotics 联合发布开源机器人 Reachy Mini,Lite 版 399 美元、带计算与电池的 Compute 版 499 美元,预计约 90 天发货。
NVIDIA 发布 Isaac GR00T N1.5 后给出教程,演示如何用单台 LeRobot SO-101 机械臂的遥操作数据对模型做 post-training 微调。
Hugging Face 发布 SmolVLA,一个 450M 参数、可在消费级硬件运行的开源视觉语言动作(VLA)模型,仅用 lerobot 标签下社区共享的开源数据集预训练,包含 487 个数据集约 1000 万帧。
推荐理由:450M 参数的开源 VLA 只用社区数据就超过更大模型,并给出可复现的训练与部署路径。
Hugging Face 的 LeRobot 正推动机器人数据采集平民化,通过简化录制流程、打通上传至 HF Hub、降低硬件成本,让社区贡献数据集快速增长,目前以 So100 和 Koch 机械臂数据为主。团队将泛化视为数据问题,主张用开放多样的“机器人 ImageNet”替代学术实验室里结构单一的数据。
Hugging Face 宣布收购已成立 9 年的开源机器人公司 Pollen Robotics,这是其继 Gradio、XetHub 之后的第五次收购。公司同时开始售卖首款机器人 Reachy 2,这款开源且兼容 VR 的人形机器人面向研究、教育与具身 AI 实验,售价 7 万美元,可通过邮件订购,已在康奈尔、卡内基梅隆等实验室使用。
NVIDIA 在 GTC 2025 上发布三款面向物理 AI 开发者的开源资源:70 亿参数的 Cosmos Transfer 世界基础模型、15TB 的 Physical AI Dataset,以及首个通用人形机器人开源基础模型 NVIDIA Isaac GR00T N1。
推荐理由:三款开源发布给出参数规模、数据量和模型结构,读者可据此判断物理 AI 开发的基础资源变化。
Hugging Face 已将 Physical Intelligence 开发的两个机器人基础模型 π0 与 π0-FAST 移植到 LeRobot 仓库,可在其生态中使用。
Pollen Robotics 开源 pollen-vision 库,将 OWL-ViT、Mobile Sam、RAM 等零样本视觉模型整合为可组合模块,搭建 3D 物体检测流程,无需训练即可输出物体在 3D 空间中的 (x, y, z) 坐标。