NVIDIA AI Day Singapore 举行：NVIDIA 与伙伴展示东南亚 AI 进展
NVIDIA AI Day Singapore 于 9 月 22-23 日在新加坡举行，NVIDIA 与合作伙伴展示东南亚区域的 AI 进展。
#多模态
#多模态
今日 4 条NVIDIA BlogAI 评分1919
NVIDIA Developer BlogAI 评分3434 如何用 AI 智能体为仿真准备 3D 场景
AI 智能体工作流可用于为物理 AI 系统准备并验证数字孪生：智能体检查 3D 场景、在 OpenUSD 中编写仿真相关数据、添加物理属性、渲染预检视图，并对照 SimReady 要求验证结果。该流程覆盖从 Blender 场景到交付给 NVIDIA 的仿真就绪 OpenUSD 交接。
MIT News · AIAI 评分3939 MIT 新方法 HardFlow 让生成式 AI 满足安全关键场景的硬约束
MIT 研究人员提出 HardFlow，让预训练生成模型在部署阶段满足安全、物理等不可妥协的硬约束，同时提升输出质量，无需重新训练。该方法把硬约束采样重构为轨迹优化问题，只在最终输出上强制约束，而非每个中间步骤。在机器人操作、迷宫导航和文本引导图像编辑实验中，HardFlow 实现完全约束满足，质量持续优于基线方法，计算时间与多数同类方法相当或更低。
NVIDIA Developer BlogAI 评分3434 何时使用 Encode-Prefill-Decode 解耦加速多模态模型服务
NVIDIA 详解多模态推理优化技术 Encode-Prefill-Decode（EPD）解耦：将视觉编码阶段与 prefill、decode 阶段分离，在图像密集提示、短到中等长度输出以及量化 MoE 模型上收益最大。结合 NVIDIA Dynamo 使用，最多可实现 5 倍加速。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 WeatherNext 3 全球天气 AI 模型
Google DeepMind 与 Google Research 发布 WeatherNext 3 全球天气模型，直接学习实时对地静止卫星观测数据，每小时输出一次预报，温度等关键地表变量分辨率达 5 公里，较上一代 WeatherNext 2 的 25 公里、6 小时更新提升约 5 倍。
推荐理由：官方披露了分辨率、更新频率与训练数据来源的变化，可对比上一代判断天气模型精度提升的路径。
Hugging Face BlogAI 评分4343 Hugging Face 发布 NeoMME：260M 与 800M 多语言多模态编码器
Hugging Face 推出 NeoMME，包含 260M 和 800M 两个多语言多模态编码器，不用独立预训练视觉塔或因果语言模型，由单个双向 Transformer 同时处理文本 token 与原始图像 patch，并以掩码离散扩散目标从零训练。
Google DeepMind精选AI 评分7878 Google DeepMind 为 Gemini 推出智能体视频理解功能
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能，通过动态检索帧、音频和转录文本，将 token 消耗降低最多 88%、分析成本降低最多 66%、准确率提升最多 7%。
推荐理由：Gemini 新功能给出 token 与成本下降幅度及启用方式，读者可据此评估长视频分析流程的改动空间。
NVIDIA Developer BlogAI 评分1818 用 NVIDIA Omniverse NuRec 跨车型平台扩展自动驾驶感知
NVIDIA Omniverse NuRec 用于跨车型平台扩展自动驾驶感知，解决同一套感知软件换到新车型后感知结果变化的问题。文章指出，传感器布局、标定、视场、遮挡、车身几何、时序与覆盖范围都会随车型改变，例如同一红绿灯可能出现在画面不同位置。
NVIDIA Developer Blog精选AI 评分6666 阿里发布 Qwen3.8-Flash-Next 权重，预览 Qwen4 架构
阿里发布 Qwen3.8-Flash-Next 的模型权重，作为即将推出的 Qwen4 架构的预览，供开发者实验和评估。该模型是多模态 MoE 模型，主模型 125B 参数，另有 51B N-gram 嵌入向量，每 token 激活 6B 参数，原生上下文窗口 262,144 token，可扩展至 1M token。
IEEE Spectrum · AIAI 评分1313 Ollobot OlloNi SS1：AI 陪伴机器人如何填补现代家庭的情感空缺
Ollobot 推出 AI 家庭陪伴机器人 OlloNi SS1，配备多芯片 AI 4K 视觉模块，支持人脸识别与运动追踪，并内置物理摄像头隐私盖。该机器人可在木地板、瓷砖和低矮地毯上移动，爬坡能力达 3.5 度，具备跌倒检测、主动互动与持续在场能力，面向独居老人、异地务工家庭的儿童和城市独居职场人三类场景。
NVIDIA Developer BlogAI 评分1818 用 NVIDIA FLARE 构建联邦多模态 AI 工作流
NVIDIA FLARE 可用于构建联邦多模态 AI 工作流，让视觉问答、图像描述与图文推理等视觉语言模型（VLM）任务在数据无法集中、原始记录分散于各机构的前提下完成协同训练。原文正文指出，现代 VLM 已能支持这些任务，而联邦学习提供了跨数据本地站点协调训练的途径。
Hugging Face Blog精选AI 评分7171 Sentence Transformers v6.0 新增 MultiVectorEncoder 支持 ColBERT 式晚交互检索
Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder，用于 ColBERT 式晚交互检索，PyLate、Stanford-NLP ColBERT 以及 colpali-engine 视觉文档检索检查点均可通过同一套 API 加载。
推荐理由：原文给出多种 ColBERT 类检查点的统一加载方式，以及索引体积与检索收益之间的实测取舍，可据此决定是否替换现有稠密检索。
Hugging Face BlogAI 评分3838 OlmoEarth Studio 推出自定义嵌入向量导出，支持下游分析
Hugging Face 的 OlmoEarth Studio 现支持计算并导出由开源 OlmoEarth 基础模型生成的地球观测嵌入向量，输出为 Cloud-Optimized GeoTIFF（COG），向量以 int8 存储、每维一个波段。
Microsoft ResearchAI 评分4343 MindTopo：新基准揭示多模态大模型的空间拓扑推理短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大模型对连通性、封闭、顺序、分离与打结等拓扑关系的理解，同时考察静态识别与交互规划。当前模型在静态推理上明显强于交互规划，且均远低于人类水平，失败多发生在规划阶段而非感知阶段。图像与视频生成仅在有助保持结构约束时才有效。
Google DeepMind精选AI 评分7676 Google DeepMind 发布多语种手语转文本模型 SL2T，首发 Gboard 与 Live Transcribe
Google DeepMind 发布多语种手语转文本模型 SL2T，并在 Pixel 11 的 Gboard 与 Live Transcribe 中以 ASL 转英文的听写功能首次进入消费产品，训练数据超 10 万小时、覆盖 50 多种手语。
推荐理由：官方给出了 SL2T 的数据规模、基准成绩和隐私处理方式，可据此判断手语翻译在消费端落地的可行边界。
NVIDIA Developer BlogAI 评分2424 NVIDIA JetPack 7.2.1 新增智能体视频技能与 T3000 仿真
NVIDIA 发布 JetPack 7.2.1，为 Jetson 平台加入智能体视频技能（Agentic Video Skills）和 T3000 仿真（T3000 Emulation）。JetPack 面向机器人与智能视频分析等场景，覆盖多摄像头采集、网络流解码、AI 推理与视频编码的完整数据路径。
Microsoft ResearchAI 评分4646 微软研究院发布 CARE-X：面向临床可用的放射学 VLM，融合辅助监督、奖励对齐学习与工具增强测量
微软研究院推出胸部 X 光 VLM 研究模型 CARE-X，用辅助监督头与 DAPO 强化学习在生成式与判别式任务间统一推理，并明确其尚未获监管批准、不可用于临床诊断。
Hugging Face Blog精选AI 评分8282 Meta 发布 Muse Glimmer：30B 本地智能体多模态开源模型
Meta 发布多模态模型 Muse Glimmer，从 Muse 蒸馏到 30B 参数，采用 Apache 2.0 许可，面向本地智能体场景，可用于编码、文档分析和个人助理。
推荐理由：材料给出 30B 多模态模型在智能体与编码基准上的完整对比表和本地部署路径，可判断其端侧适用边界。
NVIDIA Developer BlogAI 评分3535 NVIDIA Alpamayo 2 Super：用开放 340 亿参数推理视觉模型生成轨迹、推理链与自动标注
NVIDIA 推出 Alpamayo 2 Super，一个开放 340 亿参数的推理视觉模型，可在自动驾驶开发中统一生成轨迹、高层意图预测、场景理解与数据标注，替代此前各环节分立的模型。该模型支持在同一套表示上对比相关输出、排查模型行为，并复用至整个开发流程。
MIT News · AIAI 评分5454 MIT 研究：医疗 AI 辅助的效果因使用者专业水平而异
MIT 等机构的一项研究发现，可解释 AI 对皮肤疾病诊断的辅助效果取决于使用者的医学知识水平：非专家的诊断准确率虽有提升，但主要源于对模型的顺从，他们无论解释对错都会信任基于 LLM 的解释，且解释越模糊笼统越觉得有说服力；而临床医生不受错误 AI 解释干扰，只在仅给出模型预测、不带解释时表现最好。
Google DeepMind精选AI 评分7676 Google DeepMind 发布 Gemini Robotics ER 2，为机器人带来视频理解、任务编排与多机器人协作
Google DeepMind 发布面向机器人的具身推理模型 Gemini Robotics ER 2，作为高层“大脑”负责对话、理解物理世界并规划多步任务，再把电机执行交给底层 VLA 模型。
推荐理由：Gemini Robotics ER 2 给出了多机器人协作与视频进度追踪的能力细节和开发者接入方式。
NVIDIA Developer BlogAI 评分2929 NVIDIA Ising Calibration 1.5 发布：用增强的上下文学习实现全自动量子计算机校准
NVIDIA 发布开源视觉语言模型 Ising Calibration 1.5，可解读量子处理器的诊断输出并判断其调优方式，实现基于 AI 的 QPU 自动校准。该版本增强了上下文学习能力，无需先前的训练样本即可分析陌生的诊断结果。
Hugging Face BlogAI 评分2626 新模型登场，优势依旧：DharmaOCR 在巴西葡萄牙语 OCR 基准上领先 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在专为葡萄牙语设计的 OCR 基准上得分 0.925，超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。
MIT News · AIAI 评分3131 MIT 新方法让 2D 设计更高效地转为 3D 模型，加速快速原型制作
MIT 等机构研究人员开发出 GIFT（Geometric Inference Feedback Tuning）系统，教视觉语言模型自动把 2D 设计转换为可直接执行的 CAD 程序，精度更高且只用约 20% 的算力。
Hugging Face Blog精选AI 评分8282 Thinking Machines 发布 Inkling 与 Inkling-Small 开源多模态模型
Thinking Machines Lab 在 Hugging Face 发布 Inkling 系列开源多模态大模型，Inkling 为 975B 总参数、41B 激活参数的 MoE 模型，原生接受图像、文本和音频输入，支持 1M 上下文。
推荐理由：首个约1T参数、1M上下文的开源原生多模态模型，附完整部署配置与基准对比可供参考。
Hugging Face BlogAI 评分5454 HF Mirror 与 Cerebras 将 Gemma 4 用于实时语音 AI
Hugging Face 与 Cerebras 展示了基于 Gemma 4 的实时语音到语音管线，采用模块化的开源架构。流程为 Nvidia 的 Parakeet 做语音识别，Gemma 4 VLM 在 Cerebras 上推理，再由阿里 Qwen3TTS 做文本转语音。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash
Google DeepMind 发布 Nano Banana 2 Lite（gemini-3.1-flash-lite-image）和 Gemini Omni Flash（gemini-omni-flash-preview）两款模型。
推荐理由：两款模型给出明确的延迟、单价与可用入口，读者可据此判断图像与视频生成流水线的成本变化。
Hugging Face BlogAI 评分4545 PP-OCRv6 上线 HF Mirror：1.5M 到 34.5M 参数、支持 50 种语言
PaddleOCR 的 PP-OCRv6 已在 HF Mirror 上线，提供 tiny、small、medium 三档模型，参数规模从 1.5M 到 34.5M，其中 medium 和 small 单模型支持 50 种语言。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini 3.5 Live Translate 语音翻译模型
Google DeepMind 发布音频模型 Gemini 3.5 Live Translate，支持 70 多种语言的近实时语音到语音翻译，能自动检测语言并保留说话人的语调、节奏和音高。
推荐理由：Gemini 3.5 Live Translate 把语音翻译从轮流应答改为连续输出，并给出开发者、企业与普通用户的接入路径。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemma 4 12B 无编码器多模态模型
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本的 12B 多模态模型，性能接近 26B MoE 模型，可在 16GB VRAM 或统一内存上本地运行。
推荐理由：Gemma 4 12B 去掉视觉与音频编码器，16GB 内存即可本地跑，可看轻量多模态模型的新做法。
Hugging Face Blog精选AI 评分6161 作者如何让 Agent 串联两个 Hugging Face Space 搭建 3D 巴黎画廊
作者让编程智能体调用两个 Hugging Face Space 搭建了一个展示巴黎地标的 3D 高斯泼溅画廊：ideogram4 负责由提示词生成图像，VAST-AI/TripoSplat 负责将单张图像重建成 .ply 格式的 3D 高斯泼溅。
推荐理由：作者以一条可复现的智能体流水线，展示如何用 agents.md 串联两个 Space 完成图像与 3D 生成。
Hugging Face BlogAI 评分3939 NVIDIA 发布 Nemotron 3.5 Content Safety：面向企业 AI 的可定制多模态安全模型
NVIDIA 发布 Nemotron 3.5 Content Safety，基于 Gemma 3 4B IT 微调，单次推理即可统一处理多模态输入、多语言、自定义企业策略与可审计推理。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini Omni 系列首个模型 Gemini Omni Flash
Google DeepMind 发布 Gemini Omni 系列首个模型 Gemini Omni Flash，可组合图像、音频、视频和文本输入生成高质量视频，并通过自然语言对话编辑视频。
推荐理由：Gemini 首个 Omni 系列模型发布，多模态输入加对话式视频编辑的入口值得关注。
Google DeepMind精选AI 评分7474 Google 将 SynthID 与 C2PA 内容验证扩展到 Search、Gemini 和 Chrome
Google 宣布扩展内容透明度与验证工具，把 SynthID 的图片、视频、音频验证从 Gemini app 扩展到 Search，并将在未来几周进入 Chrome，Gemini 中该功能已被使用 5000 万次。
推荐理由：Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini 和 Chrome，并开放云端检测 API，读者可了解内容溯源工具的实际入口与合作方。
Google DeepMind精选AI 评分8686 Google DeepMind 发布 Gemini 3.5 系列并首发 3.5 Flash
Google DeepMind 发布 Gemini 3.5 系列模型，首发 3.5 Flash，主打智能体与编码的前沿性能。
推荐理由：Gemini 3.5 Flash 在编码与智能体基准上超过 3.1 Pro，且输出速度达其他前沿模型 4 倍，读者可据基准与速度数据判断其性价比。
Google DeepMindAI 评分5757 Google DeepMind 发布 AI co-clinician 医疗 AI 研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗的「三元照护」模式。
Hugging Face Blog精选AI 评分7474 NVIDIA 发布 Nemotron 3 Nano Omni：面向文档、音频与视频智能体的长上下文全模态模型
NVIDIA 发布 Nemotron 3 Nano Omni 全模态理解模型，在文本、图像基础上加入原生音频与视频理解，覆盖文档分析、语音识别、长音视频理解、GUI 智能体和通用多模态推理五类任务。
推荐理由：原文给出了架构细节、多模态基准成绩与吞吐数据，读者可据此判断开源全模态模型在文档、音视频与 GUI 智能体场景的可用性。
Hugging Face BlogAI 评分3636 如何用 Sentence Transformers 训练和微调多模态嵌入与重排模型
微调 Qwen/Qwen3-VL-Embedding-2B 做视觉文档检索（VDR），在作者评测数据上 NDCG@10 从基座的 0.888 提升到 0.947，超过其测试的所有现有 VDR 模型，包括体积达 4 倍的模型。
Google DeepMind精选AI 评分7171 Google DeepMind 发布 Gemini Robotics-ER 1.6
Google DeepMind 发布 Gemini Robotics-ER 1.6，这是其面向机器人的推理优先模型的一次重大升级，增强了空间推理与多视角理解，并新增仪表读数能力。
推荐理由：官方给出新版本在空间推理、成功检测与仪表读数上的能力变化，以及 API 与 AI Studio 的开放入口。
Hugging Face Blog精选AI 评分6666 Sentence Transformers v5.4 多模态嵌入与重排序模型使用指南
Hugging Face 发布 Sentence Transformers v5.4，可在同一套 API 下编码和比较文本、图像、音频与视频，用于视觉文档检索、跨模态搜索和多模态 RAG。
推荐理由：官方博客给出 Sentence Transformers v5.4 多模态嵌入与重排序的完整代码用法和模型清单，可直接照抄跑通流程。