NVIDIA Exemplar Cloud：在 AI 基础设施上释放完整性能的经验
NVIDIA 指出，采用相同 H100、GB200 NVL72 或 GB300 NVL72 的两套 AI 集群，在同一工作负载、模型和全局 batch size 下，训练吞吐量常出现 8% 到 12% 的差距，原因多来自内核层面的配置选择。NVIDIA 通过 Exemplar Cloud 总结在 AI 基础设施上释放完整性能的经验。
#部署/工程
#部署/工程
今日 13 条NVIDIA Developer BlogAI 评分2626
Hugging Face BlogAI 评分1616 GPU 管理：为什么闲置 GPU 是新的停飞客机
Hugging Face 发文指出，AI 的下一道真实约束是利用率而非智能，闲置 GPU 如同停飞客机——成本按日历小时计提，产出只按算力小时累积。
Google DeepMind精选AI 评分7676 Google DeepMind 发布 Gemini Robotics ER 2，为机器人带来视频理解、任务编排与多机器人协作
Google DeepMind 发布面向机器人的具身推理模型 Gemini Robotics ER 2，作为高层“大脑”负责对话、理解物理世界并规划多步任务，再把电机执行交给底层 VLA 模型。
推荐理由：Gemini Robotics ER 2 给出了多机器人协作与视频进度追踪的能力细节和开发者接入方式。
NVIDIA Developer BlogAI 评分3030 如何用 NVIDIA NeMo Guardrails 自托管可验证的 AI 编程助手
NVIDIA 发布教程，介绍如何在监管、主权或源码敏感环境中自托管 AI 编程助手。针对源码不能出网、助手编造包名带来供应链风险、以及生成改动出缺陷时缺乏审计记录三个问题，方案基于 NVIDIA NeMo Guardrails 实现验证。
Berkeley AI Research精选AI 评分6060 从 CUDA 到 MLX：K-Search 如何把内核优化经验带到 Apple Silicon
Berkeley Sky Lab 与 IBM Research 将 K-Search 这一进化式内核搜索框架扩展到 MLX，用结构化的 CUDA-to-MLX 翻译层，把已有 CUDA 内核当作知识库迁移到 Apple Silicon。
推荐理由：这篇工作给出把 CUDA 内核经验迁移到 Apple Silicon 的具体做法，读者可据此判断跨平台内核优化的可行路径。
NVIDIA Developer BlogAI 评分2727 NVIDIA 用 GPU 原生医学物理仿真开发医疗机器人
NVIDIA 提出以 GPU 原生医学物理仿真开发医疗机器人，应对医疗机器人无法像自动驾驶或工业机器人那样依赖互联网规模数据采集和无限真实世界实验的问题。该领域每次演示都需要专用设备、临床专业知识和患者或实验室环境，由此带来数据缺口等三大挑战，仿真成为训练现代机器人策略的途径。
Hugging Face BlogAI 评分4646 NVIDIA Cosmos-H-Dreams：为手术机器人带来实时生成式仿真
NVIDIA 推出 Cosmos-H-Dreams，一个面向手术机器人的实时、动作条件生成式仿真器，将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型，并通过 FlashDreams 推理库在单张 NVIDIA RTX PRO 6000 GPU 上运行。
NVIDIA Developer BlogAI 评分4040 NVIDIA 详解提升模型表现的六大 Agent Harness 能力
NVIDIA 指出，Agent Harness 是围绕模型的架构，决定上下文渲染、动作执行、状态管理和任务终止判断，单靠 Harness 设计就能带来 benchmark 结果两位数的波动以及 token 成本的显著差异。文章总结了六项可提升模型表现的 Harness 能力。
NVIDIA Developer BlogAI 评分4242 NVIDIA ModelExpress：以光速分发模型文件
NVIDIA 推出 ModelExpress，用于在集群内高速分发模型文件。随着模型 checkpoint 增长到数百 GB 乃至 1 TB，冷启动拉取权重、自动扩缩容与滚动更新填充新副本、RL 后训练持续搬运权重等场景让传输开销迅速累积。
NVIDIA Developer BlogAI 评分2525 用 Prime Intellect Lab 几分钟定制 NVIDIA Nemotron 3 Nano
NVIDIA 发布指南，介绍如何通过 Prime Intellect Lab 在几分钟内定制 NVIDIA Nemotron 3 Nano，把通用模型适配到具体用例、领域和语言。定制需要 GPU 等基础设施、技术专长与针对工作流的软件，以及对特定领域专业知识的依赖。
Hugging Face BlogAI 评分5050 Diffusers 原生支持 Nunchaku 4-bit 扩散推理
Diffusers 现已原生加载 Nunchaku 4-bit 量化检查点，只需 from_pretrained() 调用，无需本地 CUDA 编译，CUDA kernel 经 kernels 包从 Hub 下载。
NVIDIA Developer BlogAI 评分2121 让长时间运行的 NVIDIA TensorRT 引擎构建在 Python 或 C++ 中可观测、可取消
NVIDIA 提出让长时间运行的 TensorRT 引擎构建在 Python 或 C++ 中变得可观测、可取消，以解决构建过程无进度反馈的问题。TensorRT 引擎构建可能耗时数秒到数分钟，大型强类型模型、深层 tactic 搜索以及全新 GPU SKU 上的冷 timing cache 都会拉长构建时间。
NVIDIA Developer BlogAI 评分2424 NVIDIA GB300 NVL72 创下 MoE 预训练世界纪录
NVIDIA GB300 NVL72 在预训练 DeepSeek-V3 671B 时创下每 GPU 1,648 TFLOPs 的世界纪录。随着前沿模型预训练转向 MoE 架构，每 token 计算量下降，通信效率日益决定模型在数千块 GPU 上的扩展表现。
NVIDIA Developer BlogAI 评分4646 NVIDIA Rubin GPU 架构解析：为智能体 AI 时代提供动力
NVIDIA 详解 Rubin GPU 架构，定位支撑智能体 AI 时代。该架构面向持续运行的 AI 工厂，用于驱动能够推理、规划、调用工具、验证中间结果并执行复杂多步任务的智能体工作负载。
NVIDIA Developer BlogAI 评分3838 NVIDIA Vera CPU：面向智能体 AI 单线程性能的 Olympus 核心
NVIDIA 为 Vera CPU 设计了 Olympus 核心，针对智能体 AI 场景优化单线程性能。智能体在沙箱中执行代码、调用工具、检索上下文并访问数据库，这些环节将更多关键执行路径转移到 CPU 上；当此类循环在 AI 工厂中并发运行时，CPU 性能直接影响单个智能体的响应速度和整体吞吐。
NVIDIA Developer BlogAI 评分2020 NVIDIA NVLink：AI 工厂的 Scale-Up 网络
NVIDIA 发文介绍 NVLink 作为 AI 工厂的 Scale-Up 网络。随着 AI 负载规模扩大、模型日趋复杂，AI 工厂这类数据中心级系统正被加速部署，以持续将数据和能源转化为智能。NVLink 正是为满足这一算力基础设施需求而设计的网络方案。
Hugging Face BlogAI 评分5757 IBM Research：模型路由看似简单，实为系统优化问题
IBM Research 分享将模型路由构建进智能体系统的经验，指出路由通常被当作分类问题，实际却是系统优化问题。
Hugging Face Blog精选AI 评分8282 Thinking Machines 发布 Inkling 与 Inkling-Small 开源多模态模型
Thinking Machines Lab 在 Hugging Face 发布 Inkling 系列开源多模态大模型，Inkling 为 975B 总参数、41B 激活参数的 MoE 模型，原生接受图像、文本和音频输入，支持 1M 上下文。
推荐理由：首个约1T参数、1M上下文的开源原生多模态模型，附完整部署配置与基准对比可供参考。
Hugging Face BlogAI 评分3131 PyTorch 性能分析（第三部分）：剖析 attention 实现的性能表现
PyTorch 官方博客 "Profiling in PyTorch" 系列第三篇聚焦 attention，通过 naive attention、inplace 因果掩码、SDPA 和自定义 kernel 四种实现对比 profiler 追踪结果。
Hugging Face Blog精选AI 评分7777 vLLM 的 transformers 建模后端提速至原生实现水平
Hugging Face 宣布 vLLM 的 transformers 建模后端现已达到甚至超过 vLLM 手写原生实现的吞吐量，覆盖 Qwen3-4B（单卡）、Qwen3-32B（张量并行）、Qwen3-235B-A22B-FP8（数据加专家并行，8×H100）三种规模。
推荐理由：官方给出三个 Qwen3 模型的实测对比，读者可了解无需移植即可获得原生级 vLLM 推理速度的具体路径。
Hugging Face BlogAI 评分2727 Hugging Face 与 Amazon SageMaker Studio 打通一键直达
Hugging Face 与 Amazon SageMaker AI 推出深度链接集成，用户在支持的模型页选择 Customize on SageMaker AI 或 Deploy on SageMaker AI，即可一键进入 SageMaker Studio，模型已预加载、环境自动配置。
Hugging Face BlogAI 评分4949 Hugging Face 模型上线 Microsoft Foundry Managed Compute
微软在 Build 2026 宣布 Foundry Managed Compute 与 Hugging Face 模型集合，精选开源权重模型每周刷新、一键部署，权重预置于 Azure。
Berkeley AI ResearchAI 评分3030 Intelligence is Free, Now What? 智能体时代的数据系统：为智能体、由智能体
UC Berkeley 团队提出近零推理成本将带来三类数据系统挑战：为智能体（Data Systems For Agents）、由智能体运行（Of Agents）、由智能体合成（By Agents）。文中举例指出，GPT-4 级能力在 2023 年初约 $30/百万 token，如今已降至 1 美元以下，部分厂商低于 $0.10，推理价格年降幅在 9 倍到 900 倍之间，中位数约 50 倍。
Hugging Face Blog精选AI 评分6262 SkyPilot 与 Hugging Face 打通：用 hf:// 挂载实现零出站存储
Hugging Face 与 SkyPilot 联合推出 hf:// 挂载能力，可将 Hugging Face Bucket 或模型、数据集仓库挂载进 SkyPilot 任务，在 20 多个云、Kubernetes、Slurm 和本地环境中运行 GPU 作业。
推荐理由：原文给出了 hf:// 挂载方式和跨云零出站读取的实测吞吐数据，读者可据此判断多云端 GPU 训练的存储成本变化。
Hugging Face BlogAI 评分3636 Hugging Face Kernels 项目发布重大更新：新增 kernel 仓库类型与代码签名
Hugging Face 的 Kernels 项目迎来重大更新，Hub 新增 "kernel" 仓库类型，并引入可信发布者机制与代码签名，默认只加载可信发布者的 kernel，加载其他来源需显式传入 trust_remote_code。
Ahead of AI · Sebastian RaschkaAI 评分6262 如何用开源模型和工具搭建本地编码智能体
Sebastian Raschka 发布教程，讲解如何用 Ollama 本地服务和 Qwen3.6 35B-A3B 等开放权重模型，搭配 Qwen-Code、Codex、Claude Code 等编码智能体框架搭建全本地工作流。
Hugging Face BlogAI 评分5757 一条命令在 HF Jobs 上运行 vLLM 服务器
Hugging Face 发布教程，介绍用一条 hf jobs run 命令在 HF Jobs 上启动私有、兼容 OpenAI API 的 vLLM 端点，按秒计费、无需自行配置服务器或 Kubernetes。
Google DeepMind精选AI 评分7575 Google DeepMind 在 Gemini 3.5 Flash 中内置 computer use
Google DeepMind 宣布 computer use 成为 Gemini 3.5 Flash 的内置工具，开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 构建能在浏览器、移动端和桌面环境中看、推理并采取行动的智能体。
推荐理由：原文说明了 computer use 从独立模型并入主力 Flash 模型，并给出企业可用入口和两个安全防护机制。
Hugging Face BlogAI 评分4545 Hugging Face 用 AI 与开源工具实现 huggingface_hub 每周发版
Hugging Face 将 huggingface_hub 的发布流程从每 4 到 6 周一次改为每周一次，全部由一个 GitHub Actions workflow 驱动。
Hugging Face BlogAI 评分4040 Transformers.js 试验跨源存储（Cross-Origin Storage）API
Google Chrome 团队开发者关系工程师 Thomas Steiner 在 Hugging Face 博客介绍，Transformers.js 试验中的跨源存储（COS）API 引入 navigator.crossOriginStorage 接口，通过加密哈希而非 URL 跨源存取大文件。
Hugging Face BlogAI 评分4545 PP-OCRv6 上线 HF Mirror：1.5M 到 34.5M 参数、支持 50 种语言
PaddleOCR 的 PP-OCRv6 已在 HF Mirror 上线，提供 tiny、small、medium 三档模型，参数规模从 1.5M 到 34.5M，其中 medium 和 small 单模型支持 50 种语言。
Hugging Face BlogAI 评分5050 Hugging Face 用本地模型 Gemma 与 Qwen 免费分诊 OpenClaw 仓库
Hugging Face 分享用本地开源模型加智能体框架，为 OpenClaw 仓库的 issue 和 PR 做自动分类与分流。方案在 NVIDIA GB10（DGX Spark）上运行 gemma-4-26b-a4b 和 qwen3.6-35b-a3b，两者本地每秒可生成数百 token，并借助受限只读 shell reposhell 让模型查看代码库后输出分类标签。
Hugging Face BlogAI 评分5050 Hugging Face 用 transformers 打造智能体工具基准测试，开放模型自己跑
Hugging Face 发布了一套面向工具的智能体基准测试框架，以 transformers 为案例，衡量智能体完成任务所耗的 token、成本与失败次数，而非只看最终答案。测试在 pi coding agent 上驱动开放模型，按模型 × 版本 × 任务展开并跑在 HF Jobs 上以保证硬件一致，结果存入 HF Bucket。
Hugging Face BlogAI 评分2828 PyTorch 性能剖析（第二部分）：从 nn.Linear 到融合 MLP
PyTorch 性能剖析系列第二部分用 nn.Linear（bias=True）替换手写的 matmul-add，再堆叠三层并加入激活构成 MLP，在 NVIDIA A100-SXM4-80GB 上分析 profiler trace。
Google DeepMind精选AI 评分6767 Google DeepMind 发布 DiffusionGemma：文本扩散模型推理最高提速 4 倍
Google DeepMind 发布实验性开源模型 DiffusionGemma，采用文本扩散方式一次性生成 256 个 token，在专用 GPU 上文本生成最高提速 4 倍，单张 NVIDIA H100 上超过 1000 tokens/秒，RTX 5090 上超过 700 tokens/秒。
推荐理由：官方给出 4x 推理加速的实测数字与本地低并发场景边界，读者可据此判断它适合哪些交互式工作流。
Hugging Face BlogAI 评分4242 如何将 GitHub CI 迁移到 HF Jobs：Trackio 实践指南
Hugging Face 发布指南，介绍如何通过 huggingface/jobs-actions 把 GitHub Actions 的 CI 任务迁移到 HF Jobs 上运行。该方案将 GitHub Actions 任务转为 HF Jobs 内的临时自托管 runner，Trackio 借此让 CPU 任务 CI 时间缩短约 30%，并新增了在 GPU 机器上运行的测试套件。
Ahead of AI · Sebastian RaschkaAI 评分2525 LLM 研究论文清单：2026 年 1 月至 5 月
Sebastian Raschka 发布 2026 年 1 月至 5 月的 LLM 研究论文精选清单，涵盖架构与模型设计、高效训练与扩展、推理效率与 KV Cache、稀疏注意力与长上下文、推理与测试时计算、强化学习与 RLVR、智能体系统与工具使用、编程智能体、扩散语言模型以及模型评测等类别。
Hugging Face Blog精选AI 评分7272 H Company 发布 Holo3.1 计算机操作智能体模型家族
H Company 发布 Holo3.1 模型家族，共四个尺寸（0.8B、4B、9B、35B-A3B），并首次提供 FP8、Q4 GGUF、NVFP4 量化权重用于本地推理。
推荐理由：原文给出多尺寸模型与量化权重，以及移动端和跨框架的基准变化，可供判断本地 computer-use 智能体的落地成本。
Hugging Face BlogAI 评分3232 超越 LLM：企业级 AI 规模化落地为何取决于 Agent 逻辑
企业 AI 试点普遍失败，症结在于智能体缺乏引导逻辑。IBM 用 Agent 逻辑（知识图谱、程序分析库等）在智能体层缩小上下文，测试显示：watsonx Code Assistant for Z 在百万行代码级遗留系统上保持略优理解性能，token 消耗降低约 30 倍；Aster 在 75+ Java 应用中使行、分支、方法覆盖率提升 20%-45%，token 消耗最多降低 15 倍。
Hugging Face BlogAI 评分2222 PyTorch 性能剖析入门指南：torch.profiler 使用教程（第一部分）
Hugging Face 发布 PyTorch 性能剖析系列第一篇，讲解如何用 torch.profiler 定位 LLM 训练与推理中的性能瓶颈。教程以矩阵乘法加偏置为例，演示如何记录 matmul_add、导出 profiler 表格与 trace，并解读 CPU、GPU lane 及 CUDA kernel 调度链路。