NVIDIA DSX MaxLPS 如何最大化 AI 工厂吞吐量与效率
NVIDIA DSX MaxLPS 通过策略驱动的功率共享,在参与资源之间动态分配电力,让客户可部署更多 GPU。AI 工厂通常按所有 GPU 同时达到峰值功耗的极端情况预留电力,这部分保护性缓冲在正常运行时会闲置基础设施容量,而 MaxLPS 旨在把未使用的瓦数转化为可用算力,从而提升吞吐量与效率。
NVIDIA DSX MaxLPS 通过策略驱动的功率共享,在参与资源之间动态分配电力,让客户可部署更多 GPU。AI 工厂通常按所有 GPU 同时达到峰值功耗的极端情况预留电力,这部分保护性缓冲在正常运行时会闲置基础设施容量,而 MaxLPS 旨在把未使用的瓦数转化为可用算力,从而提升吞吐量与效率。
Hugging Face Hub 新增 RL Environments 筛选器,带 rl-environment 标签的数据集可直接在页面生成运行命令,无需新建仓库类型、注册表或注册。
Simon Willison 用 Opus 5.5 开发了 Bluesky reply bot checker,可分析账号近期发帖,检测打字速度、发帖时间、互动模式等自动化回复机器人特征。工具会展示每项测量与规则,并给出触发最多信号的示例回复,便于用户核对判断依据。它重点识别同一账号发帖后数秒内出现的回复、从不发布原创内容只回复高粉丝账号的账号,以及带问号的回复。
Simon Willison 在 WeAreDevelopers World Congress North America 闭幕演讲中,用 Claude Opus 5.5 根据三张 kākāpō 鹦鹉照片生成了 HTML5 canvas 像素动画 Kākāpō Party,20 多只鹦鹉随音乐跳跃、点击可触发彩带和气球效果。
Runway 本月早些时候发布研究预览版 GWM Worlds 2,可将高保真视频与音频生成变为实时交互式模拟,并引入新输入格式 WorldPrompt,用于固定环境部分要素并按时间戳指定实时事件。
GitHub Security Lab 开源 Fuzzing Taskflow,这是一个基于 Taskflow Agent 框架的自主 fuzzing 流水线,面向 C/C++ 项目,只需指向一个 GitHub 仓库即可自动识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness,还对每个崩溃做去重和漏洞报告。
推荐理由:作者公开了自主模糊测试流水线的分层架构与覆盖反馈闭环设计,适合关注 LLM Agent 落地工程细节的读者。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,让企业智能体可以边听边看边说。
推荐理由:官方说明了实时视频形象与异步工具调用的组合方式,可据此判断企业客服等场景的交互形态变化。
NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,通过 AlphaFold Database 公开 2800 多种病毒的蛋白复合物预测 3D 结构,供任何科学家免费使用。
推荐理由:NVIDIA 联合 Google DeepMind 等开放 2800 多种病毒的蛋白复合物预测结构,读者可了解数据集规模与可复用的推理流程。
Remedy Entertainment 的 CONTROL Resonant 首发即登陆 GeForce NOW,Ultimate 会员可以 GeForce RTX 5080 级云端性能串流,支持 DLSS 4、光线追踪和最高 5K HDR,无需 100GB 本地安装。
Meta 宣布把 Private Processing 机密计算基础设施扩展到 Meta AI 眼镜,让流式转录、上下文搜索和长期记忆等云端 AI 负载在机密虚拟机(CVM)中执行,Meta 自身也无法读取用户数据。
Google Private AI Compute 团队公布为 Private AI Compute 平台带来云端持久记忆的技术方案,通过硬件安全飞地、端到端加密通道和以设备派生密钥加密的每用户数据库,让跨设备 AI 记忆在服务端保持与端侧处理同等的隐私标准,此前该平台为无状态、任务结束即清除上下文。
推荐理由:Google 公开了云端持久记忆如何用安全飞地与设备端密钥实现跨设备隐私,可看架构取舍与验证方式。
Simon Willison 发布 llm 0.36。该版本是其 LLM 命令行工具的新版本,他同时提供每月 10 美元的赞助订阅,可收到当月最重要的 LLM 进展精选邮件摘要。
NVIDIA 推出 Topograph,用于拓扑感知的 GPU 工作负载调度。AI 工厂是功率受限系统,工作负载放置不当会割裂拓扑域、迫使流量走共享链路,降低吞吐、抬高作业成本,并让 GPU 在等待数据时白白消耗已分配电力。
Simon Willison 发布 llm-anthropic 0.29。该插件用于在 LLM 命令行工具中调用 Anthropic 的 Claude 模型,具体改进与新增功能原文未作说明。
Simon Willison 发布 LLM 插件 llm-typesafe 0.1a0,为 TypeSafe AI 的新模型 Jev 提供支持,安装方式为 llm install llm-typesafe,并需用 llm keys set typesafe 配置 API key。
NVIDIA 发布 DLSS 5,引入 3D-Guided Neural Rendering 与更细粒度的控制选项,帮助游戏开发者加入更逼真的光照和材质细节,同时保留艺术意图。面向游戏开发者的更新还包括 NVIDIA ACE、RTX Mega Geometry 2.0 和 RTX Kit,覆盖角色 AI、高密度几何与渲染工作流。
NVIDIA 在 ROSCon 发布 Isaac ROS 5.0,为 ROS 开发者带来智能体工作流与新的平台支持,免费开源。新版本支持 ROS Lyrical 和 Ubuntu 24.04,并与 Open Source Robotics Alliance 合作向 ROS Lyrical 贡献标准数据处理接口,CUDA 提供 GPU 加速示例。
Hugging Face 为 transformers 加入 GGUF 支持,可从 Hub 选择量化 checkpoint 并通过 from_pretrained 加载,在本地机器上生成文本。
推荐理由:原文给出在 transformers 中直接加载 GGUF 的用法与本地推理表现,读者可据此判断量化模型的本地使用方式。
NVIDIA TensorRT 多设备推理从 TensorRT 11.0 起正式支持,让单个 TensorRT 网络借助 NCCL 分布式集合通信跨多块 GPU 执行,同时保留 TensorRT 的推理优化。该能力已集成进 NVIDIA Dynamo-Triton,用于应对生成式 AI 超出单 GPU 的算力与显存需求。
Hugging Face 发布 tokenizers v1,在保持与 v0.23 相同 token ID、API 和词表的前提下重写编码流水线,速度常达 v0.23 的数十倍。重构包括 workspace 拆分、无分配 merge、用 SIMD 位运算替代正则拆分(bitcannon)、merge 循环改为侵入式双向链表、单词缓存和原生多线程并行。
NVIDIA 的 TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic 基准测试,速度提升 6.4 倍。该方案面向从云端数据中心迁移到车辆、机器人等边缘设备的 AI 智能体,需快速生成 token 并在不断增长的对话中完成工具选择、结果评估与持续推理。
NVIDIA BioNeMo Inference Runtime(BioIR)可在 NVIDIA GPU 上加速受支持的生物分子结构预测模型,同时保留熟悉的 PyTorch 工作流。它通过优化 kernel,并在适用场景下使用 CUDA Graphs 来加速模型推理,目标是把整个工作列表高效跑完现有的蛋白质组级别预测流程。
NVIDIA 基于 Nemotron 与 Palantir Foundry 将供应链专家经验代码化,以优化从晶圆出厂到首个 token 生成的全流程。其供应链绩效被拆分为两段:time-to-rack 指硅片离开晶圆厂到整机系统抵达数据中心,time-to-token 则涵盖供电、散热、网络与软件栈。
Hugging Face 发布 Workflow1111,用 Gradio Workflow 把 AUTOMATIC1111 的大部分功能重建成一张包含 73 个节点的画布,覆盖文生图、高清修复、图生图、提示词矩阵、VLM 反推、检测生成 inpaint 蒙版、ControlNet 式标注器、背景移除、PNG Info 和图像生视频等 11 条媒体流水线。
NVIDIA 发布 CUDA Toolkit 13.4,新增对 Windows on Arm 平台的支持,此前 CUDA 应用在 Arm 平台仅通过 Linux 获得支持。该版本还带来更多功能与性能改进,并加强对共享 GPU 的控制。
Google DeepMind 推出 AlphaGenome Atlas,一个包含人类基因组约 90 亿个单核苷酸变异效应预测的平台,以 1-petabyte 数据集预计算 AlphaGenome 的预测结果。
推荐理由:AlphaGenome Atlas 把全基因组 90 亿个单碱基变异的预测预计算成可检索平台,读者可据此了解变异解读资源的规模与开放方式。
Google DeepMind 于 9 月 8 日发布 AlphaGenome Atlas,这是一个在线仓库,预先计算了参考人类基因组全部 90 亿种单碱基变异的 AlphaGenome 预测结果。
NVIDIA 宣布推出 CUDA Rust,为 Rust 提供原生 GPU 编程支持,并给出两条编写 GPU 内核的路径。CUDA C++ 与 CUDA Python 已是成熟的企业级工具链,CUDA Rust 将在 2027 年及以后持续完善。该方向面向推理引擎、服务基础设施、驱动和智能体运行时等不断变化的 AI 系统层。
GitHub 发布研究预览 Project HydraFusion,在 GitHub Copilot 运行时对多个提供商的模型做编排,创建完整执行计划,让模型起草、评审、修订或升级到更强的模型。
推荐理由:GitHub 官方披露多模型编排的三种执行模式与三项基准的成本质量对照,可据此判断多模型路由在编码任务中的落地方式。
NVIDIA 推出 PAIR 虚拟推理路由器,可将本地网络中的可用算力扩展给 AI 智能体使用。该方案面向多智能体协作场景:主智能体把复杂任务拆成子任务分派给专用子智能体,用户也会同时运行多个智能体会话。
Hugging Face 发布 funes,一个为 Claude Code、Codex、pi 和 Hermes 等编码智能体提供持久记忆的开源单文件工具,默认在本地完成嵌入和重排,无需 ML 运行时依赖。
推荐理由:原文给出了一条命令接入、本地嵌入与按需发布到自有数据集的完整路径,可据此判断跨机器与跨智能体的记忆方案是否可迁移。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,通过动态检索帧、音频和转录文本,将 token 消耗降低最多 88%、分析成本降低最多 66%、准确率提升最多 7%。
推荐理由:Gemini 新功能给出 token 与成本下降幅度及启用方式,读者可据此评估长视频分析流程的改动空间。
Hugging Face 的 WebAI 团队发布 @huggingface/kernels 库和 207 个 WebGPU 内核,均已发布为独立仓库并采用 Apache-2.0 许可,用于从 Hub 加载和运行优化后的内核。
推荐理由:Hugging Face 放出 207 个 WebGPU kernel 及配套加载器和浏览器评测工具,并给出与 ORT WebGPU 的逐项对比数据。
NVIDIA BioNeMo NIM 微服务现可在 Claude Science 中运行,用于蛋白质结构预测。正文提到,AI 科学家已能读取论文、提出假设、调用模型并判断下一步优先做哪些实验,这类智能体能力先在软件工程中验证价值,编码智能体如今可编写、测试并交付生产代码。
NVIDIA Omniverse NuRec 用于跨车型平台扩展自动驾驶感知,解决同一套感知软件换到新车型后感知结果变化的问题。文章指出,传感器布局、标定、视场、遮挡、车身几何、时序与覆盖范围都会随车型改变,例如同一红绿灯可能出现在画面不同位置。
NVIDIA TensorRT Model Connect 提供开源参考实现集合,可在两条命令内把开源模型从 Checkpoint 直接部署到推理,免去模型专属的转换、预处理、后处理与运行时代码。该方案支持在原生 C++ 中通过 NVIDIA TensorRT 运行受支持的模型。
Google DeepMind 与新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作,对一款 Gemini Flash Lite 模型开展全球首个针对专有前沿模型的双盲评测,将外部评测限制在密码学保护的“盒子”中,防止评测题目被模型用于提前优化。
Goodfire 将其机制可解释性平台 Silico 向公众开放,该平台通过解读模型权重、激活和注意力模式来观察模型内部行为,并用 AI 智能体按自然语言指令并行执行实验任务。
NVIDIA Dynamo 推出预览功能影子引擎恢复,让 LLM 推理引擎进程故障后无需冷重启即可在数秒内恢复容量。传统冷重启需从存储加载权重到 HBM、编译 kernel 并捕获 NVIDIA CUDA graphs,大模型初始化耗时数分钟。
NVIDIA 发布 CUDA Python 1.0,主打稳定 API、统一基础和完整平台访问。此前 Python 开发者用 GPU 只有两条路:自己写 CUDA C++ 扩展并维护绑定,或依赖 PyTorch、CuPy、RAPIDS 等上层库,后者虽支撑起 Python GPU 生态但存在局限。