NVIDIA 埃及 AI 生态从赋能走向规模化落地
NVIDIA 在开罗大埃及博物馆举办活动，展示埃及 AI 生态从赋能走向生产级落地，其 Deep Learning Institute 埃及学员规模一年增长超十倍。
#部署/工程
#部署/工程
今日 3 条NVIDIA BlogAI 评分2222
NVIDIA BlogAI 评分4141 AI 安全是工程问题：如何在 Agent 栈的每一层解决它
NVIDIA 发布开源安全运行时 OpenShell，在模型智能体之外强制执行策略，并提供沙箱化执行，管控智能体对数据、网络和系统资源的访问。Cisco DefenseClaw 为其增加治理层，JFrog 则集成 OpenShell 扫描和验证智能体技能并限制可访问的技能范围。NVIDIA 同时通过 Open Secure AI Alliance 共享安全研究成果与工具。
NVIDIA BlogAI 评分2222 NVIDIA 盘点五家借助 AI 推进清洁能源的公司
NVIDIA 在纽约气候周上介绍了五家用 AI 推进清洁能源的公司。ThinkLabs AI 用数字孪生和智能体，把 Southern California Edison 评估每份电网并网申请的时间从 30-45 天缩短到 2 分钟。
Hugging Face BlogAI 评分4747 Hugging Face tokenizers v1 发布：编码速度较 v0.23 提升数十倍
Hugging Face 发布 tokenizers v1，在保持与 v0.23 相同 token ID、API 和词表的前提下重写编码流水线，速度常达 v0.23 的数十倍。重构包括 workspace 拆分、无分配 merge、用 SIMD 位运算替代正则拆分（bitcannon）、merge 循环改为侵入式双向链表、单词缓存和原生多线程并行。
NVIDIA Developer BlogAI 评分1919 NVIDIA 用 AIPerf 对大规模 LLM 推理进行基准测试
NVIDIA 发布 AIPerf，用于规模化 LLM 推理的基准测试。文章指出用 curl 命令、手写 asyncio 脚本或临时负载生成器测性能都存在同样问题：单进程性能受限、Python GIL 限制并发。
GitHub Blog · AI & ML精选AI 评分8181 GitHub Copilot 运行时如何用 Copilot 迁移到 Rust
GitHub 用 Copilot 智能体把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行 Rust，AI 智能体编写了大部分代码，跨 128 个 pull request 增量合入 main。
推荐理由：一位工程师复盘用 AI 智能体把 43 万行 TypeScript 运行时迁到 Rust 的全过程，含编排、缓存与评审经验。
NVIDIA Developer BlogAI 评分3636 TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍速度完成 MLPerf Edge Agentic 基准测试
NVIDIA 的 TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic 基准测试，速度提升 6.4 倍。该方案面向从云端数据中心迁移到车辆、机器人等边缘设备的 AI 智能体，需快速生成 token 并在不断增长的对话中完成工具选择、结果评估与持续推理。
NVIDIA Developer BlogAI 评分2727 用 Agentic AI 将 CUDA Tile 运算从 Python 翻译到 Rust
NVIDIA 介绍了 cuTile Rust（cutile-rs），一个用 Rust 编写 GPU kernel 的 tile 系统，将 Rust 所有权模型扩展到 tile 化的 GPU kernel 上，把可变输出切分为互不相交的片段，并在 kernel 启动间保持主机端所有权约定，同时允许程序员在需要底层控制时局部退出。
NVIDIA BlogAI 评分4848 NVIDIA Vera Rubin NVL72 首秀 MLPerf Inference v6.1，性能领先
NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1，在 Qwen3-VL 上吞吐量最高达 GB300 NVL72 的 3.7 倍，DeepSeek-R1 上最高 2.5 倍。
NVIDIA Developer BlogAI 评分2626 Dense 与 MoE 模型对比：活跃参数、吞吐量与如何选择
稠密模型与 MoE 架构的核心差异在于参数激活方式：MoE 通过专家路由让 30B 参数模型每个 token 仅激活 3B 参数，却仍能利用大模型容量，Nemotron 3.5 Lightning 即为例证。文章围绕活跃参数、吞吐量两个维度展开对比，并给出两者各自的适用选择场景。
NVIDIA Developer BlogAI 评分2929 NVIDIA NVLink 6 如何为 AI 工厂提供多层韧性
NVIDIA 详解 NVLink 6 如何为 AI 工厂提供多层韧性。大规模 AI 训练中，集群内每块 GPU 每秒需在数千次集合通信中同步梯度；推理阶段非计划停机则会直接减少已服务的请求量，限制收入。
NVIDIA Developer BlogAI 评分1818 NVIDIA Groq 3 LPX 确定性执行如何驱动 NVIDIA Vera Rubin 上的高能效高交互推理
NVIDIA 详解 Groq 3 LPX 的确定性执行机制，说明其如何在 NVIDIA Vera Rubin 平台上实现高交互推理的能效提升。文章指出，AI 工厂的核心约束是功耗，因此每瓦性能而非原始吞吐量才是衡量 AI 平台价值的标准。平台各组件需在有限功耗预算内最大化输出。
NVIDIA Developer BlogAI 评分1515 NVIDIA FLARE 如何跨 Docker、Kubernetes 和 Slurm 扩展联邦学习
NVIDIA FLARE 支持在 Docker、Kubernetes 和 Slurm 上运行联邦学习，解决项目从单服务器、少量客户端扩展到共享基础设施时的编排问题。随着规模增长，GPU 需按需分配、多项研究需相互隔离，且每个参与机构都要保留对自身数据的控制权。
NVIDIA Developer BlogAI 评分2222 NVIDIA Transformer Engine 加速 JAX 中的 Dropless MoE 训练
NVIDIA 用 Transformer Engine 加速 JAX 中的 Dropless MoE 训练。MoE 已成为大规模 AI 模型训练的标志性架构趋势，DeepSeek、Qwen、Mixtral 都是通过条件计算以更低训练算力达到或超过稠密模型性能的 MoE 模型代表。
MIT News · AIAI 评分3939 MIT 新方法 HardFlow 让生成式 AI 满足安全关键场景的硬约束
MIT 研究人员提出 HardFlow，让预训练生成模型在部署阶段满足安全、物理等不可妥协的硬约束，同时提升输出质量，无需重新训练。该方法把硬约束采样重构为轨迹优化问题，只在最终输出上强制约束，而非每个中间步骤。在机器人操作、迷宫导航和文本引导图像编辑实验中，HardFlow 实现完全约束满足，质量持续优于基线方法，计算时间与多数同类方法相当或更低。
MIT News · AIAI 评分3939 MIT 分拆公司 Atlas 用 AI 机器人将塑料垃圾变为建筑材料
MIT 分拆公司 Atlas Building Composites 开发出 AI 驱动的机器人制造平台，用无水塑料回收和大型复合材料增材制造技术，将一次性塑料与美产玻璃纤维熔合，打印地基、甲板、桁架等建材。
GitHub Blog · AI & MLAI 评分2929 GitHub 营销运营即代码：用 Copilot 把活动从策划到跟进全流程自动化
GitHub 日韩营销团队用 GitHub Issue 表单、Labels 和 Actions 把活动运营流水线化：Issue 表单收集活动字段，标签触发工作流，活动从单个 Issue 自动搭建、每天筛选报名者并在结束后自动收尾。
NVIDIA Developer BlogAI 评分2727 全栈 NIM 优化如何让 Nemotron 3 Ultra 多承载 2.5 倍用户
NVIDIA 通过全栈 NIM 优化，使 Nemotron 3 Ultra 在相同 GPU 基础设施上可服务的并发用户数提升 2.5 倍。该优化针对生产级 LLM 部署中的并发与交互性权衡，对提示词长、跨步骤复用上下文的智能体 AI 负载尤为关键。
NVIDIA Developer BlogAI 评分2424 NVIDIA BioNeMo Inference Runtime 实现高通量结构预测
NVIDIA BioNeMo Inference Runtime（BioIR）可在 NVIDIA GPU 上加速受支持的生物分子结构预测模型，同时保留熟悉的 PyTorch 工作流。它通过优化 kernel，并在适用场景下使用 CUDA Graphs 来加速模型推理，目标是把整个工作列表高效跑完现有的蛋白质组级别预测流程。
NVIDIA Developer BlogAI 评分2525 NVIDIA 与 Palantir Foundry 用 Nemotron 将供应链经验代码化
NVIDIA 基于 Nemotron 与 Palantir Foundry 将供应链专家经验代码化，以优化从晶圆出厂到首个 token 生成的全流程。其供应链绩效被拆分为两段：time-to-rack 指硅片离开晶圆厂到整机系统抵达数据中心，time-to-token 则涵盖供电、散热、网络与软件栈。
Hugging Face BlogAI 评分4242 TRL v1.14 用 Storage Bucket 替代 NCCL 实现 LoRA 异步 GRPO 训练
TRL v1.14 的 AsyncGRPOTrainer 现已支持只训练并同步 LoRA adapter 到 vLLM，训练与推理可跑在各自独立的 HF Jobs 上。
NVIDIA Developer BlogAI 评分3434 何时使用 Encode-Prefill-Decode 解耦加速多模态模型服务
NVIDIA 详解多模态推理优化技术 Encode-Prefill-Decode（EPD）解耦：将视觉编码阶段与 prefill、decode 阶段分离，在图像密集提示、短到中等长度输出以及量化 MoE 模型上收益最大。结合 NVIDIA Dynamo 使用，最多可实现 5 倍加速。
NVIDIA Developer BlogAI 评分2121 CUDA Toolkit 13.4 新增 Windows on Arm 支持并加强对共享 GPU 的控制
NVIDIA 发布 CUDA Toolkit 13.4，新增对 Windows on Arm 平台的支持，此前 CUDA 应用在 Arm 平台仅通过 Linux 获得支持。该版本还带来更多功能与性能改进，并加强对共享 GPU 的控制。
NVIDIA Developer BlogAI 评分3737 NVIDIA 推出 CUDA Rust：两条编写 GPU 内核的技术路线
NVIDIA 宣布推出 CUDA Rust，为 Rust 提供原生 GPU 编程支持，并给出两条编写 GPU 内核的路径。CUDA C++ 与 CUDA Python 已是成熟的企业级工具链，CUDA Rust 将在 2027 年及以后持续完善。该方向面向推理引擎、服务基础设施、驱动和智能体运行时等不断变化的 AI 系统层。
NVIDIA Developer BlogAI 评分3030 前沿推理走向边缘：如何在 NVIDIA Jetson 上部署并优化模型
NVIDIA 介绍如何在 Jetson 边缘硬件上部署并优化前沿推理与智能体模型。此前具备多步推理能力的模型体积过大，无法在边缘本地运行，开发者只能把推理绕经数据中心，带来网络依赖、成本上升和本可留在设备上的数据外泄风险。NVIDIA 表示这一限制正在被解除。
NVIDIA Developer BlogAI 评分1818 NVIDIA 如何跨联邦 Kubernetes 与 AI 平台传递用户身份
NVIDIA 介绍如何在联邦 Kubernetes 与 AI 平台之间传递用户身份：用户可从中央门户打开受治理数据集、启动 notebook、调用另一集群中的助手，但身份在每一步都要跨越控制面与数据面边界，传统单点登录在此失效。
Meta EngineeringAI 评分2222 ZGateway：Meta 为 ZippyDB 引入代理层，承载 40% 流量
Meta 推出 ZGateway，作为 ZippyDB 客户端与 ZServer 数据库之间的无状态代理层，目前承载约 40% 的 ZippyDB 流量，预计将增长至 60% 以上，每秒可处理超过 10 亿次操作，平均用例仅增加约 6% 计算开销。
NVIDIA Developer BlogAI 评分2727 NVIDIA PAIR 虚拟推理路由器：把本地网络的可用算力扩展出来
NVIDIA 推出 PAIR 虚拟推理路由器，可将本地网络中的可用算力扩展给 AI 智能体使用。该方案面向多智能体协作场景：主智能体把复杂任务拆成子任务分派给专用子智能体，用户也会同时运行多个智能体会话。
MIT News · AIAI 评分1717 从 MIT 到 IBM：三位研究者如何加速 AI 与量子部署
三位曾任职 MIT-IBM Computing Research Lab 的研究者现于 IBM 推进 AI 与量子研究：张伟宏（Zhang-Wei Hong）研究面向智能体的测试时训练与企业级智能体框架，Irene Ko 开发 vLLM Hook 插件，通过访问模型隐状态分析提示词注入与幻觉风险；Srinivasan Arunachalam 则从学习理论出发寻找量子加速算法。
NVIDIA Developer BlogAI 评分1515 NVIDIA CUDA 现代工具链实战：六步优化调试与加速指南
NVIDIA 发布 CUDA 优化实战教程，用图像处理示例演示六步渐进式改进：借助 CCCL API 与 Compute Sanitizer 定位索引越界等内存错误，用 NVTX 标注改善 Nsight Systems 性能分析，并调用 CUB 的 block/device 级算法。
NVIDIA Developer BlogAI 评分3030 NVIDIA 如何用推测解码协同设计 AI 模型以加速 LLM 推理
NVIDIA 在 AI 模型协同设计系列第三篇中，探讨如何用推测解码在保持精度的前提下加速 LLM 推理。文章给出五条指南，用于在帕累托前沿上选择 draft 长度与 draft 机制。
MIT News · AIAI 评分4343 MIT 与 Motional 提出 CW-Net，帮人类预测自动驾驶汽车何时会犯错
MIT 与自动驾驶公司 Motional 提出 Concept-Wrapper Network（CW-Net），可将自动驾驶深度学习规划器的内部推理翻译为“接近停驻车辆”“靠近骑行者”等可理解概念。该模块在 1.3 亿个自动驾驶场景样本上训练，不改动原模型驾驶性能，实测帮助安全员更准确预测车辆行为。研究发表于 Nature。
Meta EngineeringAI 评分4949 Meta 构建组织级"第二大脑"：让 AI 智能体从专家反馈中持续学习
Meta 工程团队构建了一个面向合规领域的 AI 智能体，作为领域"第二专家"沉淀机构知识。系统将知识架构与推理层分离，通过自改进闭环把专家反馈编译为经过回归测试的更新，无需重训练模型，并将 200+ 文件按 Position、Taxonomy、Routing、Gateway 等类型组织成严格分类体系。
NVIDIA Developer BlogAI 评分2424 用 NVIDIA Nemotron 构建自适应智能体网络安全系统
NVIDIA 发布基于 Nemotron 的自适应智能体网络安全系统方案，让智能体跨长周期协调工作、追求复杂目标，而非局限于既有告警、预设工作流和已知攻击行为。其重点在于找出防御遗漏之处，并将这些缺口转化为新的防御能力。
NVIDIA Developer BlogAI 评分2424 如何为 AI 推理和 TCO 合理配置 GPU 而不超支
NVIDIA 发文讨论企业如何为 AI 推理负载合理配置 GPU 并优化总拥有成本（TCO）。文章指出，面对延迟目标、模型选择、流量模式和预算约束的复杂组合，组织在 GPU 选型上容易迷失方向。
NVIDIA Developer BlogAI 评分2323 在 Claude Science 中运行 NVIDIA BioNeMo NIM 微服务进行蛋白质结构预测
NVIDIA BioNeMo NIM 微服务现可在 Claude Science 中运行，用于蛋白质结构预测。正文提到，AI 科学家已能读取论文、提出假设、调用模型并判断下一步优先做哪些实验，这类智能体能力先在软件工程中验证价值，编码智能体如今可编写、测试并交付生产代码。
NVIDIA Developer BlogAI 评分2626 NVIDIA TensorRT Model Connect：两条命令将开源模型从 Checkpoint 部署到推理
NVIDIA TensorRT Model Connect 提供开源参考实现集合，可在两条命令内把开源模型从 Checkpoint 直接部署到推理，免去模型专属的转换、预处理、后处理与运行时代码。该方案支持在原生 C++ 中通过 NVIDIA TensorRT 运行受支持的模型。
NVIDIA Developer BlogAI 评分3030 NVIDIA NVLink Fusion 将 NVHBM 引入下一代 AI 基础设施
NVIDIA 通过 NVLink Fusion 将 NVHBM 引入下一代 AI 基础设施，面向超大规模厂商和 AI 原生公司自研的 XPU。这些加速器规模化部署需要 HBM 持续供数，并需要足够的封装与芯片面积承载更多算力。
NVIDIA Developer BlogAI 评分2222 NVIDIA 如何用 AI 智能体训练跨具身机器人导航策略
NVIDIA 介绍了一种用 AI 智能体训练跨具身机器人导航策略的方法。导航要求机器人持续定位自身、理解变化的环境、规划路线并避障，而迁移到新机器人或新场景往往需要新的数据、仿真资产和机器人接口。
Google DeepMind精选AI 评分6565 Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文字模型
Google DeepMind 发布 Gemini 3.5 Transcribe，一款面向实时转写的语音转文字模型，已在 Gemini API、Google AI Studio 和 Gemini Enterprise Agent Platform 开放公开预览。
推荐理由：官方给出 WER、延迟提升和两套 API 入口，读者可据此判断语音转写能否接入现有工程链路。