NVIDIA 如何评估 AI 智能体：从工具调用到任务完成
NVIDIA 发布文章阐述 AI 智能体评估方法，指出上线智能体的关键问题是能否在真实环境中连续完成数十次顺序工具调用并在某步失败后恢复，而仅评估模型回答是否"听起来对"无法反映任务是否真正完成。因此智能体评估正从为单次函数调用打分，转向为整个任务打分。
全部AI 动态
全部动态
今日 2 条NVIDIA Developer BlogAI 评分3939
NVIDIA Developer BlogAI 评分1919 NVIDIA 用 AIPerf 对大规模 LLM 推理进行基准测试
NVIDIA 发布 AIPerf，用于规模化 LLM 推理的基准测试。文章指出用 curl 命令、手写 asyncio 脚本或临时负载生成器测性能都存在同样问题：单进程性能受限、Python GIL 限制并发。
The Pragmatic EngineerAI 评分3636 与 Matt Pocock 聊 AI 技能：grill-me、战略编码与云智能体工作流
Matt Pocock 在 The Pragmatic Engineer 播客中讲述他如何用 "grill-me" 等技能让 AI 智能体反复追问用户，并以 "tracer bullet" 等引导词改善生成代码质量。
GitHub Blog · AI & ML精选AI 评分8181 GitHub Copilot 运行时如何用 Copilot 迁移到 Rust
GitHub 用 Copilot 智能体把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行 Rust，AI 智能体编写了大部分代码，跨 128 个 pull request 增量合入 main。
推荐理由：一位工程师复盘用 AI 智能体把 43 万行 TypeScript 运行时迁到 Rust 的全过程，含编排、缓存与评审经验。
NVIDIA Developer BlogAI 评分3434 如何用 AI 智能体为仿真准备 3D 场景
AI 智能体工作流可用于为物理 AI 系统准备并验证数字孪生：智能体检查 3D 场景、在 OpenUSD 中编写仿真相关数据、添加物理属性、渲染预检视图，并对照 SimReady 要求验证结果。该流程覆盖从 Blender 场景到交付给 NVIDIA 的仿真就绪 OpenUSD 交接。
NVIDIA Developer BlogAI 评分2727 用 Agentic AI 将 CUDA Tile 运算从 Python 翻译到 Rust
NVIDIA 介绍了 cuTile Rust（cutile-rs），一个用 Rust 编写 GPU kernel 的 tile 系统，将 Rust 所有权模型扩展到 tile 化的 GPU kernel 上，把可变输出切分为互不相交的片段，并在 kernel 启动间保持主机端所有权约定，同时允许程序员在需要底层控制时局部退出。
NVIDIA Developer BlogAI 评分2626 Dense 与 MoE 模型对比：活跃参数、吞吐量与如何选择
稠密模型与 MoE 架构的核心差异在于参数激活方式：MoE 通过专家路由让 30B 参数模型每个 token 仅激活 3B 参数，却仍能利用大模型容量，Nemotron 3.5 Lightning 即为例证。文章围绕活跃参数、吞吐量两个维度展开对比，并给出两者各自的适用选择场景。
NVIDIA Developer BlogAI 评分1818 NVIDIA Groq 3 LPX 确定性执行如何驱动 NVIDIA Vera Rubin 上的高能效高交互推理
NVIDIA 详解 Groq 3 LPX 的确定性执行机制，说明其如何在 NVIDIA Vera Rubin 平台上实现高交互推理的能效提升。文章指出，AI 工厂的核心约束是功耗，因此每瓦性能而非原始吞吐量才是衡量 AI 平台价值的标准。平台各组件需在有限功耗预算内最大化输出。
Hugging Face Blog精选AI 评分6262 IBM 推出 ALTK-Evolve 一致性准则，把 ReAct 智能体的任务一致性差距缩小一半
IBM 研究团队在 ALTK-Evolve 中新增一致性准则（consistency guidelines），用于解决智能体同一任务多次运行结果不稳定的问题。
推荐理由：原文给出检测智能体决策不稳定点的方法与开源实现，并说明如何将诊断转成可复用准则。
NVIDIA Developer BlogAI 评分1515 NVIDIA FLARE 如何跨 Docker、Kubernetes 和 Slurm 扩展联邦学习
NVIDIA FLARE 支持在 Docker、Kubernetes 和 Slurm 上运行联邦学习，解决项目从单服务器、少量客户端扩展到共享基础设施时的编排问题。随着规模增长，GPU 需按需分配、多项研究需相互隔离，且每个参与机构都要保留对自身数据的控制权。
NVIDIA Developer BlogAI 评分2222 NVIDIA Transformer Engine 加速 JAX 中的 Dropless MoE 训练
NVIDIA 用 Transformer Engine 加速 JAX 中的 Dropless MoE 训练。MoE 已成为大规模 AI 模型训练的标志性架构趋势，DeepSeek、Qwen、Mixtral 都是通过条件计算以更低训练算力达到或超过稠密模型性能的 MoE 模型代表。
GitHub Blog · AI & MLAI 评分2929 GitHub 营销运营即代码：用 Copilot 把活动从策划到跟进全流程自动化
GitHub 日韩营销团队用 GitHub Issue 表单、Labels 和 Actions 把活动运营流水线化：Issue 表单收集活动字段，标签触发工作流，活动从单个 Issue 自动搭建、每天筛选报名者并在结束后自动收尾。
NVIDIA Developer BlogAI 评分2727 全栈 NIM 优化如何让 Nemotron 3 Ultra 多承载 2.5 倍用户
NVIDIA 通过全栈 NIM 优化，使 Nemotron 3 Ultra 在相同 GPU 基础设施上可服务的并发用户数提升 2.5 倍。该优化针对生产级 LLM 部署中的并发与交互性权衡，对提示词长、跨步骤复用上下文的智能体 AI 负载尤为关键。
Hugging Face BlogAI 评分4242 TRL v1.14 用 Storage Bucket 替代 NCCL 实现 LoRA 异步 GRPO 训练
TRL v1.14 的 AsyncGRPOTrainer 现已支持只训练并同步 LoRA adapter 到 vLLM，训练与推理可跑在各自独立的 HF Jobs 上。
NVIDIA Developer BlogAI 评分3434 何时使用 Encode-Prefill-Decode 解耦加速多模态模型服务
NVIDIA 详解多模态推理优化技术 Encode-Prefill-Decode（EPD）解耦：将视觉编码阶段与 prefill、decode 阶段分离，在图像密集提示、短到中等长度输出以及量化 MoE 模型上收益最大。结合 NVIDIA Dynamo 使用，最多可实现 5 倍加速。
The Pragmatic EngineerAI 评分4343 OpenAI 的 Tibo Sottiaux 谈 Codex 是如何打造与迭代的
OpenAI 核心产品与平台负责人 Tibo Sottiaux 在 The Pragmatic Engineer 播客中讲述 Codex 的构建与迭代：Codex CLI 用 Rust 编写并开源，其 harness 始终略微领先 OpenAI 最新模型，且支持接入其他厂商模型。
NVIDIA Developer BlogAI 评分3535 用 NVIDIA NemoClaw 构建记忆驱动的智能体
NVIDIA 团队用 NVIDIA NemoClaw 构建了一个记忆驱动的"幕僚长"智能体，通过名为 self model 的人类可读知识层维护智能体的相关记忆。企业工作涉及随时间变化的邮件、决策、项目与待办事项，缺乏上下文的智能体必须先重建这些信息才能参与工作。
NVIDIA Developer BlogAI 评分3030 前沿推理走向边缘：如何在 NVIDIA Jetson 上部署并优化模型
NVIDIA 介绍如何在 Jetson 边缘硬件上部署并优化前沿推理与智能体模型。此前具备多步推理能力的模型体积过大，无法在边缘本地运行，开发者只能把推理绕经数据中心，带来网络依赖、成本上升和本可留在设备上的数据外泄风险。NVIDIA 表示这一限制正在被解除。
NVIDIA Developer BlogAI 评分1818 NVIDIA 如何跨联邦 Kubernetes 与 AI 平台传递用户身份
NVIDIA 介绍如何在联邦 Kubernetes 与 AI 平台之间传递用户身份：用户可从中央门户打开受治理数据集、启动 notebook、调用另一集群中的助手，但身份在每一步都要跨越控制面与数据面边界，传统单点登录在此失效。
Meta EngineeringAI 评分2222 ZGateway：Meta 为 ZippyDB 引入代理层，承载 40% 流量
Meta 推出 ZGateway，作为 ZippyDB 客户端与 ZServer 数据库之间的无状态代理层，目前承载约 40% 的 ZippyDB 流量，预计将增长至 60% 以上，每秒可处理超过 10 亿次操作，平均用例仅增加约 6% 计算开销。
Hugging Face BlogAI 评分3232 用 100 步 GRPO 微调 LFM2.5-350M，提升结构化输出合规性
一份公开教程用 TRL 的 GRPO 对 LFM2.5-350M 做微调，仅约 500 条样本、100 个训练步，就把 IFStruct 基准成绩从 22.6% 提升到 29.7%。
Hugging Face BlogAI 评分5656 用 TRL 和 OpenEnv 训练编码模型画水彩
作者用 TRL 和 OpenEnv 复现了 Surya Narreddi 让语言模型通过 p5.brush 写 JavaScript 画水彩的方案，将参考池、RL 环境、打分模型和训练脚本全部开源。
NVIDIA Developer BlogAI 评分1515 NVIDIA CUDA 现代工具链实战：六步优化调试与加速指南
NVIDIA 发布 CUDA 优化实战教程，用图像处理示例演示六步渐进式改进：借助 CCCL API 与 Compute Sanitizer 定位索引越界等内存错误，用 NVTX 标注改善 Nsight Systems 性能分析，并调用 CUB 的 block/device 级算法。
NVIDIA Developer BlogAI 评分3030 NVIDIA 如何用推测解码协同设计 AI 模型以加速 LLM 推理
NVIDIA 在 AI 模型协同设计系列第三篇中，探讨如何用推测解码在保持精度的前提下加速 LLM 推理。文章给出五条指南，用于在帕累托前沿上选择 draft 长度与 draft 机制。
Meta EngineeringAI 评分4949 Meta 构建组织级"第二大脑"：让 AI 智能体从专家反馈中持续学习
Meta 工程团队构建了一个面向合规领域的 AI 智能体，作为领域"第二专家"沉淀机构知识。系统将知识架构与推理层分离，通过自改进闭环把专家反馈编译为经过回归测试的更新，无需重训练模型，并将 200+ 文件按 Position、Taxonomy、Routing、Gateway 等类型组织成严格分类体系。
NVIDIA Developer BlogAI 评分2424 用 NVIDIA Nemotron 构建自适应智能体网络安全系统
NVIDIA 发布基于 Nemotron 的自适应智能体网络安全系统方案，让智能体跨长周期协调工作、追求复杂目标，而非局限于既有告警、预设工作流和已知攻击行为。其重点在于找出防御遗漏之处，并将这些缺口转化为新的防御能力。
NVIDIA Developer BlogAI 评分2424 如何为 AI 推理和 TCO 合理配置 GPU 而不超支
NVIDIA 发文讨论企业如何为 AI 推理负载合理配置 GPU 并优化总拥有成本（TCO）。文章指出，面对延迟目标、模型选择、流量模式和预算约束的复杂组合，组织在 GPU 选型上容易迷失方向。
NVIDIA Developer BlogAI 评分2222 NVIDIA 如何用 AI 智能体训练跨具身机器人导航策略
NVIDIA 介绍了一种用 AI 智能体训练跨具身机器人导航策略的方法。导航要求机器人持续定位自身、理解变化的环境、规划路线并避障，而迁移到新机器人或新场景往往需要新的数据、仿真资产和机器人接口。
Hugging Face BlogAI 评分4949 Sentence Transformers v6.0 如何训练与微调多向量嵌入模型
Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder，用于 ColBERT 式后期交互检索，并提供完整训练方案。作者用单张 RTX 3090 训练 14.5 小时得到 mLateOn-medical，在平均 941 token 的医学检索评测上超过其能找到的所有通用检索模型，截断文档最多会损失 0.24 NDCG@10。
The Pragmatic EngineerAI 评分5656 Ramp 为何自建内部编码智能体 Inspect
The Pragmatic Engineer 采访了 Ramp 的 CTO Rahul Sengottuvelu、工程负责人 Hamid Dadkhah 和 Inspect 创始工程师 Zach Bruggeman，讲述 Ramp 为何不用 Claude Code、Cursor 等第三方工具而自建内部编码智能体 Inspect。
NVIDIA Developer BlogAI 评分2020 NVIDIA Spectrum-X Ethernet 如何改写 Giga-Scale AI 网络规则
面对分布在数十万块 GPU 上的分布式模型训练，传统通用 Ethernet 已成为首要性能瓶颈。NVIDIA 称 Spectrum-X Ethernet 针对这一 Giga-Scale AI 场景重构了网络规则，但文中未披露具体的吞吐、延迟或加速倍数数据。
Ahead of AI · Sebastian RaschkaAI 评分4949 Claude 文本水印如何工作：Anthropic 文本水印机制详解
Anthropic 宣布将对 Claude 模型的文本输出加水印，用于识别内容是否由其模型生成，该水印对用户不可见且只能由 Anthropic 自行解码。作者用 50 多张幻灯片、48 分钟视频讲解这套文本水印的实现机制、为什么会被采样过程决定，以及水印如何失效或被移除。
NVIDIA Developer BlogAI 评分2929 生成式推荐系统如何在大规模场景下重新定义 RecSys
NVIDIA 指出，LLM 的兴起正推动推荐系统从传统基于嵌入向量相似度的目标转向生成式目标，即根据用户历史序列预测大目录中的下一个动作或物品。推荐系统是消费互联网中最普遍的机器学习问题之一，但大规模训练与部署一直极为困难。
NVIDIA Developer BlogAI 评分1919 用 CLI、技能和 AI 编程智能体开发 NVIDIA Holoscan 应用
NVIDIA 探索通用编程智能体能否利用与工程师相同的示例、文档和开发工具来开发 Holoscan 边缘实时 AI 应用。Holoscan 是面向医疗影像、机器人等边缘实时 AI 应用的平台，HoloHub 是其配套仓库，汇集了不断增长的参考应用与组件。
NVIDIA Developer BlogAI 评分1818 用 NVIDIA FLARE 构建联邦多模态 AI 工作流
NVIDIA FLARE 可用于构建联邦多模态 AI 工作流，让视觉问答、图像描述与图文推理等视觉语言模型（VLM）任务在数据无法集中、原始记录分散于各机构的前提下完成协同训练。原文正文指出，现代 VLM 已能支持这些任务，而联邦学习提供了跨数据本地站点协调训练的途径。
Hugging Face BlogAI 评分5959 IBM 研究：你的智能体到底需要多少记忆？
IBM 研究团队在 AppWorld 的 585 个多步任务上测试了 ALTK-Evolve，发现智能体记忆不是开关而是需要按模型校准的剂量。
NVIDIA Developer BlogAI 评分2323 用多 GPU 在数分钟内运行大规模 UMAP，且不损失精度
NVIDIA 介绍用多 GPU 加速 UMAP 的方法，可在数分钟内完成大规模降维且不损失精度。UMAP 广泛用于可视化与特征提取，覆盖探索性数据分析、主题建模和单细胞分析等场景，这类工作流常需反复调参重跑，数据集增大后对速度要求更高。
Hugging Face BlogAI 评分3636 Hugging Face 博客：约束感知 GPU 调度器让同集群利用率最高提升 33 个百分点
Hugging Face 博客介绍其自研约束感知 GPU 分配器，在相同硬件、相同负载下与 FIFO 调度器对比测试，GPU 利用率最高提升 33 个百分点，优先级加权产出提升 24.6%–105.1%，平均 52%。在 8 GPU 训练密集型场景中，利用率从 53.6% 升至 87.0%，产出提升 105%。该分配器将实时推理需求视为随时步变化的曲线，批式任务按优先级在整个调度周期内排布。
Ahead of AI · Sebastian RaschkaAI 评分4040 从零构建 AI 文本检测器：用 DistilBERT 微调打分并训练小模型规避检测
Sebastian Raschka 发布教程，演示如何从零构建 AI 文本检测器：微调 DistilBERT 分类器输出 0-100 的 AI 生成概率分，并提供本地浏览器 UI 与 API，可对整篇文本打分并高亮各文本块的分数。项目还用该检测器作为 verifier，训练小语言模型生成能规避检测的文本，以研究 AI 检测器的局限。
Hugging Face BlogAI 评分4848 用 Strands Agents、LeRobot 和 HF Mirror Storage Buckets 一站式录制、训练与部署
AWS 开源 SDK Strands Robots（Apache 2.0）演示了机器人数据闭环：用 Robot("so100") 录制 LeRobotDataset。