NVIDIA AI 工厂如何选择全栈可观测性方案
NVIDIA 发布指南，讲解如何为 AI 工厂选择全栈可观测性方案。AI 基础设施横跨计算、网络、存储、编排与应用多层，性能下降时某一层观察到的症状可能源自栈内其他位置，全栈可观测性通过打通各层遥测数据帮助运维团队定位问题根源。
全部AI 动态
全部动态
今日 2 条NVIDIA Developer BlogAI 评分1616
Interconnects · Nathan LambertAI 评分2727 Nathan Lambert 发布后训练教材《Reinforcement Learning from Human Feedback》
Nathan Lambert 的后训练教材《Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs》由 Manning 出版，已在美国发货，10 月登陆英国亚马逊。
Meta EngineeringAI 评分3737 Meta 广告排序新架构：多阶段序列模型与类 LLM 缩放定律
Meta 为广告排序提出多阶段序列模型架构，将重的离线用户建模与轻量的在线排序解耦，并引入稠密 tokenization 与 target-aware 注意力直接学习特征交互。
NVIDIA Developer BlogAI 评分3535 超越 VLA：World Action Models 如何重塑机器人操作
NVIDIA 提出 World Action Models，用于解决机器人策略泛化难题：传统策略在训练场景有效，物体形状、位置或光照变化后往往失效。该模型通过让策略理解任务背后的物理规律而非模仿演示，从而泛化到新条件，这一能力来自其骨干网络。
NVIDIA Developer BlogAI 评分1515 如何在共享 GPU 基础设施上运行隔离的租户 Kubernetes 集群
NVIDIA 介绍如何在共享 GPU 基础设施上运行隔离的租户 Kubernetes 集群。每团队一套专用集群往往带来超出组织所需的隔离程度，而单集群多团队共享虽可行，但随着团队增多协调成本上升，会出现 CRD 版本冲突、RBAC 重叠，且无法把 GPU 容量干净地划分为团队级预算。
NVIDIA Developer BlogAI 评分2828 NVIDIA 如何为快速交互式长上下文推理协同设计 AI 模型注意力
随着智能体与长上下文工作负载普及，注意力机制在推理耗时中占比越来越大，成为主导成本。NVIDIA 提出围绕 GPU 执行方式设计模型架构，即 AI 模型协同设计，以优化长上下文推理性能。
NVIDIA Developer BlogAI 评分2020 NVIDIA 提出安全部署 AI 智能体的四种方式
NVIDIA 提出四种更安全部署 AI 智能体的方式，针对智能体接入大语言模型后带来的安全风险。AI 智能体正被知识工作者当作"数字同事"使用，可完成审查 bug 报告、实现并测试修复、推送补丁并通知人工审核等任务。
NVIDIA Developer BlogAI 评分2626 NVIDIA Exemplar Cloud：在 AI 基础设施上释放完整性能的经验
NVIDIA 指出，采用相同 H100、GB200 NVL72 或 GB300 NVL72 的两套 AI 集群，在同一工作负载、模型和全局 batch size 下，训练吞吐量常出现 8% 到 12% 的差距，原因多来自内核层面的配置选择。NVIDIA 通过 Exemplar Cloud 总结在 AI 基础设施上释放完整性能的经验。
NVIDIA Developer BlogAI 评分3030 如何用 NVIDIA NeMo Guardrails 自托管可验证的 AI 编程助手
NVIDIA 发布教程，介绍如何在监管、主权或源码敏感环境中自托管 AI 编程助手。针对源码不能出网、助手编造包名带来供应链风险、以及生成改动出缺陷时缺乏审计记录三个问题，方案基于 NVIDIA NeMo Guardrails 实现验证。
Berkeley AI Research精选AI 评分6060 从 CUDA 到 MLX：K-Search 如何把内核优化经验带到 Apple Silicon
Berkeley Sky Lab 与 IBM Research 将 K-Search 这一进化式内核搜索框架扩展到 MLX，用结构化的 CUDA-to-MLX 翻译层，把已有 CUDA 内核当作知识库迁移到 Apple Silicon。
推荐理由：这篇工作给出把 CUDA 内核经验迁移到 Apple Silicon 的具体做法，读者可据此判断跨平台内核优化的可行路径。
NVIDIA Developer BlogAI 评分2727 NVIDIA 用 GPU 原生医学物理仿真开发医疗机器人
NVIDIA 提出以 GPU 原生医学物理仿真开发医疗机器人，应对医疗机器人无法像自动驾驶或工业机器人那样依赖互联网规模数据采集和无限真实世界实验的问题。该领域每次演示都需要专用设备、临床专业知识和患者或实验室环境，由此带来数据缺口等三大挑战，仿真成为训练现代机器人策略的途径。
NVIDIA Developer BlogAI 评分4040 NVIDIA 详解提升模型表现的六大 Agent Harness 能力
NVIDIA 指出，Agent Harness 是围绕模型的架构，决定上下文渲染、动作执行、状态管理和任务终止判断，单靠 Harness 设计就能带来 benchmark 结果两位数的波动以及 token 成本的显著差异。文章总结了六项可提升模型表现的 Harness 能力。
NVIDIA Developer BlogAI 评分2525 用 Prime Intellect Lab 几分钟定制 NVIDIA Nemotron 3 Nano
NVIDIA 发布指南，介绍如何通过 Prime Intellect Lab 在几分钟内定制 NVIDIA Nemotron 3 Nano，把通用模型适配到具体用例、领域和语言。定制需要 GPU 等基础设施、技术专长与针对工作流的软件，以及对特定领域专业知识的依赖。
NVIDIA Developer BlogAI 评分2121 让长时间运行的 NVIDIA TensorRT 引擎构建在 Python 或 C++ 中可观测、可取消
NVIDIA 提出让长时间运行的 TensorRT 引擎构建在 Python 或 C++ 中变得可观测、可取消，以解决构建过程无进度反馈的问题。TensorRT 引擎构建可能耗时数秒到数分钟，大型强类型模型、深层 tactic 搜索以及全新 GPU SKU 上的冷 timing cache 都会拉长构建时间。
Ahead of AI · Sebastian RaschkaAI 评分3838 如何在 LLM 中控制推理努力程度
文章以 OpenAI 的 o1、DeepSeek-R1 和 GPT-5.6 Sol 为例，解释推理模型如何通过推理努力（reasoning effort）设置控制性能与成本，GPT-5.6 系列提供三种尺寸、每种约五到六档推理努力。核心方法是用 RLVR 训练：仅以最终答案正确性（0/1）和格式给奖励，中间推理轨迹不参与训练，模型因此学会回溯和自我纠错等“Aha”时刻。
Hugging Face BlogAI 评分5757 IBM Research：模型路由看似简单，实为系统优化问题
IBM Research 分享将模型路由构建进智能体系统的经验，指出路由通常被当作分类问题，实际却是系统优化问题。
Hugging Face BlogAI 评分3131 PyTorch 性能分析（第三部分）：剖析 attention 实现的性能表现
PyTorch 官方博客 "Profiling in PyTorch" 系列第三篇聚焦 attention，通过 naive attention、inplace 因果掩码、SDPA 和自定义 kernel 四种实现对比 profiler 追踪结果。
Hugging Face BlogAI 评分2222 PRX 第四部分：我们的数据策略
Hugging Face 发布 PRX 系列第四篇，详解其数据策略：从公开与内部数据集混合构建训练语料，用 VLM 重新生成图片长描述，并借助 Mosaic Streaming 与 Lance 完成流式训练和数据管理。PRX 将文本编码器换成 Qwen3-VL，改为训练时实时计算文本 latent，仅带来约 3–4% 吞吐损失。图片统一以 JPEG 质量 92 编码，实测首次重编码几乎无感知损失。
Ahead of AI · Sebastian RaschkaAI 评分6262 如何用开源模型和工具搭建本地编码智能体
Sebastian Raschka 发布教程，讲解如何用 Ollama 本地服务和 Qwen3.6 35B-A3B 等开放权重模型，搭配 Qwen-Code、Codex、Claude Code 等编码智能体框架搭建全本地工作流。
Hugging Face BlogAI 评分5656 NVIDIA NeMo AutoModel 发布：MoE 微调吞吐提升 3.4-3.7 倍
NVIDIA 发布开源库 NeMo AutoModel，基于 HuggingFace Transformers v5 构建，为 MoE 模型微调带来 3.4-3.7 倍训练吞吐提升和 29-32% 显存下降，只需改动一行 import，无需修改其余 API 调用。
Hugging Face BlogAI 评分4545 Hugging Face 用 AI 与开源工具实现 huggingface_hub 每周发版
Hugging Face 将 huggingface_hub 的发布流程从每 4 到 6 周一次改为每周一次，全部由一个 GitHub Actions workflow 驱动。
Hugging Face BlogAI 评分4040 Transformers.js 试验跨源存储（Cross-Origin Storage）API
Google Chrome 团队开发者关系工程师 Thomas Steiner 在 Hugging Face 博客介绍，Transformers.js 试验中的跨源存储（COS）API 引入 navigator.crossOriginStorage 接口，通过加密哈希而非 URL 跨源存取大文件。
Hugging Face BlogAI 评分5050 Hugging Face 用本地模型 Gemma 与 Qwen 免费分诊 OpenClaw 仓库
Hugging Face 分享用本地开源模型加智能体框架，为 OpenClaw 仓库的 issue 和 PR 做自动分类与分流。方案在 NVIDIA GB10（DGX Spark）上运行 gemma-4-26b-a4b 和 qwen3.6-35b-a3b，两者本地每秒可生成数百 token，并借助受限只读 shell reposhell 让模型查看代码库后输出分类标签。
Hugging Face BlogAI 评分5555 Hugging Face 实测：LoRA 之外还有更好的微调技术
Hugging Face 在其 PEFT 库中新增统一的微调基准，对 40 多种参数高效微调（PEFT）技术使用相同基座模型、数据集和硬件进行对比，结论是 LoRA 并非总是最优选择。
Hugging Face BlogAI 评分5050 Hugging Face 用 transformers 打造智能体工具基准测试，开放模型自己跑
Hugging Face 发布了一套面向工具的智能体基准测试框架，以 transformers 为案例，衡量智能体完成任务所耗的 token、成本与失败次数，而非只看最终答案。测试在 pi coding agent 上驱动开放模型，按模型 × 版本 × 任务展开并跑在 HF Jobs 上以保证硬件一致，结果存入 HF Bucket。
Hugging Face Blog精选AI 评分6363 用 Strands Agents 和 LeRobot 从 Hugging Face Hub 走到机器人硬件
AWS 开源的 Strands Robots SDK 将 LeRobot 相关的数据录制、策略推理和机器人抽象封装成 AgentTools，可组合成单个 Strands agent，把 Hub 上的数据集一路走到物理机器人。
推荐理由：完整走通从 Hub 数据集到真机的一条 Agent 流水线，说明仿真与硬件数据共用同一格式后，训练脚本可以不加改动地互换使用。
Hugging Face BlogAI 评分2828 PyTorch 性能剖析（第二部分）：从 nn.Linear 到融合 MLP
PyTorch 性能剖析系列第二部分用 nn.Linear（bias=True）替换手写的 matmul-add，再堆叠三层并加入激活构成 MLP，在 NVIDIA A100-SXM4-80GB 上分析 profiler trace。
Hugging Face Blog精选AI 评分6161 作者如何让 Agent 串联两个 Hugging Face Space 搭建 3D 巴黎画廊
作者让编程智能体调用两个 Hugging Face Space 搭建了一个展示巴黎地标的 3D 高斯泼溅画廊：ideogram4 负责由提示词生成图像，VAST-AI/TripoSplat 负责将单张图像重建成 .ply 格式的 3D 高斯泼溅。
推荐理由：作者以一条可复现的智能体流水线，展示如何用 agents.md 串联两个 Space 完成图像与 3D 生成。
Hugging Face BlogAI 评分4242 如何将 GitHub CI 迁移到 HF Jobs：Trackio 实践指南
Hugging Face 发布指南，介绍如何通过 huggingface/jobs-actions 把 GitHub Actions 的 CI 任务迁移到 HF Jobs 上运行。该方案将 GitHub Actions 任务转为 HF Jobs 内的临时自托管 runner，Trackio 借此让 CPU 任务 CI 时间缩短约 30%，并新增了在 GPU 机器上运行的测试套件。
Hugging Face BlogAI 评分3232 超越聊天机器人的直接偏好优化：用模型自身失败样本的拒绝对降低 OCR 文本退化
DharmaOCR 团队将直接偏好优化（DPO）用于结构化 OCR 而非聊天对齐，用模型自身失败输出构建拒绝对，在所有测试模型家族中均降低了文本退化，平均降幅 59.4%，最高 87.6%（Nanonets-OCR2–3B 从 1.61% 降至 0.20%）。监督微调（SFT）虽能降低多数模型的退化率，但很少达到生产可接受水平，因为其目标并不显式惩罚重复循环。
Hugging Face BlogAI 评分2222 PyTorch 性能剖析入门指南：torch.profiler 使用教程（第一部分）
Hugging Face 发布 PyTorch 性能剖析系列第一篇，讲解如何用 torch.profiler 定位 LLM 训练与推理中的性能瓶颈。教程以矩阵乘法加偏置为例，演示如何记录 matmul_add、导出 profiler 表格与 trace，并解读 CPU、GPU lane 及 CUDA kernel 调度链路。
Hugging Face Blog精选AI 评分6565 Hugging Face 在 TRL 中实现 Delta Weight Sync，用 Hub Bucket 同步万亿参数权重
Hugging Face 在 TRL 中提交 PR，用增量权重同步替代异步强化学习中的全量权重传输：两次 RL 优化步之间约 99% 的 bf16 权重字节完全一致，只把变化的元素编码成稀疏 safetensors 文件上传到 HF Bucket，再让 vLLM 拉取。
推荐理由：Hugging Face 把异步强化学习的权重同步从全量广播改成稀疏增量，并给出可下载运行的实现，读者可以据此判断跨机房训练的门槛变化。
Hugging Face BlogAI 评分5656 Reachy Mini 实现完全本地语音对话
Hugging Face 博客介绍如何让 Reachy Mini 的语音对话全流程本地运行，使用其 speech-to-speech 级联管线（VAD → STT → LLM → TTS），无需云端、API key 或数据外传。
Hugging Face BlogAI 评分3535 Hugging Face 详解 AI 智能体术语：Model、Scaffolding、Harness 到底怎么分
Hugging Face 发布 AI 智能体术语表，厘清 model、scaffolding、harness、agent、context engineering、sub-agents 等常被混用的概念。
Ahead of AI · Sebastian RaschkaAI 评分3737 LLM 架构最新进展：Gemma 4 的 KV Sharing、mHC 与压缩注意力
近期开放权重模型的新架构集中解决长上下文效率问题：Gemma 4 的 E2B/E4B 变体采用跨层 KV sharing 并复用 KV 张量以压缩缓存，ZAYA1 引入压缩卷积注意力，Laguna XS.2 采用逐层注意力预算，DeepSeek V4 则结合 mHC 与压缩注意力。随着推理模型和智能体工作流保留更多 token，KV cache 大小、内存流量与注意力开销已成为主要瓶颈。
Hugging Face Blog精选AI 评分6464 Hugging Face 详解连续批处理中的异步化：用 CUDA 流与事件消除 CPU-GPU 串行等待
Hugging Face 博客发布第二篇高效 LLM 推理系列文章，讲解如何在连续批处理中实现异步化：将 CPU 的批准备与 GPU 的计算解耦，用 H2D、compute、D2H 三个非默认 CUDA 流配合 CUDA event 跨流同步，并处理双缓冲防数据竞争与 carry-over 传递新 token。
推荐理由：以 CPU 与 GPU 串行浪费为主线，给出三流分离与 CUDA event 同步的异步批处理实现思路，可迁移到长序列推理部署优化。
Hugging Face BlogAI 评分1919 AWS 上基础模型训练与推理的构建模块
AWS 撰文解析基础模型训练与推理的系统架构，指出扩展已从预训练单曲线演变为预训练、后训练与测试时计算三条路线，三者对加速计算、高带宽低延迟网络和分布式存储提出趋同的基础设施需求。
Berkeley AI ResearchAI 评分4040 自适应并行推理：高效推理扩展的下一个范式
伯克利 AI 研究团队梳理了从自一致性、Best-of-N、Tree of Thoughts 到 ThreadWeaver、ParaThinker、GroupThink、Hogwild!
Hugging Face BlogAI 评分3636 vLLM V0 迁移到 V1：RL 训练中先对齐正确性再改目标函数
PipelineRL 将推理引擎从 vLLM V0 迁移到 V1 时出现训练-推理不匹配，修复 logprobs 语义、V1 运行时默认值、inflight 权重更新路径和 fp32 lm_head 四处后 V1 与 V0 参考轨迹重新对齐。
Hugging Face BlogAI 评分5353 如何用 OpenAI Privacy Filter 构建可扩展 Web 应用
OpenAI 本周在 Hub 上发布 Privacy Filter，一个开源 PII 检测器，单次前向传播即可在 128k 上下文中标注八类信息。它是 1.5B 参数、50M 激活参数的模型，Apache 2.0 许可，在 PII-Masking-300k 基准上达到 SOTA。