NVIDIA 如何跨联邦 Kubernetes 与 AI 平台传递用户身份
NVIDIA 介绍如何在联邦 Kubernetes 与 AI 平台之间传递用户身份:用户可从中央门户打开受治理数据集、启动 notebook、调用另一集群中的助手,但身份在每一步都要跨越控制面与数据面边界,传统单点登录在此失效。
NVIDIA 介绍如何在联邦 Kubernetes 与 AI 平台之间传递用户身份:用户可从中央门户打开受治理数据集、启动 notebook、调用另一集群中的助手,但身份在每一步都要跨越控制面与数据面边界,传统单点登录在此失效。
Meta 推出 ZGateway,作为 ZippyDB 客户端与 ZServer 数据库之间的无状态代理层,目前承载约 40% 的 ZippyDB 流量,预计将增长至 60% 以上,每秒可处理超过 10 亿次操作,平均用例仅增加约 6% 计算开销。
一份公开教程用 TRL 的 GRPO 对 LFM2.5-350M 做微调,仅约 500 条样本、100 个训练步,就把 IFStruct 基准成绩从 22.6% 提升到 29.7%。
作者用 TRL 和 OpenEnv 复现了 Surya Narreddi 让语言模型通过 p5.brush 写 JavaScript 画水彩的方案,将参考池、RL 环境、打分模型和训练脚本全部开源。
NVIDIA 发布 CUDA 优化实战教程,用图像处理示例演示六步渐进式改进:借助 CCCL API 与 Compute Sanitizer 定位索引越界等内存错误,用 NVTX 标注改善 Nsight Systems 性能分析,并调用 CUB 的 block/device 级算法。
NVIDIA 在 AI 模型协同设计系列第三篇中,探讨如何用推测解码在保持精度的前提下加速 LLM 推理。文章给出五条指南,用于在帕累托前沿上选择 draft 长度与 draft 机制。
Meta 工程团队构建了一个面向合规领域的 AI 智能体,作为领域"第二专家"沉淀机构知识。系统将知识架构与推理层分离,通过自改进闭环把专家反馈编译为经过回归测试的更新,无需重训练模型,并将 200+ 文件按 Position、Taxonomy、Routing、Gateway 等类型组织成严格分类体系。
NVIDIA 发布基于 Nemotron 的自适应智能体网络安全系统方案,让智能体跨长周期协调工作、追求复杂目标,而非局限于既有告警、预设工作流和已知攻击行为。其重点在于找出防御遗漏之处,并将这些缺口转化为新的防御能力。
NVIDIA 发文讨论企业如何为 AI 推理负载合理配置 GPU 并优化总拥有成本(TCO)。文章指出,面对延迟目标、模型选择、流量模式和预算约束的复杂组合,组织在 GPU 选型上容易迷失方向。
NVIDIA 介绍了一种用 AI 智能体训练跨具身机器人导航策略的方法。导航要求机器人持续定位自身、理解变化的环境、规划路线并避障,而迁移到新机器人或新场景往往需要新的数据、仿真资产和机器人接口。
Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用于 ColBERT 式后期交互检索,并提供完整训练方案。作者用单张 RTX 3090 训练 14.5 小时得到 mLateOn-medical,在平均 941 token 的医学检索评测上超过其能找到的所有通用检索模型,截断文档最多会损失 0.24 NDCG@10。
面对分布在数十万块 GPU 上的分布式模型训练,传统通用 Ethernet 已成为首要性能瓶颈。NVIDIA 称 Spectrum-X Ethernet 针对这一 Giga-Scale AI 场景重构了网络规则,但文中未披露具体的吞吐、延迟或加速倍数数据。
Papers with Code 的混合搜索系统同时使用 PostgreSQL 全文检索、pgvector 稠密向量和 RRF 融合排序,目前维护超过 11 万篇来自 arXiv 与 Daily Papers 的论文嵌入向量。
NVIDIA 指出,LLM 的兴起正推动推荐系统从传统基于嵌入向量相似度的目标转向生成式目标,即根据用户历史序列预测大目录中的下一个动作或物品。推荐系统是消费互联网中最普遍的机器学习问题之一,但大规模训练与部署一直极为困难。
NVIDIA 探索通用编程智能体能否利用与工程师相同的示例、文档和开发工具来开发 Holoscan 边缘实时 AI 应用。Holoscan 是面向医疗影像、机器人等边缘实时 AI 应用的平台,HoloHub 是其配套仓库,汇集了不断增长的参考应用与组件。
NVIDIA FLARE 可用于构建联邦多模态 AI 工作流,让视觉问答、图像描述与图文推理等视觉语言模型(VLM)任务在数据无法集中、原始记录分散于各机构的前提下完成协同训练。原文正文指出,现代 VLM 已能支持这些任务,而联邦学习提供了跨数据本地站点协调训练的途径。
NVIDIA 介绍用多 GPU 加速 UMAP 的方法,可在数分钟内完成大规模降维且不损失精度。UMAP 广泛用于可视化与特征提取,覆盖探索性数据分析、主题建模和单细胞分析等场景,这类工作流常需反复调参重跑,数据集增大后对速度要求更高。
Hugging Face 博客介绍其自研约束感知 GPU 分配器,在相同硬件、相同负载下与 FIFO 调度器对比测试,GPU 利用率最高提升 33 个百分点,优先级加权产出提升 24.6%–105.1%,平均 52%。在 8 GPU 训练密集型场景中,利用率从 53.6% 升至 87.0%,产出提升 105%。该分配器将实时推理需求视为随时步变化的曲线,批式任务按优先级在整个调度周期内排布。
AWS 开源 SDK Strands Robots(Apache 2.0)演示了机器人数据闭环:用 Robot("so100") 录制 LeRobotDataset。
NVIDIA 发布指南,讲解如何为 AI 工厂选择全栈可观测性方案。AI 基础设施横跨计算、网络、存储、编排与应用多层,性能下降时某一层观察到的症状可能源自栈内其他位置,全栈可观测性通过打通各层遥测数据帮助运维团队定位问题根源。
Meta 为广告排序提出多阶段序列模型架构,将重的离线用户建模与轻量的在线排序解耦,并引入稠密 tokenization 与 target-aware 注意力直接学习特征交互。
NVIDIA 提出 World Action Models,用于解决机器人策略泛化难题:传统策略在训练场景有效,物体形状、位置或光照变化后往往失效。该模型通过让策略理解任务背后的物理规律而非模仿演示,从而泛化到新条件,这一能力来自其骨干网络。
NVIDIA 介绍如何在共享 GPU 基础设施上运行隔离的租户 Kubernetes 集群。每团队一套专用集群往往带来超出组织所需的隔离程度,而单集群多团队共享虽可行,但随着团队增多协调成本上升,会出现 CRD 版本冲突、RBAC 重叠,且无法把 GPU 容量干净地划分为团队级预算。
随着智能体与长上下文工作负载普及,注意力机制在推理耗时中占比越来越大,成为主导成本。NVIDIA 提出围绕 GPU 执行方式设计模型架构,即 AI 模型协同设计,以优化长上下文推理性能。
NVIDIA 提出四种更安全部署 AI 智能体的方式,针对智能体接入大语言模型后带来的安全风险。AI 智能体正被知识工作者当作"数字同事"使用,可完成审查 bug 报告、实现并测试修复、推送补丁并通知人工审核等任务。
NVIDIA 指出,采用相同 H100、GB200 NVL72 或 GB300 NVL72 的两套 AI 集群,在同一工作负载、模型和全局 batch size 下,训练吞吐量常出现 8% 到 12% 的差距,原因多来自内核层面的配置选择。NVIDIA 通过 Exemplar Cloud 总结在 AI 基础设施上释放完整性能的经验。
NVIDIA 发布教程,介绍如何在监管、主权或源码敏感环境中自托管 AI 编程助手。针对源码不能出网、助手编造包名带来供应链风险、以及生成改动出缺陷时缺乏审计记录三个问题,方案基于 NVIDIA NeMo Guardrails 实现验证。
NVIDIA 提出以 GPU 原生医学物理仿真开发医疗机器人,应对医疗机器人无法像自动驾驶或工业机器人那样依赖互联网规模数据采集和无限真实世界实验的问题。该领域每次演示都需要专用设备、临床专业知识和患者或实验室环境,由此带来数据缺口等三大挑战,仿真成为训练现代机器人策略的途径。
NVIDIA 指出,Agent Harness 是围绕模型的架构,决定上下文渲染、动作执行、状态管理和任务终止判断,单靠 Harness 设计就能带来 benchmark 结果两位数的波动以及 token 成本的显著差异。文章总结了六项可提升模型表现的 Harness 能力。
NVIDIA 发布指南,介绍如何通过 Prime Intellect Lab 在几分钟内定制 NVIDIA Nemotron 3 Nano,把通用模型适配到具体用例、领域和语言。定制需要 GPU 等基础设施、技术专长与针对工作流的软件,以及对特定领域专业知识的依赖。
NVIDIA 提出让长时间运行的 TensorRT 引擎构建在 Python 或 C++ 中变得可观测、可取消,以解决构建过程无进度反馈的问题。TensorRT 引擎构建可能耗时数秒到数分钟,大型强类型模型、深层 tactic 搜索以及全新 GPU SKU 上的冷 timing cache 都会拉长构建时间。
IBM Research 分享将模型路由构建进智能体系统的经验,指出路由通常被当作分类问题,实际却是系统优化问题。
PyTorch 官方博客 "Profiling in PyTorch" 系列第三篇聚焦 attention,通过 naive attention、inplace 因果掩码、SDPA 和自定义 kernel 四种实现对比 profiler 追踪结果。
Hugging Face 发布 PRX 系列第四篇,详解其数据策略:从公开与内部数据集混合构建训练语料,用 VLM 重新生成图片长描述,并借助 Mosaic Streaming 与 Lance 完成流式训练和数据管理。PRX 将文本编码器换成 Qwen3-VL,改为训练时实时计算文本 latent,仅带来约 3–4% 吞吐损失。图片统一以 JPEG 质量 92 编码,实测首次重编码几乎无感知损失。
Hugging Face 发布教程,介绍用一条 hf jobs run 命令在 HF Jobs 上启动私有、兼容 OpenAI API 的 vLLM 端点,按秒计费、无需自行配置服务器或 Kubernetes。
Hugging Face 将 huggingface_hub 的发布流程从每 4 到 6 周一次改为每周一次,全部由一个 GitHub Actions workflow 驱动。
Google Chrome 团队开发者关系工程师 Thomas Steiner 在 Hugging Face 博客介绍,Transformers.js 试验中的跨源存储(COS)API 引入 navigator.crossOriginStorage 接口,通过加密哈希而非 URL 跨源存取大文件。
Hugging Face 分享用本地开源模型加智能体框架,为 OpenClaw 仓库的 issue 和 PR 做自动分类与分流。方案在 NVIDIA GB10(DGX Spark)上运行 gemma-4-26b-a4b 和 qwen3.6-35b-a3b,两者本地每秒可生成数百 token,并借助受限只读 shell reposhell 让模型查看代码库后输出分类标签。
Hugging Face 在其 PEFT 库中新增统一的微调基准,对 40 多种参数高效微调(PEFT)技术使用相同基座模型、数据集和硬件进行对比,结论是 LoRA 并非总是最优选择。
Hugging Face 发布了一套面向工具的智能体基准测试框架,以 transformers 为案例,衡量智能体完成任务所耗的 token、成本与失败次数,而非只看最终答案。测试在 pi coding agent 上驱动开放模型,按模型 × 版本 × 任务展开并跑在 HF Jobs 上以保证硬件一致,结果存入 HF Bucket。