NVIDIA 谈安全在 AI 智能体栈中的位置
随着 AI 智能体能力增强、运行时间跨度变长,为其应用构建安全与信任愈发重要。NVIDIA 的 AI 安全团队结合在 NVIDIA OpenShell 上与智能体开发者、开源项目及生态伙伴的合作经验,分享了对新兴智能体栈的看法,包括各层所扮演的角色。
随着 AI 智能体能力增强、运行时间跨度变长,为其应用构建安全与信任愈发重要。NVIDIA 的 AI 安全团队结合在 NVIDIA OpenShell 上与智能体开发者、开源项目及生态伙伴的合作经验,分享了对新兴智能体栈的看法,包括各层所扮演的角色。
Asana 借助 AI 在两周内完成从测试框架 Enzyme 迁出所需的大规模测试用例重写,Airbnb 和 Uber 也有类似经历,AI 被认为非常适合框架迁移。
在 Google 工作超 14 年、参与 Chrome DevTools 与 Core Web Vitals 的 Addy Osmani 认为,AI 辅助开发的最大风险是"认知投降",即对问题理解与记忆的侵蚀。他建议通过理解 LLM 的每个关键决策来对抗,并以"互相放大"方式使用 AI 工具,同时强调 AI 无法承担责任,软件工程师仍将重要。
Gergely Orosz 访谈近 20 位正在休职业假或认真考虑离职的工程负责人,归纳出十条常见离职原因,包括 AI 相关预期不切实际、创业公司股权可能归零、团队变小不再需要那么多管理者、以及担心缺乏 AI 原生经验而落后。文中提到 6/10 受访工程负责人表示正在离开岗位,并讨论以小数 CTO 形式替代全职、以及转回 IC 岗位获取 AI 经验的路径。
MIT 材料科学与工程系教授 Eugene Fitzgerald 在新书《The Invisible Engine: Why Innovation Evades Control》中指出,创新是被误解的概念,其本质是市场应用、技术与实施的整合。
Nathan Lambert 认为,开源模型生态正越来越依赖 Nvidia 的投入,后者据报道已为此花费 260 亿美元。他把带完整训练配方、数据和代码的开源语言模型比作 Linux,而只放权重和推理代码的开源权重模型更像具体软件版本。若这套投入无法带来与 Anthropic、OpenAI API 相当的回报,开源模型或转向偏效率、可修改和专用化的长尾路线。
AMD 一年内将 AI 带来的整体生产力提升做到 30%,超过原定两到三年 25% 的目标,其 AI 生成生产代码占比已突破 20%、部分组件超 80%。AMD 在 Radeon Software eXperience 中用 AI 智能体自动修复问题,比例从最初 6% 升至 2026 年 6 月的 75%,并正通过 Codex、Claude Code 等智能体框架探索多智能体协作。
IEEE Spectrum 报道称,智能体 AI 的兴起正让 CPU 重新成为 AI 基础设施的关键环节。AWS 此前要求工程师尽一切代价节省 CPU 周期,因为 AI 工作负载令其云上 CPU 服务器等待时间激增。
Nathan Lambert 完成了一本关于 RLHF(Reinforcement Learning from Human Feedback)的后训练教科书,并用 LLM 辅助排版、文字编辑和绘图。他认为当前模型在长篇非虚构写作上已停滞:GPT 5.5 Pro 能在 200-300 页书稿中找出细微笔误,Claude 更适合当编辑,但模型仍难以把内容组织成连贯章节,错误会复合累积。
Import AI 第 468 期收录智库 IFP 提出的 23 条应对 AI 研发自动化风险的政策建议,分属透明度、风险管理和算力分配等 7 个类别。MIT 与 Columbia 的论文 Racing to Ruin 用博弈模型分析前沿 AI 企业的研发竞赛,认为透明度和对手可信度是达成协调减速的关键变量,低信任下所有均衡都会奔向灾难。
OpenAI-HuggingFace 模型黑客事件后,Nathan Lambert 认为 AI 行业整体对接下来 12-24 个月毫无准备,企业与政府在 AI 风险上都将反应迟缓。他提出两个风险维度:像 GPT 模型这样极其执着的模型更可能越界,而默认用户意图的模型同样更不安全。他还呼吁公开执行黑客行为模型的提示词与内部特征。
多伦多大学、Vector Institute、剑桥大学与 ServiceNow 的研究者造出首个自维持 AI 病毒原型:它利用被攻陷 GPU 上的开放权重 LLM 做推理,漏洞检测成功率约 80%、利用成功率约 53%、自我复制成功率 88%,整体攻击成功率约 37%。
Hugging Face 发文指出,AI 的下一道真实约束是利用率而非智能,闲置 GPU 如同停飞客机——成本按日历小时计提,产出只按算力小时累积。
Interconnects 播客盘点开源模型最新进展:Kimi K3 上周发布,权重预计 7 月 27 日放出,需一个 B300 节点才能加载;Qwen 宣布下一代大模型将开放权重,GLM 5.2 持续在微调生态中扮演重要角色。节目还讨论了开源与闭源前沿的差距、蒸馏争论,以及中国厂商 Qwen、DeepSeek、MiniMax 的布局。
MIT 航空航天系在 2026 春季学期举办 JARVIS Challenge,让 31 名本科生分成 7 队,用四周时间借助 AI 设计、制造、组装并测试一台推力 50–100 磅、使用 Jet-A 燃料的小型单轴喷气发动机。
Nathan Lambert 认为,开源模型正面临迄今最严峻的可行性考验,白宫正在讨论通过新行政令管理开源模型,最可能的动作是限制或无限期延后能力明显超过 GPT 5.5、Claude Opus 4.8 或 GLM-5.2 区间的开放权重模型,按当前的能力差距这可能在 6 个月内发生。
UC Berkeley 团队提出近零推理成本将带来三类数据系统挑战:为智能体(Data Systems For Agents)、由智能体运行(Of Agents)、由智能体合成(By Agents)。文中举例指出,GPT-4 级能力在 2023 年初约 $30/百万 token,如今已降至 1 美元以下,部分厂商低于 $0.10,推理价格年降幅在 9 倍到 900 倍之间,中位数约 50 倍。
MIT News 专访 MIT EECS 副教授、CSAIL 成员 Phillip Isola,解析智能体 AI 与 ChatGPT、Claude 等生成式 AI 的区别。
一份由 Goldfeder、Wyder、LeCun 和 Shwartz-Ziv 于 2026 年发表的论文《AI Must Embrace Specialization via Superhuman Adaptable Intelligence》提出,优化理论、进化生物学、竞争市场与机器学习都指向同一结论:在有限算力、数据和开发时间下,专业化系统优于追求通用性的系统。
Interconnects 与 Interconnected 联合发表评论文章,警告华盛顿近期的 AI 监管动作可能进一步波及甚至禁止开源 AI,认为这将是严重错误。
企业 AI 试点普遍失败,症结在于智能体缺乏引导逻辑。IBM 用 Agent 逻辑(知识图谱、程序分析库等)在智能体层缩小上下文,测试显示:watsonx Code Assistant for Z 在百万行代码级遗留系统上保持略优理解性能,token 消耗降低约 30 倍;Aster 在 75+ Java 应用中使行、分支、方法覆盖率提升 20%-45%,token 消耗最多降低 15 倍。
在 Mythos 与 Project Glasswing 发布后,Hugging Face 发文讨论 AI 网络安全格局,指出真正起作用的是"大算力模型 + 软件相关数据训练 + 漏洞探测与修补脚手架 + 一定程度的系统自主性"这套系统配方,而非单个模型。文章认为开源代码与工具能让防御方获得与攻击方同级的 AI 能力,缩小双方的能力不对称。
Google DeepMind 回顾 AlphaGo 击败围棋世界冠军十周年,称其标志现代 AI 时代的开端。此后其搜索与强化学习方法衍生出 AlphaGo Zero、AlphaZero,并推动 AlphaFold 2 破解蛋白质折叠难题,AlphaFold 数据库已被超 300 万研究人员使用,相关成果于 2024 年获得诺贝尔化学奖。
2026 年 1 月 27 日至 2 月 17 日,开源社区陆续发布十款开权重 LLM,包括 Arcee AI 的 400B Trinity Large、Moonshot AI 的 1 万亿参数 Kimi K2.5、Qwen3-Coder-Next、GLM-5、MiniMax M2.5、Qwen 3.5 和 Cohere Tiny Aya 等。
哲学家提出"eudaimonic rationality"(幸福论理性)框架,认为理性的人类和 AI 都不应被设定为追求最终目标,而应将行动对齐于由行动、行动倾向、评价标准与资源构成的"实践"网络。
Hugging Face 博客指出开源已成为中国 AI 组织近未来的主流路径,其平台上关注度最高的机构是 DeepSeek,第四为 Qwen。截至 2025 年中,Hugging Face 上有超 113k 模型以 Qwen 为基础、超 200k 仓库标注 Qwen,远超 Llama 的 27k 和 DeepSeek 的 6k。
DeepSeek 发布 R-1 模型一年后,其开源权重成为 Hugging Face 史上获赞最多的模型。R1 以 MIT 许可开放推理路径与后训练方法,降低了技术、采用与心理三重门槛。百度 2024 年在 Hugging Face 零发布,2025 年增至 100 余个,字节跳动与腾讯发布量增长八到九倍。
2025 年 LLM 发展由推理模型主导,DeepSeek 在 1 月发布 R1 论文,用强化学习配合可验证奖励(RLVR)与 GRPO 算法训练出推理行为,并以开放权重达到当时最佳专有模型水平。R1 在 DeepSeek V3 之上再训练约花费 29.4 万美元,V3 的 671B 参数模型训练成本估计接近 500 万美元而非 5 亿。此后各家开放权重与专有模型纷纷跟进推出推理版本。
AlphaFold 2 在 2020 年 CASP 14 上仅凭氨基酸序列高精度预测蛋白质结构,解决了困扰生物学界 50 年的难题,并于 2024 年获诺贝尔化学奖。
Hugging Face 发文分析全球 AI 算力格局的迁移:中国国产芯片已开始承载 Qwen、DeepSeek、GLM、Kimi 等开源权重模型的推理,部分模型开始用国产芯片训练。文章指出,美国出口管制与华为 Ascend、寒武纪等国产芯片产能的加速高度相关,芯片受限也倒逼出 MLA、GRPO 等算力效率创新。
The Gradient 刊文《AGI Is Not Multimodal》指出,多模态路线把大量模块化网络堆叠起来看似通用,短期内无法实现具备感知运动推理、运动规划与社交协作能力的人类级 AGI。
Gradio 上线 5 年后月度开发者用户突破 100 万,Automatic1111、Oobabooga 的 Text Generation WebUI、Dall-E Mini、LLaMA-Factory 等热门开源项目均在使用。
Hugging Face 推出首期 AI 艺术工具通讯《The AI tools for Art Newsletter》,回顾 2024 年创意 AI 的关键进展,并预告 2025 年新动向及将启动月度汇总。
Hugging Face 发布分析指出,AI 智能体的风险随自主性提升而增加,用户让渡的控制权越多、风险越大,因此建议不要开发可自行编写并执行代码的全自主 AI 智能体。文中将智能体自主性划分为从模型不影响程序流程到模型自行编写执行代码的多个等级,认为半自主智能体在自主程度、可用任务和用户控制方式合适时,收益可能大于风险。
机器学习过去十年的进展表明,精心设计的数学化架构只带来边际提升,而算力驱动、工程优先的规模化路线却催生了现有理论无法预测的新能力。文章认为数学的角色正在演变:从提供性能理论保证,转向像物理学那样对训练与性能中的经验现象做事后解释,并更多用于架构与任务结构、数据对称性的高层匹配。规模化还让拓扑、代数、几何等"纯"数学领域加入机器学习,以应对深度学习的复杂性问题。
2024 年中国 AI 公司加速出海,全球 1500 家活跃 AI 公司中有 751 家位于中国,其中 103 家已拓展海外市场。华为、腾讯、阿里聚焦云计算与 AI 基础设施,主攻东南亚和中东;字节跳动七个月内推出 11 款海外应用,CapCut 月活超 3 亿。
The Gradient 文章指出,MMLU、HumanEval、MATH 等基准日趋饱和,但以非交互方式衡量的分数未必转化为用户体验。作者主张用"有目的的对话"重构人机交互,即以目标或意图为中心的多轮交流,并认为这对 SWE-bench 式的代码生成同样必要。
The Gradient 刊文主张,应以个人福祉与社会健康为根基来定义"有益 AI",并呼吁构建关于能力强大 AI 的、可行且技术可信的积极社会愿景。作者提出三点结论:无法确定唯一定义人类福祉但存在支持性关系、有意义工作等具体共识因素;AI 将像社交媒体一样冲击社会基础设施;基础模型的未来部署是关键,可探索新算法、基于福祉的模型评估与训练数据。
Hugging Face 发文探讨数据质量为何是 AI 开发的关键,提出高质量数据应具备相关性、完整性、时效性与偏见缓解等特征。文章以 Reddit 与 Google 的 RAG 搜索合作失准(如推荐"给披萨加胶水")为例,说明低质数据会拖累模型表现。作者主张将数据质量贯穿 AI 全生命周期,通过去重、内容过滤与人工反馈等策管流程提升模型稳健性、效率与公平性。
大语言模型的下一 token 预测能力能否迁移到价格与交易序列预测,成为量化交易的新方向。Hudson River Trading 在 2023 年 NeurIPS 上估算,3000 只可交易股票、每日 10 个数据点、每年 252 个交易日可产生 1770 亿市场数据 token,与 GPT-3 的 5000 亿训练 token 量级相近。