Nathan Lambert:开源模型生态为何愈发依赖 Nvidia 的“造 token 机器”
Nathan Lambert 认为,开源模型生态正越来越依赖 Nvidia 的投入,后者据报道已为此花费 260 亿美元。他把带完整训练配方、数据和代码的开源语言模型比作 Linux,而只放权重和推理代码的开源权重模型更像具体软件版本。若这套投入无法带来与 Anthropic、OpenAI API 相当的回报,开源模型或转向偏效率、可修改和专用化的长尾路线。
Nathan Lambert 认为,开源模型生态正越来越依赖 Nvidia 的投入,后者据报道已为此花费 260 亿美元。他把带完整训练配方、数据和代码的开源语言模型比作 Linux,而只放权重和推理代码的开源权重模型更像具体软件版本。若这套投入无法带来与 Anthropic、OpenAI API 相当的回报,开源模型或转向偏效率、可修改和专用化的长尾路线。
Import AI 第 469 期介绍了 DiG-bench(Discovery in Games)基准,包含 70 款规则与目标均隐藏的手工游戏,其中 21 款已公开,Opus 5 和 Fable 5 搭配 Claude Code 表现最佳,但仅能在 Tier 7 取得 0.2 分。
Z.ai 发布 GLM-5.3,目前仅在编码套餐中提供,之后上线 API,两周后开放权重。该模型与 GLM-5.2 共用同一基座,仅大幅扩展后训练,参数量约 750B,为 Kimi K3 的三分之一,在多项智能体编码基准上超过 Kimi K3,部分指标超过 Claude Fable 5 或 GPT-5.6-Sol。
Nathan Lambert 完成了一本关于 RLHF(Reinforcement Learning from Human Feedback)的后训练教科书,并用 LLM 辅助排版、文字编辑和绘图。他认为当前模型在长篇非虚构写作上已停滞:GPT 5.5 Pro 能在 200-300 页书稿中找出细微笔误,Claude 更适合当编辑,但模型仍难以把内容组织成连贯章节,错误会复合累积。
Import AI 第 468 期收录智库 IFP 提出的 23 条应对 AI 研发自动化风险的政策建议,分属透明度、风险管理和算力分配等 7 个类别。MIT 与 Columbia 的论文 Racing to Ruin 用博弈模型分析前沿 AI 企业的研发竞赛,认为透明度和对手可信度是达成协调减速的关键变量,低信任下所有均衡都会奔向灾难。
Hugging Face 发文指出,AI 的下一道真实约束是利用率而非智能,闲置 GPU 如同停飞客机——成本按日历小时计提,产出只按算力小时累积。
Epoch 与 METR 发布 MirrorCode 基准,用于评估 AI 完成人类需数周编程任务的能力;Opus 4.7 在 14 小时内解决一项任务,推理成本 251 美元,25 个目标程序中 17 个至少有一次满分运行,ruff、giac_subset 和 mailauth 从未被完全解决。
Nathan Lambert 认为,开源模型正面临迄今最严峻的可行性考验,白宫正在讨论通过新行政令管理开源模型,最可能的动作是限制或无限期延后能力明显超过 GPT 5.5、Claude Opus 4.8 或 GLM-5.2 区间的开放权重模型,按当前的能力差距这可能在 6 个月内发生。
Interconnects 与 Interconnected 联合发表评论文章,警告华盛顿近期的 AI 监管动作可能进一步波及甚至禁止开源 AI,认为这将是严重错误。
作者让编程智能体调用两个 Hugging Face Space 搭建了一个展示巴黎地标的 3D 高斯泼溅画廊:ideogram4 负责由提示词生成图像,VAST-AI/TripoSplat 负责将单张图像重建成 .ply 格式的 3D 高斯泼溅。
推荐理由:作者以一条可复现的智能体流水线,展示如何用 agents.md 串联两个 Space 完成图像与 3D 生成。
编码智能体的能力差异更多来自模型外围的 agentic harness,而非模型本身。Claude Code、Codex CLI 等编码工具本质是把 LLM 包在应用层里的编码 harness,负责仓库上下文、工具设计、提示词缓存稳定性、记忆与长会话连续性。文章将其拆解为模型家族、agent 循环与运行时支持三层,循环内含 observe、inspect、choose、act 四步。
Anthropic 限制 Pro/Max 订阅者在开放智能体平台中使用 Claude 模型,Hugging Face 博客给出把 OpenClaw、Pi、Open Code 等智能体迁移到开源模型的两条路径。
Hugging Face 发布教程,介绍如何通过 Claude Code、Codex 等编码智能体结合 Unsloth 与 Hugging Face Jobs 微调小模型(示例为 LiquidAI/LFM2.5-1.2B-Instruct)。
推荐理由:原文给出从安装 Skill 到提交 HF Jobs 的完整命令与分档价格,读者可照此复现小模型微调流程。
Hugging Face 博客介绍新工具 upskill,用大模型生成并评估 agent 技能,再交给小模型使用,在编写 CUDA kernel 任务上做了基准测试。
推荐理由:用教师模型生成 Skill 再迁移到小模型的完整流程,读者可据此评估自己场景下的迁移收益。
Google DeepMind 宣布与英国 AI Security Institute(AISI)签署新谅解备忘录,将合作从模型测试扩展到基础安全研究。双方将共享模型、数据与思路,围绕 AI 推理过程(CoT)监控、社会情感失准的经济与伦理影响以及 AI 对经济系统的冲击展开联合研究,并发布联合报告。
Hugging Face 发布 HF Skills,通过 hf-llm-trainer 等技能让 Claude Code、Codex、Gemini CLI 直接提交云端 GPU 微调任务并推送到 Hub。技能支持 SFT、DPO 和 GRPO,可训练 0.5B 到 70B 参数模型并转换为 GGUF 本地部署,官方示例微调 Qwen3-0.6B 约需 20 分钟、0.30 美元。
推荐理由:官方给出从数据校验、选卡到提交训练和转 GGUF 的完整流程与成本区间,可直接照做。
AnyLanguageModel 是一个 Swift 包,作为 Apple Foundation Models 框架的 drop-in 替代,只需把 import FoundationModels 换成 import AnyLanguageModel 即可保持相同 API。
推荐理由:AnyLanguageModel 用 Apple Foundation Models 的统一 API 接入本地与云端模型,读者可据此评估跨后端切换的成本。
Hugging Face 发布 BigCodeArena,首个通过实际执行代码来评估代码生成模型的人类参与平台,任何人都可让两个模型同题生成代码、在沙箱中运行后投票,结果汇总进排行榜。
HF Mirror 发文介绍如何把 Claude 连接到 HF Mirror Spaces 来生成图像,并推荐专注自然真实感的 FLUX.1 Krea [dev] 和擅长文字渲染的 Qwen-Image。
Artificial Analysis 发布 Big Bench Audio 评测数据集,将 Big Bench Hard 的 1000 道题改编为音频形式,用于评估音频语言模型的推理能力。
The Gradient 刊文《The Artificiality of Alignment》指出,当前所谓"对齐"研究更像在解决"造一个有人愿意付费的产品"这一老问题,而非人类灭绝级别的宏大挑战。文章批评公众讨论把猜测性未来风险与当下真实危害混为一谈,并称 OpenAI 将构建超级智能列为主要目标之一,而收入生成始终是其治理、产品与技术决策的底层目标。
Hugging Face 发文解读大语言模型的红队测试(Red-Teaming):通过构造自然语言提示词诱导 LLM 暴露有害输出,并对模型进行修正,与人类难以理解的对抗攻击不同。文章指出人类或 LM 均可充当红队,对经 RLHF 或 SFT 对齐的模型需用角色扮演等方式越狱;Tay、Sydney 是缺乏红队评估的真实教训,Meta、Anthropic、AI2 已开源相关数据集。
Hugging Face 梳理了让对话式 AI 智能体真正有用的关键技术,包括 RLHF、IFT、SFT、CoT 与红队测试,并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 与 Anthropic Assistant 的架构、训练数据与评估标准。
Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型,把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤,并说明奖励模型以排序而非直接打分来生成标量奖励,最后用 PPO 结合 KL 散度惩罚更新策略。
推荐理由:文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段,并梳理可直接上手的开源工具与数据集。