LLM 架构最新进展:Gemma 4 的 KV Sharing、mHC 与压缩注意力
近期开放权重模型的新架构集中解决长上下文效率问题:Gemma 4 的 E2B/E4B 变体采用跨层 KV sharing 并复用 KV 张量以压缩缓存,ZAYA1 引入压缩卷积注意力,Laguna XS.2 采用逐层注意力预算,DeepSeek V4 则结合 mHC 与压缩注意力。随着推理模型和智能体工作流保留更多 token,KV cache 大小、内存流量与注意力开销已成为主要瓶颈。
近期开放权重模型的新架构集中解决长上下文效率问题:Gemma 4 的 E2B/E4B 变体采用跨层 KV sharing 并复用 KV 张量以压缩缓存,ZAYA1 引入压缩卷积注意力,Laguna XS.2 采用逐层注意力预算,DeepSeek V4 则结合 mHC 与压缩注意力。随着推理模型和智能体工作流保留更多 token,KV cache 大小、内存流量与注意力开销已成为主要瓶颈。
Google DeepMind 与新加坡政府达成国家级 AI 合作,在医疗、科研、教育和气候领域推出新项目。合作探索 AI 辅助临床的"三方诊疗"模式,并用 AlphaFold、Google Earth 加速东南亚疫情研究,另向 Philanthropy Asia Alliance 的健康联盟提供 700 万美元资助。
剑桥大学 Clare Bryant 教授用 Google DeepMind 的 Co-Scientist 研究流感等病原体跨物种传播时的分子开关。她先输入一份鸟类与人类流感研究的基金申请摘要,Co-Scientist 生成并排序出候选假说;拿到完整提案后,它又优先标出一个她此前未关注的蛋白,并逐步收敛到具体氨基酸。
Google DeepMind 的 Co-Scientist 被 Calico Life Sciences 用于衰老生物学研究,帮助其从质量参差的文献中筛选出值得验证的假设。
爱丁堡大学团队用 Google Co-Scientist 筛选 MASH 肝病的潜在药物组合,并提出假设:NLRP3 炎症小体是连接炎症与代谢的关键分子桥梁,解释了 resmetirom 为何仅对少数合格患者有效。该假设经实验验证,或为靶向双重疗法铺路。
Google DeepMind 的 Co-Scientist 帮助 MIT 机械工程师 Ritu Raman 快速梳理 ALS 领域互相矛盾的文献,将想法转为可检验假设并按可行性、风险收益排序,其最佳线索指向细胞表面分子互作。
Google DeepMind 的 Co-Scientist 帮助斯坦福大学医学院团队筛选肝纤维化候选药物:它提出的 3 个候选中有 2 个在活体人肝细胞实验中阻断纤维化并促进肝细胞再生,其中抗癌药 vorinostat 阻断了 91% 的致肝纤维化损伤反应。研究者自行挑选的 2 个药物则未见效果,Co-Scientist 的推荐指向重塑基因活性的药物。
Google DeepMind 与 Google Research 的 AI 天气模型 WeatherNext 帮助美国国家飓风中心(NHC)提前五天以 80% 置信度预测飓风 Melissa 将在牙买加以 Category 5 强度登陆,三天的置信度接近 100%,这是首次从 Category 1 风速起步预测风暴达到 Category 5 强度。
推荐理由:Google DeepMind 披露 WeatherNext 在飓风 Melissa 预警中的实战表现,读者可看到 AI 气象模型对路径与强度的同时预测能力。
Google DeepMind 发布 Gemini 3.5 系列模型,首发 3.5 Flash,主打智能体与编码的前沿性能。
推荐理由:Gemini 3.5 Flash 在编码与智能体基准上超过 3.1 Pro,且输出速度达其他前沿模型 4 倍,读者可据基准与速度数据判断其性价比。
Hugging Face 发布 Granite Embedding Multilingual R2 两款 Apache 2.0 多语言嵌入模型,均基于 ModernBERT。
Hugging Face 博客发布第二篇高效 LLM 推理系列文章,讲解如何在连续批处理中实现异步化:将 CPU 的批准备与 GPU 的计算解耦,用 H2D、compute、D2H 三个非默认 CUDA 流配合 CUDA event 跨流同步,并处理双缓冲防数据竞争与 carry-over 传递新 token。
推荐理由:以 CPU 与 GPU 串行浪费为主线,给出三流分离与 CUDA event 同步的异步批处理实现思路,可迁移到长序列推理部署优化。
Google DeepMind 在 Nature 发表 Co-Scientist 研究,这是一个基于 Gemini 构建的多智能体 AI 系统,可迭代生成、辩论和演化复杂科学问题的新假设。
推荐理由:DeepMind 在 Nature 公布 Co-Scientist 的多智能体架构与各阶段分工,并给出多个实验室已落地的合作案例,可据此判断科研智能体的实际工作方式。
AWS 撰文解析基础模型训练与推理的系统架构,指出扩展已从预训练单曲线演变为预训练、后训练与测试时计算三条路线,三者对加速计算、高带宽低延迟网络和分布式存储提出趋同的基础设施需求。
伯克利 AI 研究团队梳理了从自一致性、Best-of-N、Tree of Thoughts 到 ThreadWeaver、ParaThinker、GroupThink、Hogwild!
PipelineRL 将推理引擎从 vLLM V0 迁移到 V1 时出现训练-推理不匹配,修复 logprobs 语义、V1 运行时默认值、inflight 权重更新路径和 fp32 lm_head 四处后 V1 与 V0 参考轨迹重新对齐。
Google DeepMind 发布 AlphaEvolve 一年进展报告,这款由 Gemini 驱动的编码智能体已从数学和计算机科学的开放问题探索,扩展到 Google 内部基础设施与外部商业场景。
推荐理由:汇总 AlphaEvolve 一年来的落地场景与量化收益,可据此判断算法智能体在科研与基础设施中的真实渗透程度。
Hugging Face 与 Appen Inc.、DataoceanAI 合作,为 Open ASR Leaderboard 引入高质量英语 ASR 私有数据集,涵盖多口音的朗读与对话语音,以防止 benchmaxxing 或测试集污染。排行榜默认平均 WER 仍仅基于公开数据集计算,用户可手动开启开关查看私有数据集的影响。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。
Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗的「三元照护」模式。
IBM Granite 团队发布 Granite 4.1 系列稠密解码器 LLM,包含 3B、8B、30B 三个规模,基于约 15T token 训练,采用五阶段预训练流程并将上下文窗口扩展至 512K token,全部以 Apache 2.0 许可开源。
推荐理由:原文披露了 Granite 4.1 从预训练到多阶段 RL 的完整训练配方,以及 8B 稠密模型追平上一代 32B-A9B MoE 的对比结果。
DeepInfra 已作为推理服务商接入 HF Mirror Hub,平台上的 serverless 推理生态进一步扩大。
NVIDIA 发布 Nemotron 3 Nano Omni 全模态理解模型,在文本、图像基础上加入原生音频与视频理解,覆盖文档分析、语音识别、长音视频理解、GUI 智能体和通用多模态推理五类任务。
推荐理由:原文给出了架构细节、多模态基准成绩与吞吐数据,读者可据此判断开源全模态模型在文档、音视频与 GUI 智能体场景的可用性。
Google DeepMind 与韩国科学技术信息通信部(MSIT)建立合作,将在首尔办公室设立 AI Campus,面向韩国学界开放 AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist 和 WeatherNext 等前沿模型。合作还探索韩国学生赴 Google DeepMind 实习机会,并与韩国 AI 安全研究所(AISI)共研安全实践。
OpenAI 本周在 Hub 上发布 Privacy Filter,一个开源 PII 检测器,单次前向传播即可在 128k 上下文中标注八类信息。它是 1.5B 参数、50M 激活参数的模型,Apache 2.0 许可,在 PII-Masking-300k 基准上达到 SOTA。
DeepSeek 发布 V4,Hub 上有 DeepSeek-V4-Pro(1.6T 总参数、49B 激活)和 DeepSeek-V4-Flash(284B 总参数、13B 激活)两个 MoE checkpoint,均支持 1M-token 上下文窗口。
推荐理由:原文拆解了 V4 混合注意力与工具调用后训练设计,可判断长上下文智能体工作负载的成本取舍。
Hugging Face 发布基于 Gemma 4 E2B 的 Transformers.js 浏览器扩展,演示如何在 Manifest V3 约束下本地运行 AI。
Google DeepMind 发布 Decoupled DiLoCo,一种将训练拆成多个解耦计算“岛屿”、异步传输数据的分布式架构,可在远距离数据中心间以更低带宽训练大语言模型。
推荐理由:原文用混沌工程和 12B 模型跨四区域实测说明解耦训练如何隔离故障并放宽带宽要求。
Google DeepMind 与 Accenture、Bain & Company、BCG、Deloitte、McKinsey 合作,帮助全球企业规模化落地前沿 AI。合作包括共建行业定制 AI 方案、让合作伙伴提前使用 Gemini 系列等前沿模型,以及对接双方高层。目前仅 25% 的组织成功将 AI 规模化投入生产。
Hugging Face 发布 QIMMA,一个先对基准本身做质量验证、再评测模型的阿拉伯语 LLM 排行榜,整合 14 个来源基准的 109 个子集、超 52,000 条样本,覆盖 7 个领域,其中 99% 为原生阿拉伯语内容。
在 Mythos 与 Project Glasswing 发布后,Hugging Face 发文讨论 AI 网络安全格局,指出真正起作用的是"大算力模型 + 软件相关数据训练 + 漏洞探测与修补脚手架 + 一定程度的系统自主性"这套系统配方,而非单个模型。文章认为开源代码与工具能让防御方获得与攻击方同级的 AI 能力,缩小双方的能力不对称。
Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升为虚拟状态实现跨时间并行优化、在状态迭代上加入随机性做探索、并重塑梯度以避免经由高维视觉模型的脆弱"状态-输入"梯度,从而让长时程规划变得可行。该工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 合作完成。
Sebastian Raschka 分享了他绘制 LLM 架构图的工作流:先从官方技术报告入手,但如今论文细节常不如以往,尤其工业实验室的开源权重模型。若模型权重发布在 Hugging Face Model Hub 且被 Python transformers 库支持,可直接查看 config 文件与参考实现,"能跑通的"代码不会说谎。
Hugging Face 发布一个 Skill 和配套的非智能体测试框架,帮助把语言模型从 transformers 移植到 mlx-lm,让模型加入 transformers 后能很快在 MLX 上可用。
Hugging Face 将 RLVE 框架扩展到多轮、工具增强的电商对话,推出 EcomRLVE-GYM,包含商品发现、替代品、购物车搭建、退货、订单跟踪、政策问答、捆绑规划和多意图旅程 8 个可验证环境。
微调 Qwen/Qwen3-VL-Embedding-2B 做视觉文档检索(VDR),在作者评测数据上 NDCG@10 从基座的 0.888 提升到 0.947,超过其测试的所有现有 VDR 模型,包括体积达 4 倍的模型。
Google DeepMind 发布文本转语音模型 Gemini 3.1 Flash TTS,提升了可控性、表现力和语音质量,在 Artificial Analysis TTS 排行榜上取得 1,211 的 Elo 分数。
推荐理由:官方给出 Elo 1211 的排行榜成绩与音频标签控制方式,可据此判断语音生成的可控性进步。
Hugging Face 发布 VAKRA,一个基于工具的可执行基准,用于评估 AI 智能体在类企业环境中的推理与行动能力。VAKRA 提供 8000+ 本地托管 API 与覆盖 62 个领域的真实数据库,包含 API 链式调用、工具选择、多跳推理等四类任务,推理链需 3-7 步,且模型整体表现较差。
HCompany 发布 Chrome 扩展 HoloTab,用智能体在浏览器内自动完成网页任务,无需配置或技术背景。用户描述需求后,HoTab 会在浏览器里导航界面、填写字段并做判断,底层由视觉模型、动作规划和界面理解驱动。
推荐理由:在 Holo3 模型之上给出浏览器端零配置的落地形态,读者可以看到 computer-use 能力怎样进入日常网页操作。
Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人的推理优先模型的一次重大升级,增强了空间推理与多视角理解,并新增仪表读数能力。
推荐理由:官方给出新版本在空间推理、成功检测与仪表读数上的能力变化,以及 API 与 AI Studio 的开放入口。
Hugging Face 发布 Sentence Transformers v5.4,可在同一套 API 下编码和比较文本、图像、音频与视频,用于视觉文档检索、跨模态搜索和多模态 RAG。
推荐理由:官方博客给出 Sentence Transformers v5.4 多模态嵌入与重排序的完整代码用法和模型清单,可直接照抄跑通流程。
Overworld 发布新一代实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广泛消费级硬件的 360p 档位。
推荐理由:Waypoint-1.5 用 720p/360p 双档位和消费级硬件本地运行把实时世界模型从演示推向可用。