自适应并行推理:高效推理扩展的下一个范式
伯克利 AI 研究团队梳理了从自一致性、Best-of-N、Tree of Thoughts 到 ThreadWeaver、ParaThinker、GroupThink、Hogwild!
伯克利 AI 研究团队梳理了从自一致性、Best-of-N、Tree of Thoughts 到 ThreadWeaver、ParaThinker、GroupThink、Hogwild!
PipelineRL 将推理引擎从 vLLM V0 迁移到 V1 时出现训练-推理不匹配,修复 logprobs 语义、V1 运行时默认值、inflight 权重更新路径和 fp32 lm_head 四处后 V1 与 V0 参考轨迹重新对齐。
Google DeepMind 发布 AlphaEvolve 一年进展报告,这款由 Gemini 驱动的编码智能体已从数学和计算机科学的开放问题探索,扩展到 Google 内部基础设施与外部商业场景。
推荐理由:汇总 AlphaEvolve 一年来的落地场景与量化收益,可据此判断算法智能体在科研与基础设施中的真实渗透程度。
Hugging Face 与 Appen Inc.、DataoceanAI 合作,为 Open ASR Leaderboard 引入高质量英语 ASR 私有数据集,涵盖多口音的朗读与对话语音,以防止 benchmaxxing 或测试集污染。排行榜默认平均 WER 仍仅基于公开数据集计算,用户可手动开启开关查看私有数据集的影响。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。
Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗的「三元照护」模式。
IBM Granite 团队发布 Granite 4.1 系列稠密解码器 LLM,包含 3B、8B、30B 三个规模,基于约 15T token 训练,采用五阶段预训练流程并将上下文窗口扩展至 512K token,全部以 Apache 2.0 许可开源。
推荐理由:原文披露了 Granite 4.1 从预训练到多阶段 RL 的完整训练配方,以及 8B 稠密模型追平上一代 32B-A9B MoE 的对比结果。
DeepInfra 已作为推理服务商接入 HF Mirror Hub,平台上的 serverless 推理生态进一步扩大。
NVIDIA 发布 Nemotron 3 Nano Omni 全模态理解模型,在文本、图像基础上加入原生音频与视频理解,覆盖文档分析、语音识别、长音视频理解、GUI 智能体和通用多模态推理五类任务。
推荐理由:原文给出了架构细节、多模态基准成绩与吞吐数据,读者可据此判断开源全模态模型在文档、音视频与 GUI 智能体场景的可用性。
Google DeepMind 与韩国科学技术信息通信部(MSIT)建立合作,将在首尔办公室设立 AI Campus,面向韩国学界开放 AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist 和 WeatherNext 等前沿模型。合作还探索韩国学生赴 Google DeepMind 实习机会,并与韩国 AI 安全研究所(AISI)共研安全实践。
OpenAI 本周在 Hub 上发布 Privacy Filter,一个开源 PII 检测器,单次前向传播即可在 128k 上下文中标注八类信息。它是 1.5B 参数、50M 激活参数的模型,Apache 2.0 许可,在 PII-Masking-300k 基准上达到 SOTA。
DeepSeek 发布 V4,Hub 上有 DeepSeek-V4-Pro(1.6T 总参数、49B 激活)和 DeepSeek-V4-Flash(284B 总参数、13B 激活)两个 MoE checkpoint,均支持 1M-token 上下文窗口。
推荐理由:原文拆解了 V4 混合注意力与工具调用后训练设计,可判断长上下文智能体工作负载的成本取舍。
Hugging Face 发布基于 Gemma 4 E2B 的 Transformers.js 浏览器扩展,演示如何在 Manifest V3 约束下本地运行 AI。
Google DeepMind 发布 Decoupled DiLoCo,一种将训练拆成多个解耦计算“岛屿”、异步传输数据的分布式架构,可在远距离数据中心间以更低带宽训练大语言模型。
推荐理由:原文用混沌工程和 12B 模型跨四区域实测说明解耦训练如何隔离故障并放宽带宽要求。
Google DeepMind 与 Accenture、Bain & Company、BCG、Deloitte、McKinsey 合作,帮助全球企业规模化落地前沿 AI。合作包括共建行业定制 AI 方案、让合作伙伴提前使用 Gemini 系列等前沿模型,以及对接双方高层。目前仅 25% 的组织成功将 AI 规模化投入生产。
Hugging Face 发布 QIMMA,一个先对基准本身做质量验证、再评测模型的阿拉伯语 LLM 排行榜,整合 14 个来源基准的 109 个子集、超 52,000 条样本,覆盖 7 个领域,其中 99% 为原生阿拉伯语内容。
在 Mythos 与 Project Glasswing 发布后,Hugging Face 发文讨论 AI 网络安全格局,指出真正起作用的是"大算力模型 + 软件相关数据训练 + 漏洞探测与修补脚手架 + 一定程度的系统自主性"这套系统配方,而非单个模型。文章认为开源代码与工具能让防御方获得与攻击方同级的 AI 能力,缩小双方的能力不对称。
Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升为虚拟状态实现跨时间并行优化、在状态迭代上加入随机性做探索、并重塑梯度以避免经由高维视觉模型的脆弱"状态-输入"梯度,从而让长时程规划变得可行。该工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 合作完成。
Hugging Face 发布一个 Skill 和配套的非智能体测试框架,帮助把语言模型从 transformers 移植到 mlx-lm,让模型加入 transformers 后能很快在 MLX 上可用。
Hugging Face 将 RLVE 框架扩展到多轮、工具增强的电商对话,推出 EcomRLVE-GYM,包含商品发现、替代品、购物车搭建、退货、订单跟踪、政策问答、捆绑规划和多意图旅程 8 个可验证环境。
微调 Qwen/Qwen3-VL-Embedding-2B 做视觉文档检索(VDR),在作者评测数据上 NDCG@10 从基座的 0.888 提升到 0.947,超过其测试的所有现有 VDR 模型,包括体积达 4 倍的模型。
Google DeepMind 发布文本转语音模型 Gemini 3.1 Flash TTS,提升了可控性、表现力和语音质量,在 Artificial Analysis TTS 排行榜上取得 1,211 的 Elo 分数。
推荐理由:官方给出 Elo 1211 的排行榜成绩与音频标签控制方式,可据此判断语音生成的可控性进步。
Hugging Face 发布 VAKRA,一个基于工具的可执行基准,用于评估 AI 智能体在类企业环境中的推理与行动能力。VAKRA 提供 8000+ 本地托管 API 与覆盖 62 个领域的真实数据库,包含 API 链式调用、工具选择、多跳推理等四类任务,推理链需 3-7 步,且模型整体表现较差。
HCompany 发布 Chrome 扩展 HoloTab,用智能体在浏览器内自动完成网页任务,无需配置或技术背景。用户描述需求后,HoTab 会在浏览器里导航界面、填写字段并做判断,底层由视觉模型、动作规划和界面理解驱动。
推荐理由:在 Holo3 模型之上给出浏览器端零配置的落地形态,读者可以看到 computer-use 能力怎样进入日常网页操作。
Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人的推理优先模型的一次重大升级,增强了空间推理与多视角理解,并新增仪表读数能力。
推荐理由:官方给出新版本在空间推理、成功检测与仪表读数上的能力变化,以及 API 与 AI Studio 的开放入口。
Hugging Face 发布 Sentence Transformers v5.4,可在同一套 API 下编码和比较文本、图像、音频与视频,用于视觉文档检索、跨模态搜索和多模态 RAG。
推荐理由:官方博客给出 Sentence Transformers v5.4 多模态嵌入与重排序的完整代码用法和模型清单,可直接照抄跑通流程。
Overworld 发布新一代实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广泛消费级硬件的 360p 档位。
推荐理由:Waypoint-1.5 用 720p/360p 双档位和消费级硬件本地运行把实时世界模型从演示推向可用。
Safetensors 已加入 PyTorch 基金会,成为 Linux 基金会下托管项目,与 DeepSpeed、Helion、Ray、vLLM 和 PyTorch 并列,商标、代码仓库与治理权归属 Linux 基金会而非任何单一公司。
Google DeepMind 发布 Gemma 4 开源模型家族,包含 E2B、E4B、26B MoE 和 31B Dense 四个规格,采用 Apache 2.0 许可。
推荐理由:Gemma 4 给出四种规格、Apache 2.0 许可与 Arena 排名,可据此判断开源模型在本地与端侧的可用边界。
Google DeepMind 在 HF 发布 Gemma 4 多模态模型家族,采用 Apache 2.0 许可,支持图像、文本和音频输入并生成文本。模型提供 E2B、E4B、12B Unified、31B 和 26B A4B 五个尺寸,最大上下文窗口 256K,其中 12B Unified 去掉独立视觉与音频编码器,直接把原始图像块和音频波形投影到 LLM 嵌入空间。
推荐理由:Gemma 4 五档模型覆盖端侧到 MoE,附各推理引擎与微调工具链的接入方式,可据此判断本地部署路径。
TII 的 Falcon Vision 团队发布 Falcon Perception,一个 0.6B 参数的早期融合 Transformer,用自然语言提示做开放词表定位与分割,图像与文本从第一层起共享参数。
推荐理由:原文用 SA-Co 与自建 PBench 的分数拆解了早期融合单骨干相对模块化流水线的收益与短板。
Gradio 发布 gradio.Server,扩展 FastAPI,在原路由基础上叠加 Gradio 的 API 引擎,提供排队、SSE 流式、并发控制和 gradio_client 兼容。
推荐理由:Gradio 新 Server 模式把排队、并发与 ZeroGPU 能力开放给任意前端框架,读者可据此评估自建前端的后端选型。
IBM 发布 Granite 4.0 3B Vision,一款面向企业文档理解的紧凑型视觉语言模型,以 LoRA 适配器形式挂载在 Granite 4.0 Micro 之上,在 Hugging Face 以 Apache 2.0 许可开放。
推荐理由:IBM 以 LoRA 适配器形式发布 3B 文档视觉模型,并给出图表与表格抽取的对比基准,便于判断小模型在企业文档场景的可用性。
OpenMed 用 250k 条 CDS 对比多种 Transformer 架构后,确定 CodonRoBERTa-large-v2 在密码子级语言建模上最优,困惑度 4.10、Spearman CAI 相关性 0.40,明显优于 ModernBERT。
Hugging Face 发布 TRL v1.0,将这个始于六年前、目前每月下载 300 万次的研究代码库正式定位为生产级后训练库,并引入语义化版本稳定性契约。
Google DeepMind 公布由 Gemini 驱动的 AI 指针实验,让指针不仅能识别所指内容,还能理解它对用户的意义。团队提出四条交互原则:保持工作流不中断、以指向捕捉视觉与语义上下文、支持“这个”“那个”式的口语简写、把像素转成可操作的对象。
Anthropic 限制 Pro/Max 订阅者在开放智能体平台中使用 Claude 模型,Hugging Face 博客给出把 OpenClaw、Pi、Open Code 等智能体迁移到开源模型的两条路径。
Google DeepMind 发布音频与语音模型 Gemini 3.1 Flash Live,称其精度更高、延迟更低,已在 Gemini Live API(Google AI Studio 预览)、Gemini Enterprise 客户体验版、Search Live 和 Gemini Live 上线。
推荐理由:官方给出语音模型在多项音频基准上的分数与覆盖入口,可据此判断语音智能体的可用度。
Google DeepMind 发布关于 AI 有害操纵的研究结果,称建成首个经实证验证的工具,用于在真实场景中测量此类操纵。研究覆盖英国、美国、印度共 9 项实验、超过 1 万名参与者,聚焦金融和健康等高风险场景,发现 AI 在健康话题上的有害操纵效果最弱,一个领域的成功无法预测另一个领域。
Google DeepMind 发布 Lyria 3 Pro,可生成最长 3 分钟的音乐,并能识别前奏、主歌、副歌和桥段等结构性元素。
推荐理由:Lyria 3 Pro 把单次生成时长提升到 3 分钟并支持曲式分段提示,读者可了解音乐生成在结构与产品接入上的变化。
Hugging Face 推出端到端语音智能体评测框架 EVA,首次同时评估任务成功率与对话体验,输出 EVA-A(准确率)和 EVA-X(体验)两项分数,并基于 bot-to-bot 实时音频架构模拟多轮完整通话。首批发布含 50 个航司场景数据集(覆盖航班改签、取消、代金券等),并对 20 个级联与音频原生系统(如 S2S 模型、LALM)给出基准结果,发现准确率与体验之间存在一致的权衡。