Meta 发布新一代生成式广告模型 GEM:架构 Kunlun 与训练效率翻倍
Meta 介绍了新一代生成式广告模型 GEM,将此前按 Facebook、Instagram、Reels 等场景分别优化的做法改为单一中心基础模型,统一预测跨场景点击与转化。
Meta 介绍了新一代生成式广告模型 GEM,将此前按 Facebook、Instagram、Reels 等场景分别优化的做法改为单一中心基础模型,统一预测跨场景点击与转化。
Anthropic 研究人员把 15 台单价约 55 美元、4GB 内存的杂牌安卓电视盒子联网,分布式跑起一个 260 亿参数模型,速度为 0.39 tokens/秒。
NVIDIA 提出 ReplaySSM,重新思考混合模型的解码状态存储方式。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3、GLM-5.3-Flash 等混合模型将 SSM 层与少量注意力层交错,SSM 层用固定大小状态替代随序列增长的 KV cache 以实现快速解码。
针对人形机器人打球时难以兼顾职业运动员动作风格与任务可靠性的问题,一套分层框架把生成风格化运动学动作的规划器与执行动作的跟踪器解耦。该框架从转播视频和动捕数据中学习网球发球与对打风格,通过在随机执行速度上训练跟踪器、并让规划器以学习到的运动速度表示作为条件,缓解仿真到真机的误差累积。它已在研究型人形平台和全尺寸人形机器人上验证,包括无动捕环境下的发球。
微软研究院实习生开发了一套端到端机器学习系统,可在风险出现前 30 至 60 分钟为美国本土 66,935 座变电站生成位置级空间天气风险估计。系统把太阳风观测、AE 与 Dst 指数预报、地质电导率等因素结合,先预测磁场变化率 dB/dt 再汇总为大陆级风险评估。评估期内该流水线识别出近 80% 的重大空间天气事件,Dst 预测器在 62.2% 的高活跃小时上优于 Burton 方程。
微软研究院对移动操作机器人负载做了首次系统性测量,发现仅依赖机载 GPU 推理会限制机器人性能、电池寿命与可扩展性。
推荐理由:微软对机器人负载的首次系统性测量显示,把推理从机载 GPU 卸载到边缘或云端可在成功率、模型规模与续航上同时获益。
MIT 研究人员提出 HardFlow,让预训练生成模型在部署阶段满足安全、物理等不可妥协的硬约束,同时提升输出质量,无需重新训练。该方法把硬约束采样重构为轨迹优化问题,只在最终输出上强制约束,而非每个中间步骤。在机器人操作、迷宫导航和文本引导图像编辑实验中,HardFlow 实现完全约束满足,质量持续优于基线方法,计算时间与多数同类方法相当或更低。
MIT 与自动驾驶公司 Motional 提出 Concept-Wrapper Network(CW-Net),可将自动驾驶深度学习规划器的内部推理翻译为“接近停驻车辆”“靠近骑行者”等可理解概念。该模块在 1.3 亿个自动驾驶场景样本上训练,不改动原模型驾驶性能,实测帮助安全员更准确预测车辆行为。研究发表于 Nature。
METR 分析发现 AI 对科研的加速并不均衡:网络安全漏洞报告在 2026 年明显加速,数学研究仅小幅加速(部分领域 arXiv 投稿不到 12 个月翻倍),而 AI 研究本身的算法进展尚无可测加速。多校团队提出 SPADE,用 LLM 自博弈协同进化可执行训练环境,在 Qwen3-30B-A3B 上相比基座提升 8.1。另有用 Hawkeye 构建更好 GPU kernel 的内容。
Multiverse Computing 发布论文《Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss》。
Sebastian Raschka 发布 2026 年 1 月至 5 月的 LLM 研究论文精选清单,涵盖架构与模型设计、高效训练与扩展、推理效率与 KV Cache、稀疏注意力与长上下文、推理与测试时计算、强化学习与 RLVR、智能体系统与工具使用、编程智能体、扩散语言模型以及模型评测等类别。
Google DeepMind 发布 Decoupled DiLoCo,一种将训练拆成多个解耦计算“岛屿”、异步传输数据的分布式架构,可在远距离数据中心间以更低带宽训练大语言模型。
推荐理由:原文用混沌工程和 12B 模型跨四区域实测说明解耦训练如何隔离故障并放宽带宽要求。
Hugging Face 发布 AssetOpsBench,一个面向工业资产管理场景的智能体评测基准,包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式。
微软发布 Differential Transformer V2(DIFF V2),在保持 KV head 数量不变的前提下将 query head 翻倍,解码速度与标准 Transformer 相当,且无需自定义 attention kernel。
ServiceNow 将 15B 推理模型改造成 Mamba 混合架构,旗舰版 Apriel-H1-15b-Thinker-SFT 在几乎不损失推理质量的前提下实现 2.1 倍吞吐,总训练量 76.8B token。
Hugging Face 复现 Google 的 Infini-Attention 时发现,随着记忆压缩次数增加,模型性能持续下降,团队约 90% 的时间都花在调试一个收敛问题上。作者认为,ring attention、YaRN 和 rope scaling 目前仍是扩展预训练模型上下文长度的最佳方式。
Hugging Face 在社区周活动中用 10 亿句对训练出 SOTA 句嵌入模型,训练跑在 7 块 TPU v3-8 上。方法采用批内负样本的对比学习目标,配合大批次、难负样本和跨数据集批次提升质量。模型与数据集已在模型卡中开源。