Google DeepMind 发布 Gemini 3 Flash 模型
Google DeepMind 发布 Gemini 3 Flash,主打前沿智能与速度,在 GPQA Diamond 上得分 90.4%、Humanity's Last Exam 无工具得分 33.7%、MMMU Pro 上得分 81.2%、SWE-bench Verified 上得分 78%。
推荐理由:Gemini 3 Flash 以 Pro 级推理配合 Flash 级延迟和价格,提供了速度与智能取舍的实测基准。
模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。
Google DeepMind 发布 Gemini 3 Flash,主打前沿智能与速度,在 GPQA Diamond 上得分 90.4%、Humanity's Last Exam 无工具得分 33.7%、MMMU Pro 上得分 81.2%、SWE-bench Verified 上得分 78%。
推荐理由:Gemini 3 Flash 以 Pro 级推理配合 Flash 级延迟和价格,提供了速度与智能取舍的实测基准。
Sebastian Raschka 梳理了 DeepSeek V3 到 V3.2 的演进,指出 V3.2 沿用 V3.2-Exp 的架构,核心变化是加入 DeepSeek Sparse Attention(DSA)以提升效率。
推荐理由:以 DeepSeek 技术报告为线索,梳理 V3 到 V3.2 的架构与训练变化,帮助读者看清稀疏注意力和 RL 奖励设计的取舍。
Hugging Face 发布 Transformers v5 首个候选版本 v5.0.0rc-0,主题为互操作性。官方称该库每日 pip 安装量已超 300 万次,累计安装超 12 亿次,支持的模型架构从 v4 时的 40 个增至 400 余个,Hub 上兼容的模型 checkpoint 超过 75 万个。
推荐理由:官方长文给出 v5 在模块化定义、推理接口与量化上的改动,读者可据此判断迁移成本与生态兼容性。
Hugging Face 介绍其为 OpenAI gpt-oss 系列模型升级 transformers 的相关技术,包括可从 Hub 下载的零构建 Kernels、MXFP4 量化、张量并行、专家并行、动态滑动窗口缓存与连续批处理等。
推荐理由:Hugging Face 公开 gpt-oss 适配 transformers 的升级细节,读者可据此判断量化、并行与缓存优化如何落地。
OpenAI 发布开源权重模型系列 gpt-oss,包含 117B 参数的 gpt-oss-120b 和 21B 参数的 gpt-oss-20b,均为采用 MXFP4 4-bit 量化的 MoE 模型,使用 Apache 2.0 许可。
推荐理由:Hugging Face 汇总了 gpt-oss 两个开源权重模型的参数、部署路径与生态适配情况,适合了解本地运行条件。
Hugging Face 发布 SmolLM3,一个 3B 全开源模型,训练于 11.2T tokens,支持英语、法语、西班牙语、德语、意大利语和葡萄牙语,上下文窗口达 128k。
推荐理由:Hugging Face 公开了 3B 模型的完整训练配方与数据配比,读者可了解小模型在长上下文和双模式推理上的工程路径。
Falcon-H1 系列发布 6 个开源模型,覆盖 0.5B、1.5B、1.5B-Deep、3B、7B 和 34B,均含 base 与 instruct 版本,采用 Apache 2.0 宽松许可。
推荐理由:Falcon-H1 以混合注意力与 SSM 架构在 6 个尺寸上对标同量级 Transformer,可据此判断端侧与长上下文场景的取舍。
Hugging Face 的 Open-R1 项目启动一周后发布首份更新,称已能复现 DeepSeek 在 MATH-500 上报告的评测分数,并公开了评测排行榜。
推荐理由:Open-R1 团队复现 DeepSeek-R1 评测并公开数据生成与 GRPO 训练的工程细节,可供复现者参考。
Hugging Face 启动 Open-R1 项目,计划系统性复现 DeepSeek-R1 的数据与训练流程,补上官方未公开的数据集和训练代码。该计划分三步:蒸馏高质量推理数据集复现 R1-Distill 模型,复刻 DeepSeek 用于 R1-Zero 的纯强化学习流程,并打通基础模型到 SFT 再到 RL 的多阶段训练。项目还计划把数据集拓展到代码和医学等领域,并向社区开放代码与讨论。
推荐理由:DeepSeek-R1 开源权重但未公开数据与训练代码,该项目计划补上蒸馏与纯 RL 复现路径。
Answer.AI 与 LightOn 发布 ModernBERT,一个仅编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个规模,作为任何 BERT 类模型的即插即用替代。
推荐理由:从架构到训练的完整技术拆解,并附论文、预训练 checkpoint 与微调路径,便于判断能否替换现有 BERT 类编码器。
Hugging Face 发布 Transformers.js v3,新增 WebGPU 支持,官方称推理速度最高比 WASM 快 100 倍,只需在加载模型时设置 device: 'webgpu'。
推荐理由:官方发布浏览器端推理库大版本,WebGPU 与量化格式的变化直接影响前端模型部署方式。
Hugging Face 上线 Meta Llama 3.1 系列,包含 8B、70B、405B 三个尺寸的基础与指令微调共六个模型,另发布 Llama Guard 3 和 Prompt Guard。
推荐理由:官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案和微调入口,便于据此评估部署成本。
Mistral 发布 Mixtral 8x7B,采用 MoE 架构,含 base 与 Instruct 版本,支持 32k token 上下文,HumanEval 得分 40.2%,在多数基准上追平或超过 GPT-3.5,并以 Apache 2.0 许可开放。
推荐理由:Mistral 开源 MoE 模型登顶开放权重榜,文中量化数据可帮助读者判断本地部署门槛。
Hugging Face 博客介绍 RWKV,一种融合 RNN 与 Transformer 优势的架构,已被集成进 transformers 库。
推荐理由:原文把 RWKV 在推理速度与显存上的取舍讲清楚,适合想了解 RNN 与 Transformer 混合架构的人参考。
Hugging Face 博客介绍了自回归语言生成的几种主流解码方法,包括贪心搜索、beam search、采样、Top-K 与 Top-p(nucleus)采样,并给出在 transformers 库中用 GPT2 实现每种方法的代码示例。
推荐理由:系统梳理贪心、beam search 与多种采样策略的取舍,并给出可直接运行的 transformers 代码示例。