Google 发布 EmbeddingGemma 多语言嵌入模型
Google 发布 EmbeddingGemma,一个面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言。该模型基于 Gemma3 骨干并改为双向注意力,量化后内存占用低于 200 MB,作者称其在 500M 参数以下的纯文本多语言嵌入模型中 MTEB 排名最高。
推荐理由:读者可以据此了解 308M 参数多语言嵌入模型在 MTEB 上的位置以及端侧 RAG 的落地路径。
新模型的发布、开源与迭代:大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
Google 发布 EmbeddingGemma,一个面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言。该模型基于 Gemma3 骨干并改为双向注意力,量化后内存占用低于 200 MB,作者称其在 500M 参数以下的纯文本多语言嵌入模型中 MTEB 排名最高。
推荐理由:读者可以据此了解 308M 参数多语言嵌入模型在 MTEB 上的位置以及端侧 RAG 的落地路径。
OpenAI 发布开源权重模型系列 gpt-oss,包含 117B 参数的 gpt-oss-120b 和 21B 参数的 gpt-oss-20b,均为采用 MXFP4 4-bit 量化的 MoE 模型,使用 Apache 2.0 许可。
推荐理由:Hugging Face 汇总了 gpt-oss 两个开源权重模型的参数、部署路径与生态适配情况,适合了解本地运行条件。
Hugging Face 发布 SmolLM3,一个 3B 全开源模型,训练于 11.2T tokens,支持英语、法语、西班牙语、德语、意大利语和葡萄牙语,上下文窗口达 128k。
推荐理由:Hugging Face 公开了 3B 模型的完整训练配方与数据配比,读者可了解小模型在长上下文和双模式推理上的工程路径。
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama、Google AI Edge 等主流开源库上线,共发布 gemma-3n-E2B 与 gemma-3n-E4B 两种尺寸,各有 base 和 instruct 变体。
推荐理由:原文给出 Gemma 3n 的端侧内存占用、多模态编码器与各开源库集成方式,可据此判断本地部署门槛。
H Company 发布 Holo1 系列 Action VLM,包括 Holo1-3B 和 Holo1-7B,基于 Qwen2.5-VL 架构并兼容 transformers,同时在 Hugging Face 开源包含 1,639 个类人 UI 任务的 WebClick 多模态定位基准。
推荐理由:Holo1 开源了 3B 和 7B 两档 GUI 定位模型,并给出真实网页任务的成本与准确率数据,便于判断小模型的落地边界。
Hugging Face 发布 SmolVLA,一个 450M 参数、可在消费级硬件运行的开源视觉语言动作(VLA)模型,仅用 lerobot 标签下社区共享的开源数据集预训练,包含 487 个数据集约 1000 万帧。
推荐理由:450M 参数的开源 VLA 只用社区数据就超过更大模型,并给出可复现的训练与部署路径。
Falcon-H1 系列发布 6 个开源模型,覆盖 0.5B、1.5B、1.5B-Deep、3B、7B 和 34B,均含 base 与 instruct 版本,采用 Apache 2.0 宽松许可。
推荐理由:Falcon-H1 以混合注意力与 SSM 架构在 6 个尺寸上对标同量级 Transformer,可据此判断端侧与长上下文场景的取舍。
Meta 发布 Llama 4 Maverick(约 400B 总参数、17B 激活)和 Llama 4 Scout(约 109B 总参数、17B 激活)两款原生多模态 MoE 模型,权重已上线 Hugging Face 的 meta-llama 组织,含 base 与 instruct 版本,需先接受 Llama 4 社区许可协议。
推荐理由:Meta 同日发布 Llama 4 Maverick 与 Scout 两款 MoE 多模态模型,并给出架构细节与 Hugging Face 侧集成方式。
DeepSeek-V3 的更新版 DeepSeek-V3-0324 本周出现在 Hugging Face Hub 上,架构与原始 V3 相同,许可证由自定义模型许可改为 MIT。
推荐理由:梳理了 DeepSeek-V3 更新版在数学与代码基准上的提升幅度,并给出本地部署与量化方案。
Google 发布 Gemma 3 开源权重模型家族,提供 1B、4B、12B、27B 四种规格及预训练与指令微调版本。4B、12B、27B 支持图像与文本输入、140 多种语言和 128k token 上下文,1B 版本仅支持英文文本和 32k 上下文。
推荐理由:Google 开源 Gemma 3 覆盖 1B 到 27B 四种规格,可据此判断小参数模型在多模态与长上下文上的实际边界。
Cohere For AI 发布 Aya Vision 系列开源多语言多模态模型,含 8B 和 32B 两个尺寸,覆盖 23 种语言。Aya Vision 32B 在 AyaVisionBench 上以 50% 至 64% 的胜率超过 Llama-3.2 90B Vision、Molmo 72B 和 Qwen2.5-VL 72B 等参数量两倍于它的模型。
推荐理由:原文给出 8B/32B 两个尺寸的开源权重与训练配方,可据此比较小参数多模态模型在多语言任务上的位置。
Hugging Face 发布 SmolVLM2 系列视频理解模型,包含 2.2B、500M 和 256M 三种参数规模,并同步支持 Transformers 与 MLX。
推荐理由:Hugging Face 发布三档小参数视频理解模型,并给出 iPhone、VLC 等端侧落地方式,可对照其内存与性能取舍。
Answer.AI 与 LightOn 发布 ModernBERT,一个仅编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个规模,作为任何 BERT 类模型的即插即用替代。
推荐理由:从架构到训练的完整技术拆解,并附论文、预训练 checkpoint 与微调路径,便于判断能否替换现有 BERT 类编码器。
Google 发布新一代视觉语言模型 PaliGemma 2,沿用 SigLIP 图像编码器并将文本解码器升级为 Gemma 2,提供 3B、10B、28B 三种规模,均支持 224x224、448x448、896x896 三种输入分辨率,而上一代 PaliGemma 只有 3B 版本。
推荐理由:Google 发布 PaliGemma 2 视觉语言模型,相比前代只提供 3B,补上了 10B、28B 与三种输入分辨率,可用于判断自己的微调选型空间。
Cohere 研究实验室 Cohere For AI 发布 Aya Expanse 系列多语言模型,包含 8B 和 32B 两个参数规模,并以开放权重形式发布。
推荐理由:原文给出 Aya Expanse 8B/32B 的对比胜率与技术管线细节,可了解多语言训练中数据套利与模型合并的具体做法。
Meta 发布 Llama 3.2,共 10 个开放权重模型,包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模,均有 base 与指令微调版本,视觉模型上下文长度为 128k tokens;文本模型新增 1B 和 3B 两种规格,面向端侧场景,训练使用最多 9 万亿 tokens。
推荐理由:文章给出 10 个开放权重模型与端侧量化运行路径,便于评估多模态开源方案的落地条件。
Hugging Face 上线 Meta Llama 3.1 系列,包含 8B、70B、405B 三个尺寸的基础与指令微调共六个模型,另发布 Llama Guard 3 和 Prompt Guard。
推荐理由:官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案和微调入口,便于据此评估部署成本。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M、1.7B 三种参数规模,并开源训练语料 SmolLM-Corpus。该语料由 Mixtral 生成的 Cosmopedia v2(28B tokens)、Python-Edu(4B tokens)和去重后的 FineWeb-Edu(220B tokens)组成。
推荐理由:SmolLM 把数据配比、训练细节和评测结果一并公开,可供读者判断小模型在端侧可用的边界。
Google 发布 Gemma 2 系列开源大语言模型,包含 9B 和 27B 两个尺寸的基础版与指令微调版,共 4 个开放权重模型,上下文长度 8K token。
推荐理由:详细拆解 Gemma 2 的滑动窗口注意力、软上限与蒸馏等改动,可作为理解这代开源模型训练思路的参考。
Stability AI 发布 Stable Diffusion 3 Medium,参数量 2B,现已在 Hugging Face Hub 上线并可配合 🧨 Diffusers 使用。
推荐理由:SD3 Medium 在 Diffusers 中集成的完整说明,含内存优化与 LoRA 微调脚本,适合评估其部署可行性。