Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型
Hugging Face 用新数学评测器 Math-Verify 重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型,替换旧评测器只需改 3 行代码。
推荐理由:原文给出数学评测器替换后的全量重评数据,可据此理解旧榜评分偏差与榜单变动幅度。
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
Hugging Face 用新数学评测器 Math-Verify 重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型,替换旧评测器只需改 3 行代码。
推荐理由:原文给出数学评测器替换后的全量重评数据,可据此理解旧榜评分偏差与榜单变动幅度。
Hugging Face 的 Xet 团队把内容定义分块(CDC)从理论推向生产,用于 Hub 上文件的上传与下载,部分场景提速 2-3 倍。方案在分块去重后聚合为最大 64MB 的块,使内容寻址存储条目减少 1000 倍,并用占全部 chunk 0.1% 的 key chunks 全局索引做查询。
推荐理由:原文给出块级聚合与 key chunks 的设计取舍,以及 gemma-2-9b-it-GGUF 仓库上传体积与耗时对比,可判断大文件传输的优化空间。
Hugging Face 用 24 小时复现 OpenAI Deep Research,并开源了所需的智能体框架。该框架基于 smolagents 的 CodeAgent,让智能体用代码而非 JSON 表达动作,在 GAIA 验证集上取得 55.15% 的成绩,高于此前开源框架 Magentic-One 的约 46%;同一设置改用 JSON 写动作后平均降至 33%。
推荐理由:原文给出了复现 OpenAI Deep Research 的开放框架与 GAIA 上的对比数字,可据此了解代码式智能体相较 JSON 方式的差异。
Hugging Face 的 Open-R1 项目启动一周后发布首份更新,称已能复现 DeepSeek 在 MATH-500 上报告的评测分数,并公开了评测排行榜。
推荐理由:Open-R1 团队复现 DeepSeek-R1 评测并公开数据生成与 GRPO 训练的工程细节,可供复现者参考。
Hugging Face 博客发布了一篇 RL 教程,用 GRPO 和 Countdown Game、以 Qwen2.5-3B-Instruct 为基座在 4x H100 上复现 DeepSeek R1 的 aha moment。
推荐理由:原文给出了在 4x H100 上用 GRPO 复现 R1 式推理的完整脚本、奖励函数与训练观察,可据此判断 RL 训练的实际收敛过程。
Hugging Face 启动 Open-R1 项目,计划系统性复现 DeepSeek-R1 的数据与训练流程,补上官方未公开的数据集和训练代码。该计划分三步:蒸馏高质量推理数据集复现 R1-Distill 模型,复刻 DeepSeek 用于 R1-Zero 的纯强化学习流程,并打通基础模型到 SFT 再到 RL 的多阶段训练。项目还计划把数据集拓展到代码和医学等领域,并向社区开放代码与讨论。
推荐理由:DeepSeek-R1 开源权重但未公开数据与训练代码,该项目计划补上蒸馏与纯 RL 复现路径。
Hugging Face 为 smolagents 加上视觉支持,可直接在智能体流水线中使用视觉语言模型。图像既可以在 run 方法开始时以列表传入,由 TaskStep 的 task_images 属性保存,也可以通过 step_callbacks 在每一步把新截图写入 ActionStep 的 observation_images。
推荐理由:官方给出视觉能力接入智能体管线的两种方式,并附可运行的浏览器智能体示例,便于判断多模态 Agent 的落地路径。
Hugging Face 发布 smolagents 库,让语言模型具备智能体能力,核心是 CodeAgent——智能体用代码而非 JSON 编写动作,并支持通过 E2B 在沙箱环境执行。
推荐理由:Hugging Face 官方介绍 smolagents 库的 CodeAgent 设计与上手方式,可作为编写代码动作智能体的参考。
Answer.AI 与 LightOn 发布 ModernBERT,一个仅编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个规模,作为任何 BERT 类模型的即插即用替代。
推荐理由:从架构到训练的完整技术拆解,并附论文、预训练 checkpoint 与微调路径,便于判断能否替换现有 BERT 类编码器。
Google 发布新一代视觉语言模型 PaliGemma 2,沿用 SigLIP 图像编码器并将文本解码器升级为 Gemma 2,提供 3B、10B、28B 三种规模,均支持 224x224、448x448、896x896 三种输入分辨率,而上一代 PaliGemma 只有 3B 版本。
推荐理由:Google 发布 PaliGemma 2 视觉语言模型,相比前代只提供 3B,补上了 10B、28B 与三种输入分辨率,可用于判断自己的微调选型空间。
Cohere 研究实验室 Cohere For AI 发布 Aya Expanse 系列多语言模型,包含 8B 和 32B 两个参数规模,并以开放权重形式发布。
推荐理由:原文给出 Aya Expanse 8B/32B 的对比胜率与技术管线细节,可了解多语言训练中数据套利与模型合并的具体做法。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 logits processor 为 AI 生成文本添加水印,并用分类器检测。
推荐理由:SynthID Text 集成进 Transformers 后,给出了水印配置、生成与检测的完整接入方式及已知局限。
Stable Diffusion 3.5 Large 已在 Hugging Face Hub 发布并接入 Diffusers,包含 8B 模型和 8B timestep-distilled 少步推理版本,蒸馏版通常 4-8 步即可出图。
推荐理由:原文给出 SD3.5 在 Diffusers 中的量化推理与 LoRA 微调完整调用路径,可直接对照迁移。
Gradio 团队公布由 Trail of Bits 对 Gradio 5 所做的独立安全审计,相关漏洞均在 Gradio 5.0 发布前修复并通过验证。
推荐理由:Gradio 5 与 Trail of Bits 的安全审计公开了四类场景下的漏洞清单与修复方式,可供自建 ML 应用时对照排查。
Meta 发布 Llama 3.2,共 10 个开放权重模型,包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模,均有 base 与指令微调版本,视觉模型上下文长度为 128k tokens;文本模型新增 1B 和 3B 两种规格,面向端侧场景,训练使用最多 9 万亿 tokens。
推荐理由:文章给出 10 个开放权重模型与端侧量化运行路径,便于评估多模态开源方案的落地条件。
Hugging Face 在 Transformers 中推出统一的工具调用 API,同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型上使用工具,无需或只需少量模型专属改动。工具以 JSON schema 定义,Python 函数传入后会自动转换为 schema,并配有完整文档和示例。目前模型响应格式仍需手动解析,这部分尚未统一。
推荐理由:原文给出了统一工具调用 API 的跨模型设计与 Transformers 代码示例,读者可据此判断现有工具调用代码的迁移成本。
Hugging Face 上线 Meta Llama 3.1 系列,包含 8B、70B、405B 三个尺寸的基础与指令微调共六个模型,另发布 Llama Guard 3 和 Prompt Guard。
推荐理由:官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案和微调入口,便于据此评估部署成本。
Hugging Face 博客给出在 Mac 上用 Core ML 运行 Mistral 7B 的完整步骤,最终以不到 4GB 内存跑起这个 70 亿参数模型。
推荐理由:完整复现了把 Mistral 7B 转成 Core ML 并在 4GB 内存内运行的流程,并拆解了 WWDC 24 的状态化缓冲与分块量化等新特性。
Hugging Face 为 TGI 推出 Multi-LoRA 服务功能,在一个基础模型部署上通过 Request 中的 adapter_id 动态加载多个 LoRA 适配器,实现一次部署服务 30 个模型。
推荐理由:原文给出了 TGI 多 LoRA 部署的具体配置、成本对比和可复现操作步骤,适合评估多模型推理的工程团队参考。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M、1.7B 三种参数规模,并开源训练语料 SmolLM-Corpus。该语料由 Mixtral 生成的 Cosmopedia v2(28B tokens)、Python-Edu(4B tokens)和去重后的 FineWeb-Edu(220B tokens)组成。
推荐理由:SmolLM 把数据配比、训练细节和评测结果一并公开,可供读者判断小模型在端侧可用的边界。