Hugging Face 发布 SmolLM3：3B 多语言长上下文推理模型
Hugging Face 发布 SmolLM3，一个 3B 全开源模型，训练于 11.2T tokens，支持英语、法语、西班牙语、德语、意大利语和葡萄牙语，上下文窗口达 128k。
推荐理由：Hugging Face 公开了 3B 模型的完整训练配方与数据配比，读者可了解小模型在长上下文和双模式推理上的工程路径。
#多模态
#多模态
今日 4 条Hugging Face Blog精选AI 评分6565 Hugging Face BlogAI 评分3737 Hugging Face 详解高效多模态数据管道：从 Padding 浪费到背包问题打包
Hugging Face 在 nanoVLM 项目中发现，训练中约 60% 的 batch 被无用的 padding token 占据，GPU 大量空转。其博客给出五阶段数据管道方案：从朴素 padding、固定长度裁剪，到用背包问题（knapsack）动态打包序列，并借助 IterableDataset 与生产者-消费者队列实现多模态数据的按需组批，尽量减少填充浪费。
Hugging Face BlogAI 评分4949 NVIDIA Llama Nemotron Nano VL 上架 Hugging Face：8B 文档处理 VLM
NVIDIA Llama Nemotron Nano VL 已上架 Hugging Face，这是一款 8B 视觉语言模型，面向智能文档处理与 OCR。
Hugging Face Blog精选AI 评分7373 Gemma 3n 正式上线开源生态，E2B 仅需 2GB GPU 显存
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama、Google AI Edge 等主流开源库上线，共发布 gemma-3n-E2B 与 gemma-3n-E4B 两种尺寸，各有 base 和 instruct 变体。
推荐理由：原文给出 Gemma 3n 的端侧内存占用、多模态编码器与各开源库集成方式，可据此判断本地部署门槛。
The GradientAI 评分2424 AGI 不是多模态：为什么把模态拼起来无法通向通用智能
The Gradient 刊文《AGI Is Not Multimodal》指出，多模态路线把大量模块化网络堆叠起来看似通用，短期内无法实现具备感知运动推理、运动规划与社交协作能力的人类级 AGI。
Hugging Face Blog精选AI 评分6262 H Company 发布 GUI 自动化 VLM 系列 Holo1 与 WebClick 基准
H Company 发布 Holo1 系列 Action VLM，包括 Holo1-3B 和 Holo1-7B，基于 Qwen2.5-VL 架构并兼容 transformers，同时在 Hugging Face 开源包含 1,639 个类人 UI 任务的 WebClick 多模态定位基准。
推荐理由：Holo1 开源了 3B 和 7B 两档 GUI 定位模型，并给出真实网页任务的成本与准确率数据，便于判断小模型的落地边界。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 nanoVLM：纯 PyTorch 训练视觉语言模型的最简仓库
Hugging Face 发布 nanoVLM，一个纯 PyTorch 的轻量工具包，可在免费 Colab 上训练视觉语言模型，灵感来自 nanoGPT。其视觉骨干采用 Google SigLIP 编码器，语言骨干沿用 Llama 3 架构，通过模态投影模块对齐图文嵌入；训练脚本 train.py 集成数据加载、模型初始化与优化，并对模态投影和主干设置两组不同学习率。
推荐理由：官方博客给出 nanoVLM 的架构与训练流程细节，可用于理解 VLM 图文对齐与轻量训练实践。
Hugging Face BlogAI 评分2424 Hugging Face 盘点 Vision Language Models 一年进展：更小、更强、更快
Hugging Face 发布博客回顾过去一年视觉语言模型（VLM）的关键变化：Qwen 2.5 Omni 采用 Thinker-Talker 架构，MiniCPM-o 2.6 以 8B 参数覆盖视觉、语音和语言；Moonshot AI 的 Kimi-VL-A3B-Thinking 用 16B 总参数、2.8B 激活参数的 MoE 解码器实现长链式推理。
Hugging Face BlogAI 评分5757 Meta 发布 Llama Guard 4 与 Llama Prompt Guard 2 安全模型
Meta 发布 Llama Guard 4 和两个 Llama Prompt Guard 2 安全模型。
Hugging Face BlogAI 评分3131 TNG 微调 olmOCR-7B-0225-preview，打造忠实还原页眉页脚的 OCR 引擎
TNG 基于 olmOCR-7B-0225-preview 微调出忠实版 OCR 引擎，解决了原模型为生成训练数据而刻意忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集，在 8xH100 节点上训练 2.5 个 epoch，发票等文档的页眉页脚关键信息现可完整提取，同时保留简单表格与多栏布局解析能力。
Hugging Face BlogAI 评分3232 Cohere 成为 HF Hub 推理服务商，首批模型创作者直接托管模型
Cohere 现已作为 Inference Provider 接入 HF Hub，成为首个直接在 Hub 上分享并提供模型推理的模型厂商。
Hugging Face BlogAI 评分3535 Visual Salamandra 发布：将 Salamandra 7B 扩展至图像与视频多模态理解
语言技术实验室发布 Visual Salamandra，把 70 亿参数的 Salamandra 大语言模型扩展至图像和视频多模态任务，并以 SigLIP-So400m 编码器、2 层 MLP 投影器与 late-fusion 架构实现视觉-语言对齐。
OpenAI NewsAI 评分3131 ChatGPT 的视觉与语音功能：多模态输入与更自然的沟通
ChatGPT 的视觉与语音功能可帮助团队处理多模态输入，并更自然地进行沟通。该内容展示了这两项能力在团队协作场景中的实际用法。
Hugging Face Blog精选AI 评分8787 Llama 4 Maverick 与 Scout 上线 Hugging Face，两款 MoE 多模态模型开放权重
Meta 发布 Llama 4 Maverick（约 400B 总参数、17B 激活）和 Llama 4 Scout（约 109B 总参数、17B 激活）两款原生多模态 MoE 模型，权重已上线 Hugging Face 的 meta-llama 组织，含 base 与 instruct 版本，需先接受 Llama 4 社区许可协议。
推荐理由：Meta 同日发布 Llama 4 Maverick 与 Scout 两款 MoE 多模态模型，并给出架构细节与 Hugging Face 侧集成方式。
Hugging Face Blog精选AI 评分7676 NVIDIA 在 GTC 2025 发布 Cosmos Transfer、Physical AI Dataset 与 Isaac GR00T N1
NVIDIA 在 GTC 2025 上发布三款面向物理 AI 开发者的开源资源：70 亿参数的 Cosmos Transfer 世界基础模型、15TB 的 Physical AI Dataset，以及首个通用人形机器人开源基础模型 NVIDIA Isaac GR00T N1。
推荐理由：三款开源发布给出参数规模、数据量和模型结构，读者可据此判断物理 AI 开发的基础资源变化。
Hugging Face Blog精选AI 评分8181 Google 发布 Gemma 3：多模态、多语言、长上下文开源模型
Google 发布 Gemma 3 开源权重模型家族，提供 1B、4B、12B、27B 四种规格及预训练与指令微调版本。4B、12B、27B 支持图像与文本输入、140 多种语言和 128k token 上下文，1B 版本仅支持英文文本和 32k 上下文。
推荐理由：Google 开源 Gemma 3 覆盖 1B 到 27B 四种规格，可据此判断小参数模型在多模态与长上下文上的实际边界。
Hugging Face Blog精选AI 评分6767 Cohere For AI 发布 Aya Vision 多语言多模态模型 8B 与 32B
Cohere For AI 发布 Aya Vision 系列开源多语言多模态模型，含 8B 和 32B 两个尺寸，覆盖 23 种语言。Aya Vision 32B 在 AyaVisionBench 上以 50% 至 64% 的胜率超过 Llama-3.2 90B Vision、Molmo 72B 和 Qwen2.5-VL 72B 等参数量两倍于它的模型。
推荐理由：原文给出 8B/32B 两个尺寸的开源权重与训练配方，可据此比较小参数多模态模型在多语言任务上的位置。
Hugging Face BlogAI 评分3838 Hugging Face 与 IISc 合作，推进印度多语言模型构建
Hugging Face 与印度科学研究所 IISc、ARTPARK 达成合作，提升印度多模态多语言数据集 Vaani 的可访问性与可用性。Vaani 于 2022 年由 IISc/ARTPARK 与 Google 发起，已开源第一阶段 80 个地区的数据，第二阶段将再覆盖 100 个地区，目标采集超 15 万小时语音和 1.5 万小时转写文本。
Hugging Face BlogAI 评分4747 Google 发布 SigLIP 2：更强的多语言视觉语言编码器
Google 发布多语言视觉语言编码器家族 SigLIP 2，在 SigLIP 的 sigmoid loss 基础上加入提升语义理解、定位与稠密特征的新训练目标，在零样本分类、图文检索以及为 VLM 提取视觉表征的迁移性能上全面超越同规模 SigLIP。
Hugging Face Blog精选AI 评分6767 Hugging Face 发布 SmolVLM2：256M 到 2.2B 的视频理解模型
Hugging Face 发布 SmolVLM2 系列视频理解模型，包含 2.2B、500M 和 256M 三种参数规模，并同步支持 Transformers 与 MLX。
推荐理由：Hugging Face 发布三档小参数视频理解模型，并给出 iPhone、VLC 等端侧落地方式，可对照其内存与性能取舍。
Hugging Face BlogAI 评分4141 Google 发布 PaliGemma 2 Mix 指令视觉语言模型
Google 发布 PaliGemma 2 Mix，这是基于 SigLIP 和 Gemma 2、在 OCR、长短图像描述等混合视觉语言任务上微调的指令视觉语言模型。模型提供 3B、10B、28B 三种规模，224、448、896 三种分辨率，可通过 HF Transformers 和 JAX 使用，并附有演示。
Hugging Face Blog精选AI 评分6767 smolagents 新增视觉语言模型支持
Hugging Face 为 smolagents 加上视觉支持，可直接在智能体流水线中使用视觉语言模型。图像既可以在 run 方法开始时以列表传入，由 TaskStep 的 task_images 属性保存，也可以通过 step_callbacks 在每一步把新截图写入 ActionStep 的 observation_images。
推荐理由：官方给出视觉能力接入智能体管线的两种方式，并附可运行的浏览器智能体示例，便于判断多模态 Agent 的落地路径。
Hugging Face BlogAI 评分5858 Hugging Face 发布 SmolVLM-256M 与 500M 两款小型视觉语言模型
Hugging Face 发布 SmolVLM 家族新成员 SmolVLM-256M 和 SmolVLM-500M，共四个 checkpoint，包括两个基础模型和两个指令微调模型，可直接加载到 transformers、MLX 和 ONNX，并提供 transformers 与 WebGPU 演示。
Hugging Face BlogAI 评分4242 Hugging Face 推出 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型
Hugging Face 发布 vdr-2b-multi-v1 多语言嵌入模型，可将文档页面截图直接编码为稠密单向量，无需 OCR 或分块即可检索意、西、英、法、德五种语言的视觉文档。
Hugging Face Blog精选AI 评分6666 Google 发布 PaliGemma 2 视觉语言模型，新增 10B 和 28B 版本
Google 发布新一代视觉语言模型 PaliGemma 2，沿用 SigLIP 图像编码器并将文本解码器升级为 Gemma 2，提供 3B、10B、28B 三种规模，均支持 224x224、448x448、896x896 三种输入分辨率，而上一代 PaliGemma 只有 3B 版本。
推荐理由：Google 发布 PaliGemma 2 视觉语言模型，相比前代只提供 3B，补上了 10B、28B 与三种输入分辨率，可用于判断自己的微调选型空间。
Hugging Face BlogAI 评分4848 Hugging Face 发布 SmolVLM：2B 参数的开源视觉语言模型
Hugging Face 发布 SmolVLM，一个 2B 参数、面向低内存占用的开源视觉语言模型，模型权重、数据集、训练配方和工具均以 Apache 2.0 许可开放。
Hugging Face BlogAI 评分2828 CinePile 2.0：用对抗式精炼打造更强的数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，并开源一种名为对抗式精炼的新方法。初版 CinePile 于 2024 年 5 月推出，含约 30 万训练样本和 5000 测试样本，人类在该基准上比最强商业视觉模型高出 25%、比开源模型高出 65%；2.0 版本由 HF Mirror 参与，针对退化问题和视觉依赖等缺陷做改进，该方法可直接用于强化现有数据集。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：支持视觉与端侧运行
Meta 发布 Llama 3.2，共 10 个开放权重模型，包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模，均有 base 与指令微调版本，视觉模型上下文长度为 128k tokens；文本模型新增 1B 和 3B 两种规格，面向端侧场景，训练使用最多 9 万亿 tokens。
推荐理由：文章给出 10 个开放权重模型与端侧量化运行路径，便于评估多模态开源方案的落地条件。
Hugging Face BlogAI 评分5252 Hugging Face 详解 FineVideo 数据集构建：从 190 万条视频到 4.3 万条标注视频
Hugging Face 发布 FineVideo 数据集，包含 4.3 万条视频、总计 3400 小时，并标注了描述、叙事细节、场景切分和问答对。
Hugging Face BlogAI 评分3232 Hugging Face 与 Albumentations AI 推出文档图像 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage 数据增强流程，可同时修改图像和文本标注，将文本增广结果回填图像并做 inpaint。该流程支持随机插入、删除、交换和停用词替换，用于在数据有限时微调 VLM。
Hugging Face BlogAI 评分3232 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation），将 VQA 评测重构为 LLM 的答案评分任务，用 Llama-2-Chat-7b 对 Docmatix 200 张图像的零样本生成答案按 1-3 分打分并映射到 [0,1]。
Hugging Face BlogAI 评分3232 Hugging Face 发布 Docmatix：面向文档视觉问答的超大规模数据集
Hugging Face 发布 Docmatix，一个规模达 240 倍于以往数据集的文档视觉问答（DocVQA）数据集，包含 240 万张图像和 950 万对 Q/A，源自 130 万份 PDF。
Hugging Face BlogAI 评分3737 Hugging Face TRL 库新增 VLM 直接偏好优化（DPO）支持
Hugging Face 的 TRL 库现已支持视觉语言模型（VLM）的直接偏好优化（DPO），可基于 chosen/rejected 答案对训练模型。教程以 Idefics2-8b 为例，并使用包含超 83,000 行标注的 openbmb/RLAIF-V-Dataset 数据集。TRL 的 DPO 实现还支持 Llava 1.5 和 PaliGemma 等模型。
Hugging Face BlogAI 评分4040 微调微软 Florence-2 视觉语言模型：在 DocVQA 上从 0 提升到 57.0
微软 6 月发布的 Florence-2 是 0.2B 和 0.7B 的基础视觉语言模型，支持 captioning、目标检测、OCR 等任务，但已发布模型不具备视觉问答能力。
Hugging Face BlogAI 评分1616 Prezi 借助 Hugging Face Expert Support Program 加速多模态 ML 路线图
在线演示工具 Prezi 加入 Hugging Face Expert Support Program，借助专家指导把更小、更高效的开源模型集成进其 ML 工作流。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2 系列：11B 预训练语言模型与视觉语言模型
TII 发布 Falcon 2 系列模型，包括 11B 基础 LLM 和 11B 视觉语言模型（VLM），后者在 LLM 之上接入预训练 CLIP ViT-L/14 视觉编码器并支持图像问答。
推荐理由：官方给出 11B LLM 与 VLM 的训练细节和基准对比，可据此判断小尺寸开源多模态模型的性能位置。
Hugging Face Blog精选AI 评分7070 Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型系列 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像和文本并输出文本。
推荐理由：梳理了 PaliGemma 的架构、三种权重类型与分辨率选择建议，方便判断是否适合自身微调任务。
The GradientAI 评分2121 LLM 在金融市场的应用：从价格预测到多模态信号
大语言模型的下一 token 预测能力能否迁移到价格与交易序列预测，成为量化交易的新方向。Hudson River Trading 在 2023 年 NeurIPS 上估算，3000 只可交易股票、每日 10 个数据点、每年 252 个交易日可产生 1770 亿市场数据 token，与 GPT-3 的 5000 亿训练 token 量级相近。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Idefics2：8B 视觉语言模型，Apache 2.0 开源
Hugging Face 发布 Idefics2，一个 8B 参数、Apache 2.0 开源许可的多模态模型，可接收任意文本与图像序列并生成文本回复。它在视觉问答基准上表现处于同等规模领先水平，可与 LLaVa-NeXT-34B、MM1-30B-chat 等更大模型竞争，并已集成进 Transformers。
推荐理由：8B 开源多模态模型在视觉问答基准上对标更大模型，并附指令微调数据集，可据此判断社区多模态微调的起点。
Hugging Face BlogAI 评分3535 Hugging Face 详解视觉语言模型：开源模型全景、评测榜单与 trl 微调实践
Hugging Face 发布视觉语言模型入门指南，梳理其图像编码器、嵌入投影器与文本解码器的核心结构，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型及各自分辨率与能力差异。文章还介绍 Vision Arena、Open VLM Leaderboard 与 MMMU、MMBench 等评测基准，并演示如何用当日发布的新版 trl 进行推理与微调。