DeepMind 发布 SIMA 2 智能体：接入 Gemini，可在虚拟 3D 世界中推理与自我改进
Google DeepMind 发布 SIMA 2，通过将 Gemini 模型作为智能体核心，使其从单纯执行指令升级为能在虚拟 3D 世界中推理目标、与用户对话并自我改进的游戏伙伴。
#多模态
#多模态
今日 1 条Google DeepMindAI 评分5959
Google DeepMindAI 评分4848 Google DeepMind 新研究：让 AI 视觉模型更像人一样看世界
Google DeepMind 在 Nature 发表新论文，提出一种三步对齐方法，用认知科学的"odd-one-out"任务发现视觉模型常依赖背景色、纹理等表层特征，与人类判断系统性错位。团队以 SigLIP-SO400M 为基座训练适配器作为"教师"，生成含百万张图像、数百万条类人判断的 AligNet 数据集，再微调其他模型，使其内部表征按人类概念层级重新组织，从而提升鲁棒性与泛化能力。
Hugging Face BlogAI 评分4545 Hugging Face 指南：用开源模型强化 OCR Pipeline
Hugging Face 发布指南，介绍如何用开放权重模型搭建 OCR Pipeline，并新增 Chandra 与 OlmOCR-2 两个模型及其 OlmOCR 评分。指南对比了当前 OCR 模型的能力、评测基准与成本效率，还讲解了何时微调、何时直接使用，以及如何用多模态检索和文档问答把 OCR 扩展到更远。
Hugging Face BlogAI 评分5757 Hugging Face AI Sheets 更新，支持图像提取、生成与编辑
Hugging Face 发布 AI Sheets 重大更新，为这款无需写代码的开源数据集工具加入视觉能力，可直接在表格中查看、分析图片，提取收据与文档等图像中的结构化数据，并生成或编辑图片，底层通过 Inference Providers 调用数千个开源模型。
Hugging Face BlogAI 评分2626 如何在 Intel CPU 上三步跑起 VLM：SmolVLM + Optimum Intel + OpenVINO 教程
Hugging Face 发布教程，介绍用 Optimum Intel 和 OpenVINO 在 Intel CPU 上本地运行视觉语言模型（VLM）的三步流程：将 HuggingFaceTB/SmolVLM2-256M-Video-Instruct 转换为 OpenVINO IR、用量化配置做权重量化（INT8）或静态量化，再执行推理。
Hugging Face BlogAI 评分3131 用 Core ML 和 dots.ocr 实现 SOTA OCR：将 3B 模型转换到端侧运行
Hugging Face 发布三部分系列文章，讲解如何用 Core ML 与 MLX 将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行，该模型在 OmniDocBench 上超过 Gemini 2.5 Pro。
Hugging Face Blog精选AI 评分6060 Smol2Operator：面向计算机使用 GUI Agent 的后训练方案
Hugging Face 发布 Smol2Operator，用两阶段后训练把无 GUI 定位能力的 SmolVLM2-2.2B-Instruct 训练成可理解并操作图形界面的智能体。
推荐理由：完整开源了两阶段后训练配方与数据工具，读者可据此把无 GUI 定位能力的小型 VLM 训练成可操作的界面智能体。
Hugging Face Blog精选AI 评分6060 mmBERT 发布：ModernBERT 走向大规模多语言
Hugging Face Blog 介绍 mmBERT，一个在 1800 多种语言、3T+ tokens 文本上训练的大规模多语言编码器模型。它基于 ModernBERT 架构，采用 60→110→1833 语言的三阶段训练和从 30% 降到 5% 的动态掩码策略，首次在 XLM-R 基础上取得全面提升，推理吞吐量提升 2-4 倍并支持 8192 tokens。
推荐理由：mmBERT 把 ModernBERT 扩展到 1800 多种语言，并给出三阶段训练和低资源语言学习的可迁移方法。
Hugging Face BlogAI 评分2626 Hugging Face 发布 FilBench：评估 LLM 的菲律宾语能力
Hugging Face 推出 FilBench，一个覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言的评测套件，含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务，并基于 Lighteval 构建，已作为社区任务上线官方 Lighteval 仓库。
Hugging Face BlogAI 评分4343 TRL 为视觉语言模型带来 MPO、GRPO 与 GSPO 对齐方法
Hugging Face 的 TRL 新增 Mixed Preference Optimization（MPO）、GRPO 和其变体 GSPO 三种视觉语言模型对齐方法，并扩展 RLOO、Online DPO 支持 VLM。
Hugging Face BlogAI 评分4646 Hugging Face 发布 TimeScope：视频大模型能处理多长视频？
Hugging Face 开源基准 TimeScope，通过在 1 分钟至 8 小时的长视频中插入 5-10 秒"针"片段，评测视频大模型的定位检索、信息综合与细粒度时序感知三项能力。测试显示，即便 Gemini 2.5-Pro 等领先模型在真正的长视频时序理解上仍显吃力，且视频越长性能下滑越明显。
Hugging Face BlogAI 评分5757 Hugging Face 与 Pollen Robotics 发布开源机器人 Reachy Mini，售价 399 美元起
Hugging Face 与 Pollen Robotics 联合发布开源机器人 Reachy Mini，Lite 版 399 美元、带计算与电池的 Compute 版 499 美元，预计约 90 天发货。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 SmolLM3：3B 多语言长上下文推理模型
Hugging Face 发布 SmolLM3，一个 3B 全开源模型，训练于 11.2T tokens，支持英语、法语、西班牙语、德语、意大利语和葡萄牙语，上下文窗口达 128k。
推荐理由：Hugging Face 公开了 3B 模型的完整训练配方与数据配比，读者可了解小模型在长上下文和双模式推理上的工程路径。
Hugging Face BlogAI 评分3737 Hugging Face 详解高效多模态数据管道：从 Padding 浪费到背包问题打包
Hugging Face 在 nanoVLM 项目中发现，训练中约 60% 的 batch 被无用的 padding token 占据，GPU 大量空转。其博客给出五阶段数据管道方案：从朴素 padding、固定长度裁剪，到用背包问题（knapsack）动态打包序列，并借助 IterableDataset 与生产者-消费者队列实现多模态数据的按需组批，尽量减少填充浪费。
Hugging Face BlogAI 评分4949 NVIDIA Llama Nemotron Nano VL 上架 Hugging Face：8B 文档处理 VLM
NVIDIA Llama Nemotron Nano VL 已上架 Hugging Face，这是一款 8B 视觉语言模型，面向智能文档处理与 OCR。
Hugging Face Blog精选AI 评分7373 Gemma 3n 正式上线开源生态，E2B 仅需 2GB GPU 显存
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama、Google AI Edge 等主流开源库上线，共发布 gemma-3n-E2B 与 gemma-3n-E4B 两种尺寸，各有 base 和 instruct 变体。
推荐理由：原文给出 Gemma 3n 的端侧内存占用、多模态编码器与各开源库集成方式，可据此判断本地部署门槛。
Hugging Face Blog精选AI 评分6262 H Company 发布 GUI 自动化 VLM 系列 Holo1 与 WebClick 基准
H Company 发布 Holo1 系列 Action VLM，包括 Holo1-3B 和 Holo1-7B，基于 Qwen2.5-VL 架构并兼容 transformers，同时在 Hugging Face 开源包含 1,639 个类人 UI 任务的 WebClick 多模态定位基准。
推荐理由：Holo1 开源了 3B 和 7B 两档 GUI 定位模型，并给出真实网页任务的成本与准确率数据，便于判断小模型的落地边界。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 nanoVLM：纯 PyTorch 训练视觉语言模型的最简仓库
Hugging Face 发布 nanoVLM，一个纯 PyTorch 的轻量工具包，可在免费 Colab 上训练视觉语言模型，灵感来自 nanoGPT。其视觉骨干采用 Google SigLIP 编码器，语言骨干沿用 Llama 3 架构，通过模态投影模块对齐图文嵌入；训练脚本 train.py 集成数据加载、模型初始化与优化，并对模态投影和主干设置两组不同学习率。
推荐理由：官方博客给出 nanoVLM 的架构与训练流程细节，可用于理解 VLM 图文对齐与轻量训练实践。
Hugging Face BlogAI 评分2424 Hugging Face 盘点 Vision Language Models 一年进展：更小、更强、更快
Hugging Face 发布博客回顾过去一年视觉语言模型（VLM）的关键变化：Qwen 2.5 Omni 采用 Thinker-Talker 架构，MiniCPM-o 2.6 以 8B 参数覆盖视觉、语音和语言；Moonshot AI 的 Kimi-VL-A3B-Thinking 用 16B 总参数、2.8B 激活参数的 MoE 解码器实现长链式推理。
Hugging Face BlogAI 评分5757 Meta 发布 Llama Guard 4 与 Llama Prompt Guard 2 安全模型
Meta 发布 Llama Guard 4 和两个 Llama Prompt Guard 2 安全模型。
Hugging Face BlogAI 评分3131 TNG 微调 olmOCR-7B-0225-preview，打造忠实还原页眉页脚的 OCR 引擎
TNG 基于 olmOCR-7B-0225-preview 微调出忠实版 OCR 引擎，解决了原模型为生成训练数据而刻意忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集，在 8xH100 节点上训练 2.5 个 epoch，发票等文档的页眉页脚关键信息现可完整提取，同时保留简单表格与多栏布局解析能力。
Hugging Face BlogAI 评分3232 Cohere 成为 HF Hub 推理服务商，首批模型创作者直接托管模型
Cohere 现已作为 Inference Provider 接入 HF Hub，成为首个直接在 Hub 上分享并提供模型推理的模型厂商。
Hugging Face BlogAI 评分3535 Visual Salamandra 发布：将 Salamandra 7B 扩展至图像与视频多模态理解
语言技术实验室发布 Visual Salamandra，把 70 亿参数的 Salamandra 大语言模型扩展至图像和视频多模态任务，并以 SigLIP-So400m 编码器、2 层 MLP 投影器与 late-fusion 架构实现视觉-语言对齐。
OpenAI NewsAI 评分3131 ChatGPT 的视觉与语音功能：多模态输入与更自然的沟通
ChatGPT 的视觉与语音功能可帮助团队处理多模态输入，并更自然地进行沟通。该内容展示了这两项能力在团队协作场景中的实际用法。
Hugging Face Blog精选AI 评分8787 Llama 4 Maverick 与 Scout 上线 Hugging Face，两款 MoE 多模态模型开放权重
Meta 发布 Llama 4 Maverick（约 400B 总参数、17B 激活）和 Llama 4 Scout（约 109B 总参数、17B 激活）两款原生多模态 MoE 模型，权重已上线 Hugging Face 的 meta-llama 组织，含 base 与 instruct 版本，需先接受 Llama 4 社区许可协议。
推荐理由：Meta 同日发布 Llama 4 Maverick 与 Scout 两款 MoE 多模态模型，并给出架构细节与 Hugging Face 侧集成方式。
Hugging Face Blog精选AI 评分7676 NVIDIA 在 GTC 2025 发布 Cosmos Transfer、Physical AI Dataset 与 Isaac GR00T N1
NVIDIA 在 GTC 2025 上发布三款面向物理 AI 开发者的开源资源：70 亿参数的 Cosmos Transfer 世界基础模型、15TB 的 Physical AI Dataset，以及首个通用人形机器人开源基础模型 NVIDIA Isaac GR00T N1。
推荐理由：三款开源发布给出参数规模、数据量和模型结构，读者可据此判断物理 AI 开发的基础资源变化。
Hugging Face Blog精选AI 评分8181 Google 发布 Gemma 3：多模态、多语言、长上下文开源模型
Google 发布 Gemma 3 开源权重模型家族，提供 1B、4B、12B、27B 四种规格及预训练与指令微调版本。4B、12B、27B 支持图像与文本输入、140 多种语言和 128k token 上下文，1B 版本仅支持英文文本和 32k 上下文。
推荐理由：Google 开源 Gemma 3 覆盖 1B 到 27B 四种规格，可据此判断小参数模型在多模态与长上下文上的实际边界。
Hugging Face Blog精选AI 评分6767 Cohere For AI 发布 Aya Vision 多语言多模态模型 8B 与 32B
Cohere For AI 发布 Aya Vision 系列开源多语言多模态模型，含 8B 和 32B 两个尺寸，覆盖 23 种语言。Aya Vision 32B 在 AyaVisionBench 上以 50% 至 64% 的胜率超过 Llama-3.2 90B Vision、Molmo 72B 和 Qwen2.5-VL 72B 等参数量两倍于它的模型。
推荐理由：原文给出 8B/32B 两个尺寸的开源权重与训练配方，可据此比较小参数多模态模型在多语言任务上的位置。
Hugging Face BlogAI 评分3838 Hugging Face 与 IISc 合作，推进印度多语言模型构建
Hugging Face 与印度科学研究所 IISc、ARTPARK 达成合作，提升印度多模态多语言数据集 Vaani 的可访问性与可用性。Vaani 于 2022 年由 IISc/ARTPARK 与 Google 发起，已开源第一阶段 80 个地区的数据，第二阶段将再覆盖 100 个地区，目标采集超 15 万小时语音和 1.5 万小时转写文本。
Hugging Face BlogAI 评分4747 Google 发布 SigLIP 2：更强的多语言视觉语言编码器
Google 发布多语言视觉语言编码器家族 SigLIP 2，在 SigLIP 的 sigmoid loss 基础上加入提升语义理解、定位与稠密特征的新训练目标，在零样本分类、图文检索以及为 VLM 提取视觉表征的迁移性能上全面超越同规模 SigLIP。
Hugging Face Blog精选AI 评分6767 Hugging Face 发布 SmolVLM2：256M 到 2.2B 的视频理解模型
Hugging Face 发布 SmolVLM2 系列视频理解模型，包含 2.2B、500M 和 256M 三种参数规模，并同步支持 Transformers 与 MLX。
推荐理由：Hugging Face 发布三档小参数视频理解模型，并给出 iPhone、VLC 等端侧落地方式，可对照其内存与性能取舍。
Hugging Face BlogAI 评分4141 Google 发布 PaliGemma 2 Mix 指令视觉语言模型
Google 发布 PaliGemma 2 Mix，这是基于 SigLIP 和 Gemma 2、在 OCR、长短图像描述等混合视觉语言任务上微调的指令视觉语言模型。模型提供 3B、10B、28B 三种规模，224、448、896 三种分辨率，可通过 HF Transformers 和 JAX 使用，并附有演示。
Hugging Face Blog精选AI 评分6767 smolagents 新增视觉语言模型支持
Hugging Face 为 smolagents 加上视觉支持，可直接在智能体流水线中使用视觉语言模型。图像既可以在 run 方法开始时以列表传入，由 TaskStep 的 task_images 属性保存，也可以通过 step_callbacks 在每一步把新截图写入 ActionStep 的 observation_images。
推荐理由：官方给出视觉能力接入智能体管线的两种方式，并附可运行的浏览器智能体示例，便于判断多模态 Agent 的落地路径。
Hugging Face BlogAI 评分5858 Hugging Face 发布 SmolVLM-256M 与 500M 两款小型视觉语言模型
Hugging Face 发布 SmolVLM 家族新成员 SmolVLM-256M 和 SmolVLM-500M，共四个 checkpoint，包括两个基础模型和两个指令微调模型，可直接加载到 transformers、MLX 和 ONNX，并提供 transformers 与 WebGPU 演示。
Hugging Face BlogAI 评分4242 Hugging Face 推出 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型
Hugging Face 发布 vdr-2b-multi-v1 多语言嵌入模型，可将文档页面截图直接编码为稠密单向量，无需 OCR 或分块即可检索意、西、英、法、德五种语言的视觉文档。
Hugging Face Blog精选AI 评分6666 Google 发布 PaliGemma 2 视觉语言模型，新增 10B 和 28B 版本
Google 发布新一代视觉语言模型 PaliGemma 2，沿用 SigLIP 图像编码器并将文本解码器升级为 Gemma 2，提供 3B、10B、28B 三种规模，均支持 224x224、448x448、896x896 三种输入分辨率，而上一代 PaliGemma 只有 3B 版本。
推荐理由：Google 发布 PaliGemma 2 视觉语言模型，相比前代只提供 3B，补上了 10B、28B 与三种输入分辨率，可用于判断自己的微调选型空间。
Hugging Face BlogAI 评分4848 Hugging Face 发布 SmolVLM：2B 参数的开源视觉语言模型
Hugging Face 发布 SmolVLM，一个 2B 参数、面向低内存占用的开源视觉语言模型，模型权重、数据集、训练配方和工具均以 Apache 2.0 许可开放。
Hugging Face BlogAI 评分2828 CinePile 2.0：用对抗式精炼打造更强的数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，并开源一种名为对抗式精炼的新方法。初版 CinePile 于 2024 年 5 月推出，含约 30 万训练样本和 5000 测试样本，人类在该基准上比最强商业视觉模型高出 25%、比开源模型高出 65%；2.0 版本由 HF Mirror 参与，针对退化问题和视觉依赖等缺陷做改进，该方法可直接用于强化现有数据集。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：支持视觉与端侧运行
Meta 发布 Llama 3.2，共 10 个开放权重模型，包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模，均有 base 与指令微调版本，视觉模型上下文长度为 128k tokens；文本模型新增 1B 和 3B 两种规格，面向端侧场景，训练使用最多 9 万亿 tokens。
推荐理由：文章给出 10 个开放权重模型与端侧量化运行路径，便于评估多模态开源方案的落地条件。
Hugging Face BlogAI 评分5252 Hugging Face 详解 FineVideo 数据集构建：从 190 万条视频到 4.3 万条标注视频
Hugging Face 发布 FineVideo 数据集，包含 4.3 万条视频、总计 3400 小时，并标注了描述、叙事细节、场景切分和问答对。