Hugging Face 与 Albumentations AI 推出文档图像 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage 数据增强流程，可同时修改图像和文本标注，将文本增广结果回填图像并做 inpaint。该流程支持随机插入、删除、交换和停用词替换，用于在数据有限时微调 VLM。
#多模态
#多模态
今日 1 条Hugging Face BlogAI 评分3232
Hugging Face BlogAI 评分3232 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation），将 VQA 评测重构为 LLM 的答案评分任务，用 Llama-2-Chat-7b 对 Docmatix 200 张图像的零样本生成答案按 1-3 分打分并映射到 [0,1]。
Hugging Face BlogAI 评分3232 Hugging Face 发布 Docmatix：面向文档视觉问答的超大规模数据集
Hugging Face 发布 Docmatix，一个规模达 240 倍于以往数据集的文档视觉问答（DocVQA）数据集，包含 240 万张图像和 950 万对 Q/A，源自 130 万份 PDF。
Hugging Face BlogAI 评分3737 Hugging Face TRL 库新增 VLM 直接偏好优化（DPO）支持
Hugging Face 的 TRL 库现已支持视觉语言模型（VLM）的直接偏好优化（DPO），可基于 chosen/rejected 答案对训练模型。教程以 Idefics2-8b 为例，并使用包含超 83,000 行标注的 openbmb/RLAIF-V-Dataset 数据集。TRL 的 DPO 实现还支持 Llava 1.5 和 PaliGemma 等模型。
Hugging Face BlogAI 评分4040 微调微软 Florence-2 视觉语言模型：在 DocVQA 上从 0 提升到 57.0
微软 6 月发布的 Florence-2 是 0.2B 和 0.7B 的基础视觉语言模型，支持 captioning、目标检测、OCR 等任务，但已发布模型不具备视觉问答能力。
Hugging Face BlogAI 评分1616 Prezi 借助 Hugging Face Expert Support Program 加速多模态 ML 路线图
在线演示工具 Prezi 加入 Hugging Face Expert Support Program，借助专家指导把更小、更高效的开源模型集成进其 ML 工作流。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2 系列：11B 预训练语言模型与视觉语言模型
TII 发布 Falcon 2 系列模型，包括 11B 基础 LLM 和 11B 视觉语言模型（VLM），后者在 LLM 之上接入预训练 CLIP ViT-L/14 视觉编码器并支持图像问答。
推荐理由：官方给出 11B LLM 与 VLM 的训练细节和基准对比，可据此判断小尺寸开源多模态模型的性能位置。
Hugging Face Blog精选AI 评分7070 Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型系列 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像和文本并输出文本。
推荐理由：梳理了 PaliGemma 的架构、三种权重类型与分辨率选择建议，方便判断是否适合自身微调任务。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Idefics2：8B 视觉语言模型，Apache 2.0 开源
Hugging Face 发布 Idefics2，一个 8B 参数、Apache 2.0 开源许可的多模态模型，可接收任意文本与图像序列并生成文本回复。它在视觉问答基准上表现处于同等规模领先水平，可与 LLaVa-NeXT-34B、MM1-30B-chat 等更大模型竞争，并已集成进 Transformers。
推荐理由：8B 开源多模态模型在视觉问答基准上对标更大模型，并附指令微调数据集，可据此判断社区多模态微调的起点。
Hugging Face BlogAI 评分3535 Hugging Face 详解视觉语言模型：开源模型全景、评测榜单与 trl 微调实践
Hugging Face 发布视觉语言模型入门指南，梳理其图像编码器、嵌入投影器与文本解码器的核心结构，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型及各自分辨率与能力差异。文章还介绍 Vision Arena、Open VLM Leaderboard 与 MMMU、MMBench 等评测基准，并演示如何用当日发布的新版 trl 进行推理与微调。
Hugging Face BlogAI 评分3232 Pollen Robotics 开源 pollen-vision：面向机器人的零样本视觉模型统一接口
Pollen Robotics 开源 pollen-vision 库，将 OWL-ViT、Mobile Sam、RAM 等零样本视觉模型整合为可组合模块，搭建 3D 物体检测流程，无需训练即可输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face BlogAI 评分4242 Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 开源 WebSight 数据集，用于训练 AI 模型将网页截图转换为 HTML 代码。该数据集已从 2024 年 1 月的 v0.1 版 823,000 对样本迭代至 v0.2 版，采用真实图片截图并换用 Tailwind CSS，规模扩展至 200 万对样本。
Hugging Face BlogAI 评分3030 UCLA 推出 ConTextual：评估多模态模型在文本丰富场景中的图文联合推理能力
UCLA 研究者发布 ConTextual，一个含 506 条指令的上下文敏感文本丰富视觉推理数据集，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并附排行榜与验证集。首轮评测 13 个模型，GPT-4V 表现最佳，但在时间相关任务上不及人类；开源模型仅在抽象与自然场景达到可接受水平。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 IDEFICS：Flamingo 的开源复现多模态模型
Hugging Face 发布 IDEFICS，一个基于公开数据和模型构建的开源视觉语言模型，可复现 DeepMind 未公开的 Flamingo。该模型接受任意图像与文本序列输入并输出文本，提供 base 和 instructed 两种变体，各有 9B 和 80B 参数规模。
推荐理由：Hugging Face 公开了 Flamingo 的开源复现细节，读者可了解其数据构成与双版本参数规模。
Hugging Face BlogAI 评分4242 Hugging Face 用 Zeroscope 与 MusicGen 搭建 AI WebTV 实验直播
Hugging Face 推出 AI WebTV 实验性 Demo，用开源文生视频模型 Zeroscope 和音乐生成模型 MusicGen 合成内容并以直播形式播放。
Hugging Face BlogAI 评分3434 Habana Gaudi2 如何加速 BridgeTower 视觉语言模型微调
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 视觉语言模型，相比 A100 提速 2.5 倍，相比 H100 提速 1.4 倍。
Hugging Face Blog精选AI 评分6565 Kakao Brain 发布 ViT 与 ALIGN 模型及 7 亿对图文数据集 COYO
Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO（7 亿对）以及基于该数据集训练的 ViT 和 ALIGN 两个视觉语言模型，这是 ALIGN 首次免费开源，也是 ViT、ALIGN 首次附带公开训练数据发布。
推荐理由：首个开源 ALIGN 模型连同 700M 训练数据集一并放出，读者可据此判断复现视觉语言建模的可行性。
Hugging Face BlogAI 评分5858 用 Hugging Face Transformers 实现 BLIP-2 零样本图像到文本生成
Hugging Face Blog 发布指南，介绍 Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Transformers，可通过 Q-Former 连接冻结的图像编码器与大语言模型，完成图像描述、提示式图像描述、视觉问答和对话式提示。
Hugging Face BlogAI 评分3636 Hugging Face 博客：深入解析视觉语言模型及其训练策略
Hugging Face 博客梳理了视觉语言模型（VLM）的训练方法，涵盖对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 以及免训练五类策略。文章以 OpenAI 的 CLIP 为例说明对比学习如何将图文映射到同一特征空间，并介绍了 CLOOB、ALIGN、DeCLIP、LiT 等模型，同时说明如何用 Transformers 库上手这些模型。
Hugging Face BlogAI 评分2727 HF Mirror 计算机视觉现状：8 大任务、3000+ 模型与 100+ 数据集
HF Mirror 回顾其计算机视觉生态：已支持图像分类、图像分割、零样本目标检测、视频分类、深度估计等 8 个核心视觉任务，Hub 上相关模型超过 3000 个、数据集超过 100 个，且每个任务至少有 10 个模型 checkpoint 可供使用。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Document AI 加速指南：开源模型与最佳实践
Hugging Face 发文梳理文档 AI 的六大用例及对应开源模型，涵盖 OCR、文档图像分类、版面分析和文档解析，并给出许可、数据准备与建模的实践指引。
Hugging Face BlogAI 评分2727 Hugging Face Datasets 新增音频与图像文档，并预告 AudioFolder
Hugging Face 为 🤗 Datasets 补充了音频与图像数据集的文档：Quickstart 新增端到端加载处理示例和 to_tf_dataset 函数，可直接把数据集转成 tf.data.Dataset 供 TensorFlow/Keras 训练。
Hugging Face BlogAI 评分1616 Hugging Face 多模态团队发布伦理章程，将伦理原则置于研究生命周期核心
Hugging Face 多模态学习团队发布了一份项目伦理章程，将伦理原则正式纳入机器学习研究生命周期的起点，并明确了内容政策与项目价值观。章程列出了需要防范的用例，包括生成虚假信息、生成个人可识别信息以及在医疗、法律、金融、移民等高风险领域的不谨慎使用。团队同时提出透明、开放可复现、公平、自我批判和尊重他人工作等价值观，并指出这些价值观之间有时会相互冲突，需逐案权衡风险与收益。
Hugging Face Blog精选AI 评分6161 Hugging Face 将 Perceiver IO 加入 Transformers，支持任意模态
Hugging Face 将 Perceiver IO 加入 Transformers，这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型，随模型提供图像分类与光流预测示例和多个 notebook。
推荐理由：原文给出 Perceiver IO 加入 Transformers 的实现细节与多模态示例，读者可据此判断跨模态统一架构的可用性。
Hugging Face BlogAI 评分2828 用遥感（卫星）图像和描述微调 CLIP
一个跨 12 个时区的团队用 RSICD 遥感数据集微调了 OpenAI 的 CLIP 模型，并辅以 UCM、Sydney 数据集，共约 1 万张来自 Google Earth、百度地图等来源的卫星图像，每张最多配 5 条描述。