Pollen Robotics 开源 pollen-vision：面向机器人的零样本视觉模型统一接口
Pollen Robotics 开源 pollen-vision 库，将 OWL-ViT、Mobile Sam、RAM 等零样本视觉模型整合为可组合模块，搭建 3D 物体检测流程，无需训练即可输出物体在 3D 空间中的 (x, y, z) 坐标。
#多模态
#多模态
今日 4 条Hugging Face BlogAI 评分3232
Hugging Face BlogAI 评分4242 Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 开源 WebSight 数据集，用于训练 AI 模型将网页截图转换为 HTML 代码。该数据集已从 2024 年 1 月的 v0.1 版 823,000 对样本迭代至 v0.2 版，采用真实图片截图并换用 Tailwind CSS，规模扩展至 200 万对样本。
The GradientAI 评分3636 Car-GPT：LLM 能否最终让自动驾驶汽车成为现实？
文章探讨 LLM 能否成为自动驾驶的"意外答案"，类比 1928 年青霉素的偶然发现。文中先回顾 2010 年代模块化自动驾驶方案（感知、定位、规划、控制四模块），再到端到端学习，并解释 tokenization、Transformer 与 next-word prediction 等 LLM 基础，最后讨论把图像和 LiDAR 点云等传感器数据接入模型的方法。
Hugging Face BlogAI 评分3030 UCLA 推出 ConTextual：评估多模态模型在文本丰富场景中的图文联合推理能力
UCLA 研究者发布 ConTextual，一个含 506 条指令的上下文敏感文本丰富视觉推理数据集，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并附排行榜与验证集。首轮评测 13 个模型，GPT-4V 表现最佳，但在时间相关任务上不及人类；开源模型仅在抽象与自然场景达到可接受水平。
The GradientAI 评分2424 Salmon in the Loop：水电大坝的鱼类计数与人类参与式数据集生产
作者以顾问身份参与大型水电大坝的鱼类计数项目，这类计数是满足 FERC 监管要求、证明大坝未危害濒危鲑鱼种群的核心数据集。计数依赖受过训练的人员目视识别鱼种、健康状况及野生或孵化场来源，但存在转录错误、分类争议，且各运营方在采集频率（小时/日/月）和季节（特定洄游期）上标准不一。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 IDEFICS：Flamingo 的开源复现多模态模型
Hugging Face 发布 IDEFICS，一个基于公开数据和模型构建的开源视觉语言模型，可复现 DeepMind 未公开的 Flamingo。该模型接受任意图像与文本序列输入并输出文本，提供 base 和 instructed 两种变体，各有 9B 和 80B 参数规模。
推荐理由：Hugging Face 公开了 Flamingo 的开源复现细节，读者可了解其数据构成与双版本参数规模。
Hugging Face BlogAI 评分4242 Hugging Face 用 Zeroscope 与 MusicGen 搭建 AI WebTV 实验直播
Hugging Face 推出 AI WebTV 实验性 Demo，用开源文生视频模型 Zeroscope 和音乐生成模型 MusicGen 合成内容并以直播形式播放。
Hugging Face BlogAI 评分3434 Habana Gaudi2 如何加速 BridgeTower 视觉语言模型微调
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 视觉语言模型，相比 A100 提速 2.5 倍，相比 H100 提速 1.4 倍。
Hugging Face Blog精选AI 评分6565 Kakao Brain 发布 ViT 与 ALIGN 模型及 7 亿对图文数据集 COYO
Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO（7 亿对）以及基于该数据集训练的 ViT 和 ALIGN 两个视觉语言模型，这是 ALIGN 首次免费开源，也是 ViT、ALIGN 首次附带公开训练数据发布。
推荐理由：首个开源 ALIGN 模型连同 700M 训练数据集一并放出，读者可据此判断复现视觉语言建模的可行性。
Hugging Face BlogAI 评分5858 用 Hugging Face Transformers 实现 BLIP-2 零样本图像到文本生成
Hugging Face Blog 发布指南，介绍 Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Transformers，可通过 Q-Former 连接冻结的图像编码器与大语言模型，完成图像描述、提示式图像描述、视觉问答和对话式提示。
Hugging Face BlogAI 评分3636 Hugging Face 博客：深入解析视觉语言模型及其训练策略
Hugging Face 博客梳理了视觉语言模型（VLM）的训练方法，涵盖对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 以及免训练五类策略。文章以 OpenAI 的 CLIP 为例说明对比学习如何将图文映射到同一特征空间，并介绍了 CLOOB、ALIGN、DeCLIP、LiT 等模型，同时说明如何用 Transformers 库上手这些模型。
Hugging Face BlogAI 评分2727 HF Mirror 计算机视觉现状：8 大任务、3000+ 模型与 100+ 数据集
HF Mirror 回顾其计算机视觉生态：已支持图像分类、图像分割、零样本目标检测、视频分类、深度估计等 8 个核心视觉任务，Hub 上相关模型超过 3000 个、数据集超过 100 个，且每个任务至少有 10 个模型 checkpoint 可供使用。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Document AI 加速指南：开源模型与最佳实践
Hugging Face 发文梳理文档 AI 的六大用例及对应开源模型，涵盖 OCR、文档图像分类、版面分析和文档解析，并给出许可、数据准备与建模的实践指引。
Hugging Face BlogAI 评分2727 Hugging Face Datasets 新增音频与图像文档，并预告 AudioFolder
Hugging Face 为 🤗 Datasets 补充了音频与图像数据集的文档：Quickstart 新增端到端加载处理示例和 to_tf_dataset 函数，可直接把数据集转成 tf.data.Dataset 供 TensorFlow/Keras 训练。
Hugging Face BlogAI 评分1616 Hugging Face 多模态团队发布伦理章程，将伦理原则置于研究生命周期核心
Hugging Face 多模态学习团队发布了一份项目伦理章程，将伦理原则正式纳入机器学习研究生命周期的起点，并明确了内容政策与项目价值观。章程列出了需要防范的用例，包括生成虚假信息、生成个人可识别信息以及在医疗、法律、金融、移民等高风险领域的不谨慎使用。团队同时提出透明、开放可复现、公平、自我批判和尊重他人工作等价值观，并指出这些价值观之间有时会相互冲突，需逐案权衡风险与收益。
Hugging Face Blog精选AI 评分6161 Hugging Face 将 Perceiver IO 加入 Transformers，支持任意模态
Hugging Face 将 Perceiver IO 加入 Transformers，这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型，随模型提供图像分类与光流预测示例和多个 notebook。
推荐理由：原文给出 Perceiver IO 加入 Transformers 的实现细节与多模态示例，读者可据此判断跨模态统一架构的可用性。
Hugging Face BlogAI 评分2828 用遥感（卫星）图像和描述微调 CLIP
一个跨 12 个时区的团队用 RSICD 遥感数据集微调了 OpenAI 的 CLIP 模型，并辅以 UCM、Sydney 数据集，共约 1 万张来自 Google Earth、百度地图等来源的卫星图像，每张最多配 5 条描述。