Diffusers 中的开源视频生成模型现状
Hugging Face 发布 Diffusers 开源视频生成模型现状综述,梳理了 CogVideoX、Mochi-1、Hunyuan Video、Allegro、LTX Video 等模型,并对比 Meta MovieGen、OpenAI Sora、Google Veo 2 等闭源方案。
Hugging Face 发布 Diffusers 开源视频生成模型现状综述,梳理了 CogVideoX、Mochi-1、Hunyuan Video、Allegro、LTX Video 等模型,并对比 Meta MovieGen、OpenAI Sora、Google Veo 2 等闭源方案。
Artificial Analysis 发布 Big Bench Audio 评测数据集,将 Big Bench Hard 的 1000 道题改编为音频形式,用于评估音频语言模型的推理能力。
Hugging Face 用 optimum-benchmark 在 Google Cloud 的 C4(第 5 代 Intel Xeon,Emerald Rapids,带 AMX)和 N2(第 3 代 Xeon,Ice Lake,仅 AVX-512)上对比测试文本嵌入与文本生成。
Google 发布新一代视觉语言模型 PaliGemma 2,沿用 SigLIP 图像编码器并将文本解码器升级为 Gemma 2,提供 3B、10B、28B 三种规模,均支持 224x224、448x448、896x896 三种输入分辨率,而上一代 PaliGemma 只有 3B 版本。
推荐理由:Google 发布 PaliGemma 2 视觉语言模型,相比前代只提供 3B,补上了 10B、28B 与三种输入分辨率,可用于判断自己的微调选型空间。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 logits processor 为 AI 生成文本添加水印,并用分类器检测。
推荐理由:SynthID Text 集成进 Transformers 后,给出了水印配置、生成与检测的完整接入方式及已知局限。
Hugging Face 发布 FineVideo 数据集,包含 4.3 万条视频、总计 3400 小时,并标注了描述、叙事细节、场景切分和问答对。
Hugging Face 发布教程,演示如何用 Text Generation Inference(TGI)和 Deep Learning Containers,在 Google Cloud A3 节点(8 块 H100 GPU)上通过 Vertex AI 部署 FP8 量化的 Meta Llama 3.1 405B Instruct。
Hugging Face 复现 Google 的 Infini-Attention 时发现,随着记忆压缩次数增加,模型性能持续下降,团队约 90% 的时间都花在调试一个收敛问题上。作者认为,ring attention、YaRN 和 rope scaling 目前仍是扩展预训练模型上下文长度的最佳方式。
Google 在 Gemma 2 发布一个月后扩充 Gemma 模型系列,新增 2.6B 参数的 Gemma 2 2B、用于输入输出过滤的安全分类器 ShieldGemma,以及覆盖 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
HF Mirror 在 Inference Endpoints 和 Spaces 中上线 Google TPU v5e,提供 v5litepod-1(1 核 16 GB,$1.375/小时)、v5litepod-4(4 核 64 GB,$5.50/小时)和 v5litepod-8(8 核 128 GB,$11.00/小时)三种配置。
Google 发布 Gemma 2 系列开源大语言模型,包含 9B 和 27B 两个尺寸的基础版与指令微调版,共 4 个开放权重模型,上下文长度 8K token。
推荐理由:详细拆解 Gemma 2 的滑动窗口注意力、软上限与蒸馏等改动,可作为理解这代开源模型训练思路的参考。
Hugging Face 发文探讨数据质量为何是 AI 开发的关键,提出高质量数据应具备相关性、完整性、时效性与偏见缓解等特征。文章以 Reddit 与 Google 的 RAG 搜索合作失准(如推荐"给披萨加胶水")为例,说明低质数据会拖累模型表现。作者主张将数据质量贯穿 AI 全生命周期,通过去重、内容过滤与人工反馈等策管流程提升模型稳健性、效率与公平性。
Google 发布视觉语言模型系列 PaliGemma,由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成,可输入图像和文本并输出文本。
推荐理由:梳理了 PaliGemma 的架构、三种权重类型与分辨率选择建议,方便判断是否适合自身微调任务。
Open Life Science AI 在 Hugging Face 发布 Open Medical-LLM Leaderboard,用统一平台评测大语言模型在医疗任务上的表现,以准确率为主要指标。
Hugging Face 推出 Deploy on Google Cloud 集成,可将数千个开源模型通过 Vertex AI 或 GKE 部署为自有 Google Cloud 账户内的 API 端点,底层推理由 Text Generation Inference 驱动。
Google 发布开源代码模型系列 CodeGemma,基于预训练的 2B 和 7B Gemma checkpoint 进一步用 5000 亿 token 的英文、数学和代码数据训练,包含专注代码填充的 2B 基础模型、混合代码与自然语言的 7B 基础模型和面向对话的 7B Instruct 三个版本,上下文长度均为 8K。
推荐理由:原文给出三个规格的 CodeGemma 及其在 HumanEval 等基准上的对比数据和 FIM 提示词格式,便于评估其在代码补全场景的定位。
Google DeepMind 的开源模型 Gemma 已在 HF Mirror 上线,提供 2B 和 7B 两种参数规模及预训练、指令微调版本,并支持 TGI、Vertex Model Garden 与 GKE 部署。
Google 发布开源 LLM 家族 Gemma,包含 2B 和 7B 两个尺寸,各有基础版与指令微调版共 4 个模型,基于 Gemini 打造,上下文长度 8K tokens,可在消费级 GPU、TPU 甚至 CPU 与端侧设备上运行。
推荐理由:Google 开源 Gemma 2B 与 7B 双尺寸模型,本文给出 8K 上下文、消费级硬件运行及与 Transformers 生态的完整集成路径。
Hugging Face 与 Google Cloud 宣布战略合作,在开放科学、开源、云与硬件层面协作,让企业用开源模型构建自己的 AI。
Hugging Face 在 7B 模型上实证评测了 DPO、IPO、KTO 三种无需强化学习的 LLM 偏好对齐方法,并用 MT-Bench 打分。
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 Stable Diffusion XL 推理,借助 XLA 与 JIT 编译实现高性能、低成本部署。官方 demo 跑在多个 TPU v5e-4 实例上,约 4 秒并行输出四张 1024×1024 图像,实际生成时间约 2.3s;TPU v5e 成本不到 TPU v4 的一半。
Hugging Face 发布端到端教程,演示用 🤗 Transformers、TensorFlow 和 TPU 从零训练一个 RoBERTa base 掩码语言模型,涵盖训练 tokenizer、处理 WikiText v1 数据集、生成 TFRecord 分片并上传至 Google Cloud Storage,以及最终模型训练与上传。
DeepFloyd 的像素级文生图模型 IF 可在免费版 Google Colab 上通过 🧨 diffusers 运行,T5-XXL 文本编码器经 bitsandbytes 8bit 量化后仅需约 8GB 显存即可加载。IF 直接在像素空间去噪并以 T5-XXL 替代 CLIP 作为文本编码器,擅长生成人脸、手部等高频细节,也是首个能可靠生成图像文字的開源图像生成模型。
Hugging Face 梳理了让对话式 AI 智能体真正有用的关键技术,包括 RLHF、IFT、SFT、CoT 与红队测试,并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 与 Anthropic Assistant 的架构、训练数据与评估标准。
Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型,把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤,并说明奖励模型以排序而非直接打分来生成标量奖励,最后用 PPO 结合 KL 散度惩罚更新策略。
推荐理由:文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段,并梳理可直接上手的开源工具与数据集。
Hugging Face 展示如何将 TensorFlow 版 ViT B/16 模型部署到 Google Cloud 的 Vertex AI 平台,借助 google-cloud-aiplatform Python SDK 四步完成上传模型、创建 endpoint、部署和预测请求。
Hugging Face 发布博客,演示如何用 Hugging Face Optimum 库在 Graphcore IPU 上微调预训练 Vision Transformer(ViT)模型,并提供配套 notebook,以 ChestX-ray14 胸部 X 光数据集为例逐步讲解。
Hugging Face 发文介绍如何把上一篇文章中本地部署的 Vision Transformer(ViT)模型用 Docker 和 Kubernetes 扩展到多用户场景。
Hugging Face 发布 DDPM 注释教程,基于 Phil Wang 的 PyTorch 实现逐步复现(Ho et al., 2020)的去噪扩散概率模型。文章讲解前向加噪与反向去噪两个过程、T=1000 时间步、正弦位置嵌入和 U-Net 的 ResNet 块,并给出可运行代码。扩散模型思想最早可追溯至 Sohl-Dickstein 等人 2015 年的工作。
前 Google 伦理 AI 团队创始人 Margaret Mitchell 已加入 Hugging Face,负责制定伦理 AI 研究协议、包容性招聘与文化建设。
BERT(Bidirectional Encoder Representations from Transformers)是 Google AI Language 研究人员于 2018 年开发的 NLP 模型,可同时处理情感分析、命名实体识别等 11+ 种常见语言任务。
Hugging Face 发布教程,演示如何用 🤗 datasets 加载 beans 图像分类数据集、再用 ViTImageProcessor 和 🤗 transformers 微调预训练 ViT 模型。
Hugging Face 将 Perceiver IO 加入 Transformers,这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型,随模型提供图像分类与光流预测示例和多个 notebook。
推荐理由:原文给出 Perceiver IO 加入 Transformers 的实现细节与多模态示例,读者可据此判断跨模态统一架构的可用性。
Hugging Face 在社区周活动中用 10 亿句对训练出 SOTA 句嵌入模型,训练跑在 7 块 TPU v3-8 上。方法采用批内负样本的对比学习目标,配合大批次、难负样本和跨数据集批次提升质量。模型与数据集已在模型卡中开源。
社区成员 Maxence Dominici 将 Transformers 情感分析 pipeline 部署到 Google Cloud,最终方案基于 DistilBERT base uncased finetuned SST-2 模型,用 PyTorch 加载,通过 Flask 提供 GET 接口并打包为 Docker 镜像运行在 Cloud Run 上。
HF Mirror 与 PyTorch/XLA 团队合作,将 Cloud TPU 训练支持集成进 HF Mirror 库,用户可在保持原有 Trainer 接口不变的情况下把模型跑在 Cloud TPU 上。