Hugging Face 发布 HUGS 生成式 AI 推理微服务
Hugging Face 发布 HUGS（Hugging Face Generative AI Services），一套零配置、经过优化的推理微服务，用于在自有基础设施中部署开源模型。
#开源生态
#开源生态
今日 4 条Hugging Face BlogAI 评分5757
Hugging Face BlogAI 评分2727 Hugging Face 与 Protect AI 合作，用 Guardian 扫描模型安全
Hugging Face 宣布与 Protect AI 合作，将后者旗下安全工具 Guardian 作为第三方扫描器集成进 Hub 的扫描套件，用于识别 pickle、Keras Lambda 层等格式中的任意代码执行漏洞。所有公开模型仓库在推送文件后会自动扫描，无需额外操作，目前平台已扫描数亿个文件，但超 100 万个模型仓库的覆盖仍需时间。
Hugging Face Blog精选AI 评分7070 Diffusers 支持 Stable Diffusion 3.5 Large：含 8B 模型与量化、LoRA 训练
Stable Diffusion 3.5 Large 已在 Hugging Face Hub 发布并接入 Diffusers，包含 8B 模型和 8B timestep-distilled 少步推理版本，蒸馏版通常 4-8 步即可出图。
推荐理由：原文给出 SD3.5 在 Diffusers 中的量化推理与 LoRA 微调完整调用路径，可直接对照迁移。
Hugging Face BlogAI 评分4848 AMD 发布第五代 EPYC CPU（Turin），Hugging Face 实测 LLM 推理吞吐提升约 2 倍
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU（代号 Turin），最高 192 核 384 线程。
Hugging Face Blog精选AI 评分6262 Gradio 5 发布安全审计结果，修复 Trail of Bits 发现的四类场景漏洞
Gradio 团队公布由 Trail of Bits 对 Gradio 5 所做的独立安全审计，相关漏洞均在 Gradio 5.0 发布前修复并通过验证。
推荐理由：Gradio 5 与 Trail of Bits 的安全审计公开了四类场景下的漏洞清单与修复方式，可供自建 ML 应用时对照排查。
Hugging Face BlogAI 评分5959 Hugging Face 发布 Gradio 5 稳定版，主打生产级机器学习 Web 应用
Hugging Face 宣布 Gradio 5 稳定版发布，开发者可用几行 Python 构建面向生产环境的机器学习 Web 应用。新版本通过服务端渲染（SSR）提升加载速度，对按钮、标签页、滑块和聊天机器人界面做了设计更新，并加入低延迟流式能力，覆盖摄像头目标检测、视频流、实时语音转写与生成等场景。
Hugging Face BlogAI 评分5353 Hugging Face 发布动态投机解码，辅助生成最高加速 2.7 倍
Hugging Face 博客介绍了与 Intel Labs 共同开发的动态投机解码方法，已集成进 Transformers 4.45.0，并成为辅助生成的默认工作模式。
Hugging Face BlogAI 评分3434 Hugging Face 博客：中国 AI 出海全球扩张简析
2024 年中国 AI 公司加速出海，全球 1500 家活跃 AI 公司中有 751 家位于中国，其中 103 家已拓展海外市场。华为、腾讯、阿里聚焦云计算与 AI 基础设施，主攻东南亚和中东；字节跳动七个月内推出 11 款海外应用，CapCut 月活超 3 亿。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：支持视觉与端侧运行
Meta 发布 Llama 3.2，共 10 个开放权重模型，包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模，均有 base 与指令微调版本，视觉模型上下文长度为 128k tokens；文本模型新增 1B 和 3B 两种规格，面向端侧场景，训练使用最多 9 万亿 tokens。
推荐理由：文章给出 10 个开放权重模型与端侧量化运行路径，便于评估多模态开源方案的落地条件。
Hugging Face BlogAI 评分5252 Hugging Face 详解 FineVideo 数据集构建：从 190 万条视频到 4.3 万条标注视频
Hugging Face 发布 FineVideo 数据集，包含 4.3 万条视频、总计 3400 小时，并标注了描述、叙事细节、场景切分和问答对。
Hugging Face BlogAI 评分1616 深入探索 HF Mirror Daily Papers 页面的隐藏功能
HF Mirror 的 Daily Papers 页面已收录 3,700 多篇论文、订阅数超 12k，作者可一键认领论文并关联到自己的账号。该页面还支持论文提交、@作者实时讨论、@librarian-bot 推荐相似论文、多语言评论与自动翻译，并将模型、数据集、demo 等资源集中链接在论文页右侧。用户可通过页面顶部 Subscribe 按钮订阅每日更新（周末除外）。
Hugging Face BlogAI 评分5252 Hugging Face 发布 Accelerate 1.0.0 首个候选版
Hugging Face 发布 Accelerate 1.0.0 的首个 release candidate，包已稳定近一年。1.0 加入 MS-AMP 和 TransformerEngine 的 FP8 支持、DeepSpeed 多模型编排（实验性）、大模型推理 API 的 torch.compile 支持等。
Hugging Face BlogAI 评分2525 HF Mirror 与 TruffleHog 合作，为平台加入密钥扫描功能
Hugging Face 与 Truffle Security 合作，将开源密钥检测工具 TruffleHog 接入平台。平台自动化扫描流水线新增第三类扫描——用 TruffleHog 扫描密码、token 和 API key，会在每次 push 时对新增或修改文件运行 trufflehog filesystem 命令，发现已验证密钥即邮件通知用户。
Hugging Face BlogAI 评分4141 HF Mirror Hub 上 5 个被低估的工具：ZeroGPU、Multi-process Docker、Gradio API、Webhooks 与 Nomic Atlas
HF Mirror Hub 上有 5 个常被忽视的工具：ZeroGPU、Multi-process Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face BlogAI 评分3838 HF Mirror 用 Flash Attention 2 实现无填充打包，训练吞吐提升最高 2 倍
HF Mirror 在 Transformers 中新增 DataCollatorWithFlattening，让无填充的打包训练与 Flash Attention 2 兼容，通过保留样本边界避免跨样本注意力。
Hugging Face BlogAI 评分3434 Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
ggml 是一个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库，核心库自包含在不到 5 个文件中，编译后二进制体积小于 1MB。它支持 x86_64、ARM、Apple Silicon、CUDA 等硬件，并支持量化张量以节省内存，llama.cpp、whisper.cpp、ollama、LM Studio、GPT4All 等均基于它构建。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出跨模型统一工具调用 API
Hugging Face 在 Transformers 中推出统一的工具调用 API，同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型上使用工具，无需或只需少量模型专属改动。工具以 JSON schema 定义，Python 函数传入后会自动转换为 schema，并配有完整文档和示例。目前模型响应格式仍需手动解析，这部分尚未统一。
推荐理由：原文给出了统一工具调用 API 的跨模型设计与 Transformers 代码示例，读者可据此判断现有工具调用代码的迁移成本。
Hugging Face BlogAI 评分5353 Hugging Face 收购 XetHub，计划改用自研存储后端替代 Git LFS
Hugging Face 宣布收购西雅图公司 XetHub，其 12 人团队将加入，目标是让 Hub 仓库改用自研的存储后端替代 Git LFS。XetHub 的技术可让 Git 扩展到 TB 级仓库，通过分块存储和去重，更新 10GB Parquet 文件中的一行只需重传包含新行的少量分块，而更新 GGUF 头部的单个元数据值也只需重传几 KB。
Hugging Face BlogAI 评分2323 Hugging Face 2024 年安全功能盘点：细粒度 token、2FA、提交签名与企业级 SSO
Hugging Face 在 2024 年安全功能盘点中梳理了 Hub 的现有安全能力：面向所有用户的细粒度 token、2FA、GPG 提交签名、组织访问控制和自动化安全扫描（ClamAV 恶意软件扫描、picklescan 与 trufflehog）。企业版 Hub 另有 SAML 2.0 / OIDC 单点登录、Resource Groups 和新增的组织 token 管理。
Hugging Face BlogAI 评分5353 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充 Gemma 模型系列，新增 2.6B 参数的 Gemma 2 2B、用于输入输出过滤的安全分类器 ShieldGemma，以及覆盖 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
Hugging Face BlogAI 评分3434 基于 NVIDIA NIM 的 HF Mirror 无服务器推理 API 发布，支持 Llama 与 Mistral
HF Mirror 面向 Enterprise Hub 组织推出 NVIDIA NIM API（无服务器），可用标准化 OpenAI API 对 Llama、Mistral 等开源模型运行推理。
Hugging Face Blog精选AI 评分8585 Llama 3.1 发布 405B、70B 与 8B 版本，支持多语言与长上下文
Hugging Face 上线 Meta Llama 3.1 系列，包含 8B、70B、405B 三个尺寸的基础与指令微调共六个模型，另发布 Llama Guard 3 和 Prompt Guard。
推荐理由：官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案和微调入口，便于据此评估部署成本。
Hugging Face Blog精选AI 评分6565 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 博客给出在 Mac 上用 Core ML 运行 Mistral 7B 的完整步骤，最终以不到 4GB 内存跑起这个 70 亿参数模型。
推荐理由：完整复现了把 Mistral 7B 转成 Core ML 并在 4GB 内存内运行的流程，并拆解了 WWDC 24 的状态化缓冲与分块量化等新特性。
Hugging Face Blog精选AI 评分7070 TGI 推出 Multi-LoRA 服务：一次部署，服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA 服务功能，在一个基础模型部署上通过 Request 中的 adapter_id 动态加载多个 LoRA 适配器，实现一次部署服务 30 个模型。
推荐理由：原文给出了 TGI 多 LoRA 部署的具体配置、成本对比和可复现操作步骤，适合评估多模型推理的工程团队参考。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 SmolLM 系列小模型并开源 SmolLM-Corpus
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M、1.7B 三种参数规模，并开源训练语料 SmolLM-Corpus。该语料由 Mixtral 生成的 Cosmopedia v2（28B tokens）、Python-Edu（4B tokens）和去重后的 FineWeb-Edu（220B tokens）组成。
推荐理由：SmolLM 把数据配比、训练细节和评测结果一并公开，可供读者判断小模型在端侧可用的边界。
Hugging Face BlogAI 评分2929 Hugging Face Hub 与 KerasHub 打通：可直接加载 Transformers 模型
Hugging Face Hub 与 KerasHub 完成集成，两者共用模型保存格式，Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub。首批支持 Gemma 1/2、Llama 3 和 PaliGemma，KerasHub 此前仅能使用 33 个 Keras 模型。加载后的模型可在 TensorFlow、JAX、PyTorch 后端间一行代码切换。
Hugging Face BlogAI 评分2121 Banque des Territoires × Polyconseil × HF Mirror：用主权数据方案支持法国校园绿色改造项目
Banque des Territoires（CDC 集团）、Polyconseil 与 HF Mirror 合作，为 EduRénov 校园生态改造计划搭建基于 RAG 的主权数据方案，项目第一阶段已完成。
Hugging Face BlogAI 评分2525 Hugging Face 为 Dataset Hub 推出四项数据集搜索新功能
Hugging Face 为 Dataset Hub 的 Dataset Search 上线四项新功能：按模态（文本、图像、音频、表格等）、按行数规模、按存储格式（如 Parquet、WebDataset）以及按兼容库（如 Pandas、Dask、Datasets）筛选数据集。行数超过 5GB 的超大数据集将以首 5GB 内容估算总行数，四项筛选条件还可与语言、任务、许可证等已有过滤器组合使用。
Hugging Face BlogAI 评分1414 ProtST 蛋白质语言模型在 Intel Gaudi 2 上加速推理与微调
基于文本提示的蛋白质设计多模态语言模型 ProtST 已在 Intel Gaudi 2 加速器上实现推理与微调：在 ProtST-SubcellularLocalization 测试集上。
Hugging Face BlogAI 评分5656 Hugging Face Transformers Code Agent 登顶 GAIA 基准
Hugging Face 用 Transformers Agents 库构建的 Code Agent 在 GAIA 基准验证集上取得 44.2%，排名第一，比第二名高 4 个百分点；测试集成绩为 33.3%，排名第二，并在最难的 Level 3 问题上取得最佳平均分。
Hugging Face Blog精选AI 评分7979 Google 发布 Gemma 2 开源大模型，9B 与 27B 双尺寸
Google 发布 Gemma 2 系列开源大语言模型，包含 9B 和 27B 两个尺寸的基础版与指令微调版，共 4 个开放权重模型，上下文长度 8K token。
推荐理由：详细拆解 Gemma 2 的滑动窗口注意力、软上限与蒸馏等改动，可作为理解这代开源模型训练思路的参考。
Hugging Face BlogAI 评分1616 XLSCOUT 推出专利与 IP 专用嵌入模型 ParaEmbed 2.0，获 HF Mirror 专家支持
XLSCOUT 发布面向专利与 IP 领域的专有嵌入模型 ParaEmbed 2.0，基于人工专家整理的多领域专利数据微调，准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face BlogAI 评分4343 BigCodeBench：下一代 HumanEval 基准发布
Hugging Face 发布 BigCodeBench，包含 1,140 个函数级任务，需组合 139 个库中的多次函数调用，用于评测 LLM 在无污染的真实编程任务上的能力。每个任务平均配 5.6 个测试用例，分支覆盖率平均 99%，并另设更难、面向指令微调模型的 BigCodeBench-Instruct 变体。
Hugging Face BlogAI 评分3131 HF Mirror Accelerate 如何打通 DeepSpeed 与 FSDP：混合精度差异与 0.30.0 新模式
HF Mirror Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐，并新增"混合精度"与低精度两种 FSDP 模式。
Hugging Face BlogAI 评分2222 Hugging Face 将重新设计 Transformers 文档
Hugging Face 宣布重新设计 Transformers 文档，解决内容分散、导航困难、结构过时的问题。新文档将更面向开发者，采用代码优先和解决方案导向的呈现方式，并放弃此前严格套用 Diátaxis 四分类的僵硬结构，让文档能自然生长。
Hugging Face BlogAI 评分2323 Hugging Face 为 Intel Gaudi 优化辅助生成，加速文本生成
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，对大型 Transformer 模型通常可获得约 2x 加速，同时保持与自回归采样相同的采样质量。
Hugging Face BlogAI 评分5050 用 Sentence Transformers 训练和微调嵌入模型
Hugging Face 发布博客，介绍如何用 Sentence Transformers 训练和微调嵌入模型，也可从零训练新模型。训练流程涵盖数据集、损失函数、训练参数、评估器和 Trainer 五个组件，数据可来自 HF Hub 或本地 CSV、JSON、Parquet、Arrow、SQL；数据集列顺序须与所选损失函数匹配，且 "label" 或 "score" 列用于提供标签。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2 系列：11B 预训练语言模型与视觉语言模型
TII 发布 Falcon 2 系列模型，包括 11B 基础 LLM 和 11B 视觉语言模型（VLM），后者在 LLM 之上接入预训练 CLIP ViT-L/14 视觉编码器并支持图像问答。
推荐理由：官方给出 11B LLM 与 VLM 的训练细节和基准对比，可据此判断小尺寸开源多模态模型的性能位置。
Hugging Face BlogAI 评分4040 HF Mirror 支持从 Hub 直接部署模型到 AWS Inferentia2
HF Mirror 将 AWS Inferentia2 部署能力开放给 Hub 用户，覆盖超过 100,000 个公开模型，新增 albert、bert、roberta、vit、xlm-roberta 等 14 种模型架构和 text-classification、text-generation、question-answering 等 6 类任务。
Hugging Face BlogAI 评分3636 HF Mirror 与微软深化合作：Azure 上开放模型 1 键部署与 Spaces Dev Mode
HF Mirror 与微软在 Microsoft Build 上宣布深化合作，Azure Model Catalog 的 HF Mirror Collection 新增 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等开放模型，支持 1 键部署。