Hugging Face 与 Intel Labs 提出 Universal Assisted Generation：任意辅助模型加速解码
Hugging Face 与 Intel Labs 提出 Universal Assisted Generation（UAG），通过双向 tokenizer 转换，让目标模型可以搭配任意模型家族的更小辅助模型，对任意 decoder 或 MoE 模型实现 1.5x-2.0x 推理加速。
#Hugging Face
#Hugging Face
今日 1 条Hugging Face BlogAI 评分5858
Hugging Face BlogAI 评分2222 Hugging Face 专家支持案例：用 LLM-as-a-Judge 强化 Farmer.chat 的 RAG 应用
Digital Green 与 CGIAR、Hugging Face 专家支持计划合作开发农业问答机器人 Farmer.chat，基于 RAG 和 GPT-4o 规划智能体回答农户提问，知识库涵盖近 46000 篇农业研究论文。过去一年该机器人已服务超 2 万名农户、处理逾 34 万次查询。为评估回答质量，团队搭建了 LLM-as-a-Judge 评测体系。
Hugging Face Blog精选AI 评分6060 Cohere For AI 发布 Aya Expanse 8B 与 32B 多语言模型
Cohere 研究实验室 Cohere For AI 发布 Aya Expanse 系列多语言模型，包含 8B 和 32B 两个参数规模，并以开放权重形式发布。
推荐理由：原文给出 Aya Expanse 8B/32B 的对比胜率与技术管线细节，可了解多语言训练中数据套利与模型合并的具体做法。
Hugging Face Blog精选AI 评分6969 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 发布 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本添加水印，并用分类器检测。
推荐理由：SynthID Text 集成进 Transformers 后，给出了水印配置、生成与检测的完整接入方式及已知局限。
Hugging Face BlogAI 评分2828 CinePile 2.0：用对抗式精炼打造更强的数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，并开源一种名为对抗式精炼的新方法。初版 CinePile 于 2024 年 5 月推出，含约 30 万训练样本和 5000 测试样本，人类在该基准上比最强商业视觉模型高出 25%、比开源模型高出 65%；2.0 版本由 HF Mirror 参与，针对退化问题和视觉依赖等缺陷做改进，该方法可直接用于强化现有数据集。
Hugging Face BlogAI 评分5757 Hugging Face 发布 HUGS 生成式 AI 推理微服务
Hugging Face 发布 HUGS（Hugging Face Generative AI Services），一套零配置、经过优化的推理微服务，用于在自有基础设施中部署开源模型。
Hugging Face Blog精选AI 评分6868 Transformers.js v3 发布：支持 WebGPU、新模型与量化格式
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称推理速度最高比 WASM 快 100 倍，只需在加载模型时设置 device: 'webgpu'。
推荐理由：官方发布浏览器端推理库大版本，WebGPU 与量化格式的变化直接影响前端模型部署方式。
Hugging Face BlogAI 评分3939 如何在 HF Mirror Inference Endpoints 上部署 Speech-to-Speech
HF Mirror 的 Speech-to-Speech（S2S）项目通过 VAD、语音转文本、语言模型和文本转语音组成的级联管道实现语音对话，支持英语、法语、西班牙语、中文、日语和韩语。由于运行 S2S 需要大量算力，即使高端笔记本也可能出现延迟，官方给出用自定义 Docker 镜像将其部署到 HF Mirror Inference Endpoints 的分步教程。
Hugging Face BlogAI 评分4444 dottxt 与 Hugging Face 发布 outlines-core 0.1.0：Rust 重写的结构化生成核心库
dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0，这是 outlines 结构化生成核心算法的 Rust 移植版，Python 绑定已开源并集成进 outlines。该版本带来约 2 倍的索引编译速度提升，并消除了 Numba JIT 首次运行的延迟，同时凭借 Rust 的内存安全与轻量化设计支持 Python 之外的更多语言绑定。
Hugging Face BlogAI 评分2727 Hugging Face 与 Protect AI 合作，用 Guardian 扫描模型安全
Hugging Face 宣布与 Protect AI 合作，将后者旗下安全工具 Guardian 作为第三方扫描器集成进 Hub 的扫描套件，用于识别 pickle、Keras Lambda 层等格式中的任意代码执行漏洞。所有公开模型仓库在推送文件后会自动扫描，无需额外操作，目前平台已扫描数亿个文件，但超 100 万个模型仓库的覆盖仍需时间。
Hugging Face Blog精选AI 评分7070 Diffusers 支持 Stable Diffusion 3.5 Large：含 8B 模型与量化、LoRA 训练
Stable Diffusion 3.5 Large 已在 Hugging Face Hub 发布并接入 Diffusers，包含 8B 模型和 8B timestep-distilled 少步推理版本，蒸馏版通常 4-8 步即可出图。
推荐理由：原文给出 SD3.5 在 Diffusers 中的量化推理与 LoRA 微调完整调用路径，可直接对照迁移。
Hugging Face BlogAI 评分4242 Llama 3.2 已在 Keras 中可用
Llama 3.2 的 Keras 支持从发布第一天起就已可用，可直接从 HF 标准 safetensors checkpoint 加载，包括 3.2 checkpoint，需要转换时会即时完成。
Hugging Face BlogAI 评分4141 Hugging Face 修复 Transformers 梯度累积损失计算错误
Hugging Face 修复了 Transformers Trainer 中梯度累积的损失计算 bug：按 token 级任务应将整个累积步的总损失除以全部非 padding token 数，而非对每个 batch 的损失取平均，此前开启与关闭梯度累积的两次训练损失对不上。
Hugging Face BlogAI 评分4848 AMD 发布第五代 EPYC CPU（Turin），Hugging Face 实测 LLM 推理吞吐提升约 2 倍
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU（代号 Turin），最高 192 核 384 线程。
Hugging Face Blog精选AI 评分6262 Gradio 5 发布安全审计结果，修复 Trail of Bits 发现的四类场景漏洞
Gradio 团队公布由 Trail of Bits 对 Gradio 5 所做的独立安全审计，相关漏洞均在 Gradio 5.0 发布前修复并通过验证。
推荐理由：Gradio 5 与 Trail of Bits 的安全审计公开了四类场景下的漏洞清单与修复方式，可供自建 ML 应用时对照排查。
Hugging Face BlogAI 评分5959 Hugging Face 发布 Gradio 5 稳定版，主打生产级机器学习 Web 应用
Hugging Face 宣布 Gradio 5 稳定版发布，开发者可用几行 Python 构建面向生产环境的机器学习 Web 应用。新版本通过服务端渲染（SSR）提升加载速度，对按钮、标签页、滑块和聊天机器人界面做了设计更新，并加入低延迟流式能力，覆盖摄像头目标检测、视频流、实时语音转写与生成等场景。
Hugging Face BlogAI 评分3535 Hugging Face 用 Dask 扩展 AI 数据处理：从 100 行到 2.11 亿行
Hugging Face 展示如何用 Dask 将 FineWeb 数据集处理从 pandas 的 100 行扩展到云端多 GPU 上的 2.11 亿行，借助 FineWeb-Edu 分类器筛选高教育价值网页。
Hugging Face BlogAI 评分5353 Hugging Face 发布动态投机解码，辅助生成最高加速 2.7 倍
Hugging Face 博客介绍了与 Intel Labs 共同开发的动态投机解码方法，已集成进 Transformers 4.45.0，并成为辅助生成的默认工作模式。
Hugging Face BlogAI 评分2727 HF Mirror 如何改进 Parquet 文件去重
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 文件测试去重效果：追加 10,000 行可去重 99.1%，仅需额外 20MB 存储；而修改第 10000 行仅去重 89%，需额外 230MB。团队提出用相对偏移替代绝对偏移、按行组做内容定义分块两项改进思路，并与 Apache Arrow 探讨落地可能。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open FinLLM Leaderboard，专注金融大模型评测
Hugging Face 发布 Open FinLLM Leaderboard，一个面向金融领域的专用大模型评测榜单，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务，采用零样本评估且无需微调。评测指标包括 Accuracy、F1 Score、ROUGE Score 和 MCC，任务数据集来自 FinQA、TATQA、ECTSum、EDTSum 等真实金融场景。
Hugging Face BlogAI 评分3434 Hugging Face 博客：中国 AI 出海全球扩张简析
2024 年中国 AI 公司加速出海，全球 1500 家活跃 AI 公司中有 751 家位于中国，其中 103 家已拓展海外市场。华为、腾讯、阿里聚焦云计算与 AI 基础设施，主攻东南亚和中东；字节跳动七个月内推出 11 款海外应用，CapCut 月活超 3 亿。
Hugging Face BlogAI 评分2727 如何将顶点着色网格转换为 UV 贴图纹理网格
Hugging Face 发布教程与 InstantTexture 库，可将顶点着色网格转换为 UV 映射的纹理网格，并导出为 .glb 文件。流程先用 xatlas 生成 UV 映射，再通过重心坐标插值填充 1024 尺寸纹理，最后用 inpainting、中值滤波、高斯模糊与降采样消除空洞和噪点。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：支持视觉与端侧运行
Meta 发布 Llama 3.2，共 10 个开放权重模型，包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模，均有 base 与指令微调版本，视觉模型上下文长度为 128k tokens；文本模型新增 1B 和 3B 两种规格，面向端侧场景，训练使用最多 9 万亿 tokens。
推荐理由：文章给出 10 个开放权重模型与端侧量化运行路径，便于评估多模态开源方案的落地条件。
Hugging Face BlogAI 评分5252 Hugging Face 详解 FineVideo 数据集构建：从 190 万条视频到 4.3 万条标注视频
Hugging Face 发布 FineVideo 数据集，包含 4.3 万条视频、总计 3400 小时，并标注了描述、叙事细节、场景切分和问答对。
Hugging Face BlogAI 评分1616 深入探索 HF Mirror Daily Papers 页面的隐藏功能
HF Mirror 的 Daily Papers 页面已收录 3,700 多篇论文、订阅数超 12k，作者可一键认领论文并关联到自己的账号。该页面还支持论文提交、@作者实时讨论、@librarian-bot 推荐相似论文、多语言评论与自动翻译，并将模型、数据集、demo 等资源集中链接在论文页右侧。用户可通过页面顶部 Subscribe 按钮订阅每日更新（周末除外）。
Hugging Face BlogAI 评分2626 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中低依赖部署。
Hugging Face BlogAI 评分5858 如何将 LLM 微调到 1.58bit：BitNet 极端量化实践
Hugging Face 博客给出将现有模型微调到 1.58bit（三值权重 -1、0、1）的方法，用 Llama3 8B 从 10B token 微调后发布在 HF1BitLLM 组织下。
Hugging Face BlogAI 评分4444 Hugging Face Datasets 上线 SQL Console
Hugging Face 为 Hub 上的 Datasets 推出 SQL Console，可在数据集页面一键打开，用 DuckDB WASM 在浏览器内本地执行查询，无需后端依赖。支持完整 DuckDB SQL 语法与正则、列表、JSON、嵌入向量等内置函数，结果可导出为 parquet，公开数据集查询结果还能通过链接分享。内存上限约 3GB，暂不支持 hf:// 协议。
Hugging Face BlogAI 评分5353 HuggingChat 推出 Community Tools，可将任意 Space 变身为工具
HuggingChat 发布 Community Tools 功能，用户可以把 HuggingFace 上任意公开 Space 转成模型可直接调用的工具，同时扩展了 HuggingChat 的模态能力，支持理解图像、生成视频和文本转语音模型。
Hugging Face BlogAI 评分5252 Hugging Face 发布 Accelerate 1.0.0 首个候选版
Hugging Face 发布 Accelerate 1.0.0 的首个 release candidate，包已稳定近一年。1.0 加入 MS-AMP 和 TransformerEngine 的 FP8 支持、DeepSpeed 多模型编排（实验性）、大模型推理 API 的 torch.compile 支持等。
Hugging Face BlogAI 评分2525 HF Mirror 与 TruffleHog 合作，为平台加入密钥扫描功能
Hugging Face 与 Truffle Security 合作，将开源密钥检测工具 TruffleHog 接入平台。平台自动化扫描流水线新增第三类扫描——用 TruffleHog 扫描密码、token 和 API key，会在每次 push 时对新增或修改文件运行 trufflehog filesystem 命令，发现已验证密钥即邮件通知用户。
Hugging Face BlogAI 评分3636 Hugging Face LeRobot 用视频编码压缩机器人数据集
Hugging Face 的 LeRobot 提出 LeRobotDataset 格式，用视频编码替代逐帧 PNG 存储机器人视觉数据，数据集平均缩小到原体积的 14%，最好情况下仅 0.2%，同时保持完整训练能力。解码单帧耗时与 PNG 相当，连续多帧解码仅为 PNG 读取耗时的 25%-50%。该格式轻量、易分享并原生集成 Hugging Face Hub，还配套了可视化工具。
Hugging Face BlogAI 评分4141 HF Mirror Hub 上 5 个被低估的工具：ZeroGPU、Multi-process Docker、Gradio API、Webhooks 与 Nomic Atlas
HF Mirror Hub 上有 5 个常被忽视的工具：ZeroGPU、Multi-process Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face BlogAI 评分3838 HF Mirror 用 Flash Attention 2 实现无填充打包，训练吞吐提升最高 2 倍
HF Mirror 在 Transformers 中新增 DataCollatorWithFlattening，让无填充的打包训练与 Flash Attention 2 兼容，通过保留样本边界避免跨样本注意力。
Hugging Face BlogAI 评分1818 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 发布教程，演示如何用 Text Generation Inference（TGI）和 Deep Learning Containers，在 Google Cloud A3 节点（8 块 H100 GPU）上通过 Vertex AI 部署 FP8 量化的 Meta Llama 3.1 405B Instruct。
Hugging Face BlogAI 评分3636 一次失败的实验：Infini-Attention，以及我们为何仍应继续尝试？
Hugging Face 复现 Google 的 Infini-Attention 时发现，随着记忆压缩次数增加，模型性能持续下降，团队约 90% 的时间都花在调试一个收敛问题上。作者认为，ring attention、YaRN 和 rope scaling 目前仍是扩展预训练模型上下文长度的最佳方式。
Hugging Face BlogAI 评分3434 Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
ggml 是一个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库，核心库自包含在不到 5 个文件中，编译后二进制体积小于 1MB。它支持 x86_64、ARM、Apple Silicon、CUDA 等硬件，并支持量化张量以节省内存，llama.cpp、whisper.cpp、ollama、LM Studio、GPT4All 等均基于它构建。
Hugging Face BlogAI 评分5959 TII 发布 Falcon Mamba 7B：首个强性能无注意力机制模型
阿布扎比技术创新研究院（TII）发布 Falcon Mamba 7B，采用纯 Mamba 架构并加入额外 RMS 归一化层，以 5500GT 数据训练，权重以 TII Falcon Mamba 7B License 1.0 开源。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出跨模型统一工具调用 API
Hugging Face 在 Transformers 中推出统一的工具调用 API，同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型上使用工具，无需或只需少量模型专属改动。工具以 JSON schema 定义，Python 函数传入后会自动转换为 schema，并配有完整文档和示例。目前模型响应格式仍需手动解析，这部分尚未统一。
推荐理由：原文给出了统一工具调用 API 的跨模型设计与 Transformers 代码示例，读者可据此判断现有工具调用代码的迁移成本。
Hugging Face BlogAI 评分5353 Hugging Face 收购 XetHub，计划改用自研存储后端替代 Git LFS
Hugging Face 宣布收购西雅图公司 XetHub，其 12 人团队将加入，目标是让 Hub 仓库改用自研的存储后端替代 Git LFS。XetHub 的技术可让 Git 扩展到 TB 级仓库，通过分块存储和去重，更新 10GB Parquet 文件中的一行只需重传包含新行的少量分块，而更新 GGUF 头部的单个元数据值也只需重传几 KB。