Groq 成为 HF Mirror Inference Providers 支持的服务商
Groq 正式加入 HF Mirror Hub 的 Inference Providers，为模型页面提供无服务器推理。Groq 支持 Meta Llama 4、Qwen QWQ-32B 等开源模型，其核心 LPU 专为 LLM 推理设计，延迟更低、吞吐更高。用户可在账户设置中配置 Groq API key 直连，或通过 HF 路由调用，PRO 用户每月获 $2 推理额度。
#部署/工程
#部署/工程
今日 12 条Hugging Face BlogAI 评分2323
Hugging Face BlogAI 评分4040 长提示词如何阻塞其他请求：优化 LLM 性能
TNG 在 24 块 H100 上自托管大量 LLM，服务超 50 个应用、每天消耗逾 1 亿 token 并生成超 1000 万 token。由于 vLLM 默认的 chunked-prefill 会为单个请求顺序调度 prefill，一个长提示词即可阻塞后续请求的 prefill 队列，抬高首 token 延迟。
Hugging Face BlogAI 评分4949 5 分钟上手 Hugging Face Kernel Hub
Hugging Face 推出 Kernel Hub，让 Python 库和应用直接从 Hub 加载预编译优化计算内核，用 `get_kernel("kernels-community/flash-attn")` 一行即可启用 FlashAttention，无需自行编译。
Hugging Face BlogAI 评分4848 Hugging Face 与 NVIDIA 联手推出 Training Cluster as a Service
Hugging Face 与 NVIDIA 合作推出 Training Cluster as a Service，让全球研究机构按需申请 GPU 集群并按训练时长付费，Hugging Face 上 25 万家组织可提交需求。
Hugging Face BlogAI 评分2222 nanoVLM 从零实现 KV Cache，生成提速 38%
Hugging Face 的 nanoVLM 仓库从零实现了 KV Caching，使生成速度提升 38%。nanoVLM 是一个用纯 PyTorch 训练自定义视觉语言模型的精简代码库，KV Cache 在 Attention 块、语言模型层和生成循环三处启用，把逐步生成从全序列重算改为增量更新。文中的经验适用于所有自回归语言模型生成。
Hugging Face BlogAI 评分2727 Arm CPU 上用 Stable Audio Open 实现实时 AI 音效生成
Arm 工程师 Michael Gamble 用 Stability AI 的 Stable Audio Open 模型，在 Arm CPU 上构建了完全本地运行的个人音效生成工具，无需 GPU 和云端推理，几秒内即可根据文字提示生成 .wav 文件并直接送入 Ableton Live。
Hugging Face BlogAI 评分5252 TRL 支持 vLLM 与 GRPO 训练同卡部署
Hugging Face TRL 通过 PR #3394 支持 vLLM 的 external launcher，可在同一分布式进程组中让训练与推理共享同一批 GPU，需在 GRPOConfig 中设置 vllm_mode="colocate"。
Hugging Face BlogAI 评分3838 Dell Enterprise Hub 更新：一站式本地部署 AI 模型与应用
Dell Enterprise Hub 发布新版本，提供 Meta Llama 4 Maverick、DeepSeek R1、Google Gemma 3 等模型的即用容器，针对 NVIDIA H100/H200、AMD MI300X、Intel Gaudi 3 的 Dell 服务器完成测试与优化，Llama 4 在 Meta 公开发布后 1 小时内即上线。
Hugging Face BlogAI 评分4949 Hugging Face Diffusers 中的量化后端探索：bitsandbytes、GGUF、torchao、Quanto 与 FP8
Hugging Face 博客详解 Diffusers 直接集成的多种量化后端，包括 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8，并以 Flux-dev 演示。
Hugging Face BlogAI 评分5454 Microsoft 与 Hugging Face 扩大合作，Azure AI Foundry 上线 1 万余个开源模型
Microsoft Build 大会上，Satya Nadella 宣布扩大与 Hugging Face 的合作，Azure AI Foundry 现已提供 1 万余个 Hugging Face 模型，可几次点击部署用于文本、音频和图像应用。
Hugging Face BlogAI 评分4848 Hugging Face Transformers 库推动模型定义标准化，打通全生态框架
Hugging Face 的 Transformers 库正推动成为跨框架的模型定义中枢：模型一旦被 Transformers 支持，即可在 vLLM、SGLang、TGI 等推理引擎中作为后端使用，并与 llama.cpp、MLX 实现互操作。
Hugging Face BlogAI 评分2626 Kaggle 上线 Hugging Face 模型集成，可直接在 Notebook 中调用
Kaggle 推出与 Hugging Face 的集成，用户在 Hugging Face 模型页点击“Use this model”并选择 Kaggle，即可打开预填代码片段的 Kaggle Notebook 加载模型，反之也可从 Kaggle 点击“Code”跳转。
Hugging Face BlogAI 评分4141 HF Mirror 推出基于 vLLM 的极速 Whisper 转录端点，性能提升达 8 倍
HF Mirror 在 Inference Endpoints 上推出新的 OpenAI Whisper 部署方案，基于 vLLM 实现，推理性能较此前版本最高提升 8 倍。
Hugging Face BlogAI 评分2727 Intel 推出 AutoRound：面向 LLM 与 VLM 的先进量化工具
Intel 发布开源量化工具 AutoRound，这是一种权重-only 的训练后量化（PTQ）方法，通过符号梯度下降联合优化权重的取整与截断范围，支持 INT2-INT8 低比特量化。
Hugging Face BlogAI 评分2727 Hugging Face 解析并发请求下的 LLM Prefill 与 Decode 优化
LLM 的 token 生成分为可并行处理提示词的 prefill 阶段和只能逐个生成的 decode 阶段，两者分别对应首 token 延迟和单 token 延迟。在 24 张 H100 组成的集群上自托管大模型时，decode 阶段受 GPU 显存带宽限制，可通过批处理多请求提升利用率。低并发下吞吐随并发数近线性增长，GPU 利用率饱和后吞吐不再提升，总吞吐与单请求延迟之间存在权衡。
Hugging Face BlogAI 评分3131 Gradio 不只是 UI 库的 17 个理由
Gradio 官方撰文列出 17 个理由，说明它不只是 Python UI 库，而是同时提供 UI 与 API 的机器学习应用框架。
Hugging Face BlogAI 评分3232 Cohere 成为 HF Hub 推理服务商，首批模型创作者直接托管模型
Cohere 现已作为 Inference Provider 接入 HF Hub，成为首个直接在 Hub 上分享并提供模型推理的模型厂商。
Hugging Face BlogAI 评分3434 HF Mirror 与 Cloudflare 合作，让 FastRTC 实时语音与视频更顺滑
HF Mirror 与 Cloudflare 达成合作，FastRTC 开发者用一个 HF Mirror token 即可接入 Cloudflare 覆盖 335 个以上地点的全球 TURN 网络。
Hugging Face BlogAI 评分3434 Gradio 月度用户突破 100 万：Hugging Face 分享开源库增长经验
Gradio 上线 5 年后月度开发者用户突破 100 万，Automatic1111、Oobabooga 的 Text Generation WebUI、Dall-E Mini、LLaMA-Factory 等热门开源项目均在使用。
Hugging Face BlogAI 评分3030 如何用高效请求排队优化 LLM 推理性能
TNG Technology Consulting 提出在自建 LLM-Server 中为每个用户和模型设置独立队列，并采用轮询式公平调度替代 FIFO，避免单个"重度用户"占满队列阻塞他人。该方案通过 vLLM 的 /metrics 端点读取后端队列长度指标、动态控制请求下发速率以保持短队列，从而降低新用户延迟。文章还讨论了按请求数、处理时长、KV-cache 命中和优先级分级等公平性扩展方向。
Hugging Face BlogAI 评分1414 Hugging Face 如何用 Infisical 为 AI 基础设施扩展密钥管理
Hugging Face 将密钥管理从 AWS 单云环境迁移到 Infisical，以支撑 Hub 上超 400 万开发者、每分钟超 1000 万请求的规模。此前团队评估过 HashiCorp Vault，最终选择 Infisical，通过其 Kubernetes Operator 自动同步密钥，并借助 Okta 集成实现基于 RBAC 的细粒度权限控制。
Hugging Face BlogAI 评分4343 Hugging Face 将 Intel Gaudi 支持原生集成进 TGI，加速 LLM 推理
Hugging Face 通过 PR #3091 将 Intel Gaudi 支持原生集成进 TGI 主代码库，不再维护独立的 tgi-gaudi 分支，基于新的多后端架构直接支持 Gaudi1/2/3，分别可运行于 AWS EC2 DL1、Intel Tiber AI Cloud、IBM Cloud 及 Dell、HP、Supermicro 等 OEM 硬件。
Hugging Face Blog精选AI 评分7171 Open R1 更新：DeepSeek-V3 0324 上线 Hugging Face
DeepSeek-V3 的更新版 DeepSeek-V3-0324 本周出现在 Hugging Face Hub 上，架构与原始 V3 相同，许可证由自定义模型许可改为 MIT。
推荐理由：梳理了 DeepSeek-V3 更新版在数学与代码基准上的提升幅度，并给出本地部署与量化方案。
Hugging Face BlogAI 评分1212 Hugging Face Inference Endpoints 推出全新实时分析面板
Hugging Face 为 Inference Endpoints 更新分析面板，指标数据改为实时更新，并重构后端以保证高流量端点下数据快速加载。新版本支持自定义时间范围与自动刷新，还新增副本生命周期视图，可追踪每个副本从初始化到终止的每次状态转换。这些更新已上线，官方表示仍在持续迭代并征求反馈。
Hugging Face BlogAI 评分3434 Open R1 的 OlympicCoder 7B 如何在本地接入 VS Code 写代码
Hugging Face 博客给出用 LM Studio 在本地运行 OlympicCoder 7B 的 4bit GGUF 量化版，并通过 Continue 扩展接入 VS Code 的完整步骤。该 7B 模型在 LiveCodeBench 评测中超过 Claude 3.7 Sonnet 和 GPT-4o，因为基于 CodeForces-CoTs 数据集优化，风格偏向竞赛型而非解释型。
Hugging Face BlogAI 评分4343 Hugging Face 将 Xet 存储上线 Hub，首批模型与数据集仓库已从 LFS 迁移
Hugging Face 已将首批模型和数据集仓库从 LFS 迁移至 Xet 存储，约 6% 的 Hub 下载流量切换到 Xet 基础设施。Xet 采用内容定义分块（CDC），按约 64KB 块做字节级去重，改一个 Parquet 文件的一行只需上传变更块，而 LFS 需重传整个文件。2 月 20 日当天共迁移 4.5 TB 仓库数据，迁移后 CAS 的下载量一度达到返回给客户端的四倍。
Hugging Face BlogAI 评分4141 如何在手机上用 React Native 本地运行 LLM：Hugging Face 的 EdgeLLM 指南
Hugging Face 发布教程，教你用 React Native 和 llama.rn（llama.cpp 的绑定）构建本地运行 LLM 的移动应用，通过加载 GGUF 文件从 HF Mirror 下载模型，全程离线保护隐私。
Hugging Face BlogAI 评分5252 用 Arize Phoenix 追踪和评估 smolagents 智能体
Hugging Face 博客介绍如何用 Arize Phoenix 配合 OpenTelemetry 和 OpenInference，对基于 smolagents 构建的智能体进行追踪与评估。
Hugging Face BlogAI 评分4646 Hugging Face 推出 Remote VAE：用 Inference Endpoints 远程解码扩散模型潜空间
Hugging Face Diffusers 团队试点 Remote VAE，将扩散模型的 VAE 解码交给远程 Inference Endpoints，缓解高分辨率图像和视频生成中解码器显存占用过高的问题，避免 offloading 的设备传输延迟和 tiling 的画质损失。
Hugging Face BlogAI 评分2828 Hugging Face 新增 Hyperbolic、Nebius AI Studio、Novita 三家无服务器推理提供商
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商，支持 DeepSeek-R1、FLUX.1 等模型，并已集成 JS 和 Python 客户端 SDK。
Hugging Face BlogAI 评分2828 Hugging Face Hub 新增 Fireworks.ai 推理服务商，支持 DeepSeek-R1 等模型
Fireworks.ai 成为 Hugging Face Hub 支持的推理服务商，用户可直接在模型页面及整个 HF 生态中调用其无服务器推理，支持 deepseek-ai/DeepSeek-R1。
Hugging Face BlogAI 评分5050 Hugging Face 实测：10 亿次分类与嵌入推理的成本优化框架
Hugging Face 发布博客，拆解每天 10 亿次以上分类与嵌入推理的成本与延迟计算方法。作者用 Inference Endpoints、HF Hub 库、Infinity 推理服务器和 k6 压测，在 nvidia-L4（$0.8/hr）上跑出 10 亿次分类 $253.82、嵌入 $409.44，而 ColQwen2 视觉嵌入高达 $44,496.51。
Hugging Face Blog精选AI 评分6060 Hugging Face 在 Hub 上线 Xet 内容定义分块，上传下载提速 2-3 倍
Hugging Face 的 Xet 团队把内容定义分块（CDC）从理论推向生产，用于 Hub 上文件的上传与下载，部分场景提速 2-3 倍。方案在分块去重后聚合为最大 64MB 的块，使内容寻址存储条目减少 1000 倍，并用占全部 chunk 0.1% 的 key chunks 全局索引做查询。
推荐理由：原文给出块级聚合与 key chunks 的设计取舍，以及 gemma-2-9b-it-GGUF 仓库上传体积与耗时对比，可判断大文件传输的优化空间。
Hugging Face BlogAI 评分3232 如何在 AWS 上部署并微调 DeepSeek 模型
Hugging Face 与 AWS 合作发布了在 AWS 上部署和微调 DeepSeek R1 系列模型的指南，涵盖通过 Inference Endpoints、Amazon Bedrock Marketplace、SageMaker AI 和 EC2 Neuron 等服务的部署路径，以及基于 Hugging Face Training DLCs 的微调方法。
Hugging Face Blog精选AI 评分6060 Hugging Face 在 Hub 上线 Inference Providers 集成
Hugging Face 在 Hub 模型页和 JS/Python 客户端 SDK 中接入 fal、Replicate、SambaNova、Together AI 四家无服务器推理供应商。
推荐理由：平台把四家无服务器推理供应商接入模型页与 SDK，读者可据此比较不同供应商的调用方式与计费路径。
Hugging Face BlogAI 评分4848 Diffusers 中的开源视频生成模型现状
Hugging Face 发布 Diffusers 开源视频生成模型现状综述，梳理了 CogVideoX、Mochi-1、Hunyuan Video、Allegro、LTX Video 等模型，并对比 Meta MovieGen、OpenAI Sora、Google Veo 2 等闭源方案。
Hugging Face BlogAI 评分4141 如何用 NVIDIA KVPress 压缩 KV Cache 搞定 LLM 长上下文
NVIDIA 推出 Python 工具包 KVPress，通过多种 press 压缩 KV Cache，缓解长上下文 LLM 的显存瓶颈。以 Llama 3-70B 的 bfloat16 精度、1M token 上下文为例，KV Cache 独占 327.6GB，占约 470GB 总显存需求的 70%。
Hugging Face BlogAI 评分2020 Hugging Face 与 FriendliAI 合作，在 Hub 上集成 FriendliAI 推理端点
FriendliAI 的推理基础设施已集成进 Hugging Face Hub，成为模型页"Deploy this model"按钮中的一个部署选项。
Hugging Face BlogAI 评分4848 Hugging Face transformers 集成 timm：任意 timm 模型都能用 pipeline、量化和微调
Hugging Face 通过新增 TimmWrapper 将 timm 库的计算机视觉模型接入 transformers 生态，让任意 timm 模型可用 pipeline API 推理并兼容 Auto 类。
Hugging Face BlogAI 评分4747 Hugging Face 为 Text Generation Inference 引入多后端支持（TRT-LLM、vLLM）
Hugging Face 为 Text Generation Inference（TGI）引入多后端架构，通过统一的 TGI 前端层接入 vLLM、llama.cpp、TensorRT-LLM 等推理引擎，用户可按模型、硬件和性能需求切换后端。