Hugging Face 发布 Optimum-NVIDIA，一行代码将 LLM 推理提速至多 28 倍
Hugging Face 发布 Optimum-NVIDIA 推理库，在 NVIDIA 平台上只需把 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可获得最高 28 倍吞吐提升和 1200 token/秒的速度。
推荐理由：原文给出单行代码替换的接入方式和首 token 延迟、吞吐的对比数据，读者可据此判断自身部署的提速空间。
全部AI 动态
全部动态
今日 14 条Hugging Face Blog精选AI 评分6565
Hugging Face Blog精选AI 评分8080 用 Latent Consistency LoRA 让 SDXL 4 步出图
Hugging Face 发布 LCM LoRA，把 SDXL 的推理步数从 25 到 50 步降到 4 到 8 步，方法是不蒸馏整个模型，只训练少量 LoRA 适配器，再配合 LCMScheduler 使用。
推荐理由：原文给出了 LCM LoRA 的原理、代码和跨硬件基准，读者可据此评估在现有 SDXL 流程中提速的可行性。
Hugging Face BlogAI 评分3333 Explosion 推出 Prodigy-HF：直接集成 Hugging Face 生态
Explosion 发布 Prodigy-HF 插件，让 Prodigy 标注工具直接集成 Hugging Face 生态，可用一条命令微调 distilbert-base-uncased 等任意 Hub 上的 transformer 模型。
Hugging Face BlogAI 评分1717 Hugging Face Hub 推出存储区域（Storage Regions）功能
Hugging Face 在 Enterprise Hub 套餐中上线 Storage Regions，企业可自选模型和数据集的存储位置，目前支持 US 和 EU，Asia-Pacific 即将推出。非默认区域的 repo 会显示 Region 标签，便于成员查看。Hugging Face 称，欧洲团队把仓库放在 EU 区域，上传和下载速度约为存放在 US 时的 4-5 倍。
Hugging Face BlogAI 评分3838 用一行代码交互式探索你的 Hugging Face 数据集
Renumics Spotlight 可直接对接 Hugging Face datasets 库，用一行代码对 7 万余个公开数据集生成交互式可视化，无需复制或预处理数据。它支持结合模型预测与嵌入向量，通过相似度图、混淆矩阵等布局定位关键数据簇和模型失败模式，并可在 GUI 中保存、加载和自定义检查布局。
Hugging Face BlogAI 评分2828 用 HF Mirror Inference Endpoints 部署嵌入模型
Hugging Face 发文介绍如何用 Text Embeddings Inference（TEI）将开源嵌入模型部署到 HF Mirror Inference Endpoints，并支持大规模批量请求。
Hugging Face BlogAI 评分5757 Gradio-Lite 发布：让 Gradio 应用完全在浏览器中无服务器运行
Gradio 发布 @gradio/lite，一个借助 Pyodide 把 Gradio 应用直接跑在浏览器里的 JavaScript 库，无需服务端基础设施。
Hugging Face BlogAI 评分3232 HF Mirror 上超 13 万个模型接入 ONNX Runtime 加速
HF Mirror 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 90 多个模型架构，包括上传量最高的 11 种架构如 BERT、GPT2、DistilBERT、RoBERTa、T5 等。以 whisper-tiny 为例，使用 ONNX Runtime 加速后平均单次推理延迟相比 PyTorch 最高提升 74.30%。
Hugging Face BlogAI 评分5050 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 Stable Diffusion XL 推理，借助 XLA 与 JIT 编译实现高性能、低成本部署。官方 demo 跑在多个 TPU v5e-4 实例上，约 4 秒并行输出四张 1024×1024 图像，实际生成时间约 2.3s；TPU v5e 成本不到 TPU v4 的一半。
Hugging Face BlogAI 评分5050 Hugging Face 为 PRO 用户推出 Inference for PROs 专属 API
Hugging Face 为 PRO 用户推出 Inference for PROs，提供 Meta Llama 3 Instruct、Mixtral 8x7B Instruct、Code Llama、Stable Diffusion XL、Bark 等精选模型的专属 API 端点，并享受更高速率限制。
Hugging Face BlogAI 评分1919 Rocket Money 借助 HF Mirror Inference API 在生产环境扩展易变 ML 模型
Rocket Money 将其交易分类系统从正则表达式迁移到 BERT 系列模型，用于处理每月超 1 亿笔、负载突发的交易。团队用 Retool 搭建标注队列与漂移检测工具，并设计了覆盖 4000+ 类别的离线评测体系。经过三个月评估，Rocket Money 选择 HF Mirror Inference API 托管模型，以在缺少 MLOps 团队的情况下实现高可用、动态扩缩容与低延迟推理。
Hugging Face BlogAI 评分2828 Hugging Face 对比 SafeCoder 与闭源代码助手
Hugging Face 发文对比企业级代码助手 SafeCoder 与 GitHub Copilot、Amazon CodeWhisperer 等闭源服务。SafeCoder 基于 155 亿参数的 StarCoder 模型，支持 80 多种编程语言、8192 token 上下文窗口和 fill-in-the-middle，使用 Docker 容器，可本地或云端部署并完全离线运行。
Hugging Face Blog精选AI 评分6565 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 2 至 8 bit 量化
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度并直接运行，4-bit 量化精度损失可忽略，小批量推理速度与 fp16 基线相当。
推荐理由：原文给出 GPTQ 量化接入 Transformers 后的精度、显存与推理延迟对比数据，可作为本地部署选型参考。
Hugging Face BlogAI 评分4242 Hugging Face 推出企业级自托管代码助手 SafeCoder
Hugging Face 发布 SafeCoder，一套面向企业的端到端自托管代码助手方案，核心是 StarCoder 系列代码大模型。它并非模型本身，而是让客户在自己的基础设施上微调并部署专有 Code LLM，训练与推理阶段代码都不离开客户 VPC。
Hugging Face BlogAI 评分2222 Hugging Face Hub 上线 AWS Marketplace：可用 AWS 账户直接付费
Hugging Face Hub 已登陆 AWS Marketplace，用户可通过 AWS 账户订阅并支付 Hugging Face 的使用费用。订阅后，Inference Endpoints、Spaces 硬件升级和 AutoTrain 等组织内服务费用将直接计入 AWS 账单，企业需以 admin 角色将组织账户与 AWS 账户连接。
Hugging Face BlogAI 评分5858 Hugging Face 发布 swift-transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers，一个在 Swift 中实现类 transformers API 的包，同时开源 swift-chat 演示应用、更新版 exporters 与 transformers-to-coreml 转换工具，并提供 Llama 2 7B、Falcon 7B 等已转换模型。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Agents.js：用 JavaScript 为 LLM 提供工具能力
Hugging Face 发布 Agents.js，一个在浏览器或 Node 中为 LLM 提供工具调用的 JavaScript 库，可通过 npm install @huggingface/agents 安装。
推荐理由：Hugging Face 官方发布 JS 智能体库，可了解其工具调用方式与自定义扩展路径。
Hugging Face BlogAI 评分2929 Hugging Face Diffusers 一周年：从文生图到视频、3D 与更快推理
Hugging Face 的 Diffusers 库迎来一周年，已从文生图工具箱扩展出视频、3D 与图像编辑能力。
Hugging Face BlogAI 评分4242 Hugging Face 用 Zeroscope 与 MusicGen 搭建 AI WebTV 实验直播
Hugging Face 推出 AI WebTV 实验性 Demo，用开源文生视频模型 Zeroscope 和音乐生成模型 MusicGen 合成内容并以直播形式播放。
Hugging Face BlogAI 评分3232 用 Hugging Face Inference Endpoints 部署 LLM：Falcon 40B 实战与流式响应
Hugging Face Inference Endpoints 可几键将 Falcon 40B instruct 等开源 LLM 部署为生产 API，支持自动扩缩容与缩容到零。
Hugging Face Blog精选AI 评分6363 如何在 iPhone、iPad 和 Mac 上通过 Core ML 加速 Stable Diffusion
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重，使模型更小、推理更快、内存占用更低。
推荐理由：原文给出 6-bit palettization 的量化收益与指标，并附自定义模型转换命令，可据此复现端侧部署与提速。
Hugging Face BlogAI 评分3333 将 Livebook notebook 作为应用部署到 Hugging Face Spaces
Elixir 社区用 Livebook 构建了一款基于 Whisper 的聊天应用，并部署到 Hugging Face Spaces，全程不到 15 分钟。用户只能发送语音消息，由 Whisper 模型自动转成文本，该应用展示了与 Hugging Face Models 的集成、多人机器学习应用以及并发模型服务。
Hugging Face BlogAI 评分3636 Hugging Face Hub 支持用 DuckDB 对 5 万+ 数据集运行 SQL 查询
Hugging Face Hub 新增功能，可直接用 DuckDB 对 Hub 上任意公开数据集运行 SQL 查询。数据集查看器会自动把所有公开数据集转换为 Parquet 文件（大数据集按 500MB 分片），用户通过 /parquet 端点获取 URL 后，加载 httpfs 扩展即可查询远程文件。
Hugging Face BlogAI 评分2626 fastText 正式上线 Hugging Face Hub
Meta AI 开源的文本表示与分类库 fastText 现已上线 Hugging Face Hub，官方托管全部 157 种语言的词向量以及最新语言识别模型。用户可通过几行命令下载使用，并支持文本分类与特征提取 widget。
Hugging Face BlogAI 评分4141 Hugging Face 推出面向 Amazon SageMaker 的 LLM 推理容器
Hugging Face 发布 LLM Inference Container（DLC），可在 Amazon SageMaker 上部署开源大模型，底层由 Text Generation Inference（TGI）驱动，支持张量并行、动态批处理和 bitsandbytes 量化等能力。
Hugging Face BlogAI 评分1515 Hugging Face Hub 推出 BERTopic 集成
Hugging Face Hub 上线 BERTopic 集成，用户可直接在 Hub 上使用这一主题建模工具。BERTopic 结合嵌入向量与聚类技术，用于从文本中提取话题结构，相关话题建模资源在 HF 平台上被归类为第 19 类主题，与 LDA 等传统方法并列。
Hugging Face BlogAI 评分3434 Hugging Face 与微软合作在 Azure 上线 Hugging Face 模型目录
Hugging Face 与微软合作，把 Hugging Face Hub 上的开源模型接入 Azure Machine Learning，推出原生的 Hugging Face Hub 模型目录，包含 Hub 上数千个热门 Transformers 模型。
Hugging Face Blog精选AI 评分6060 Safetensors 通过安全审计并成为默认格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做了外部安全审计，未发现可导致任意代码执行的关键安全漏洞，同时修复了格式规范中的若干不精确之处以及允许 polyglot 文件缺失验证的问题。
推荐理由：安全审计结果支撑 safetensors 成为 transformers 默认依赖与默认保存格式，并给出后续迁移节奏。
Hugging Face BlogAI 评分3232 Q8-Chat：在 Xeon 上高效运行生成式 AI，模型更小反而更好
Intel 用 SmoothQuant 将 OPT、LLaMA、Alpaca、Vicuna、BloomZ、MPT-7B-chat 等大语言模型量化为 8-bit（INT8），模型体积缩小约 2 倍，多数评测指标不降反升，仅单项任务出现超过 3% 的相对退化。
Hugging Face BlogAI 评分3131 Databricks 与 Hugging Face 合作：Spark 数据集加载提速超 40%
Databricks 向 Hugging Face 代码库提交首个官方贡献，新增 Datasets 的 `from_spark` 函数，让用户直接把 Apache Spark dataframe 映射为 Hugging Face Dataset，省去先写 Parquet 再重新加载的步骤。
Hugging Face BlogAI 评分1919 Hugging Face Hub 改进 Jupyter Notebook 托管与渲染支持
Hugging Face Hub 现已支持 Jupyter Notebook 的渲染，notebook 将以人类可读的格式展示，此前直接查看的是 ipynb 的 JSON 源文件。Hub 上已托管超过 7,000 个 notebook，以及 150,000 个模型、25,000 个数据集和 30,000 个 ML 应用。notebook 还支持在 Google Colab 中一键直接打开。
Hugging Face BlogAI 评分1919 HF Mirror 如何加速 Witty Works 写作助手的开发
HF Mirror 专家加速计划帮助 Witty Works 将包容性写作助手的非包容性词汇分类器从 BERT 词嵌入切换到 Sentence Transformers 句嵌入，并采用 SetFit 少样本微调，每个词仅需 15-20 条标注句子即可达到可用效果，省去大规模标注成本。
Hugging Face BlogAI 评分4747 Hugging Face 发布 Swift 🧨Diffusers 1.1：Mac 原生 Stable Diffusion 应用提速至多两倍
Hugging Face 在 Mac App Store 上线 🧨Diffusers for Mac 1.1，将社区贡献的 SoTA 文生图模型转换为 Core ML，可同时调用 CPU、GPU 和 Neural Engine，部分 Mac 上生成速度最高提升至两倍。
Hugging Face BlogAI 评分5858 Hugging Face 在 Transformers 中集成 SpeechT5 语音模型
Hugging Face 宣布 SpeechT5 正式集成进 Transformers，官方权重已发布在 HF Mirror Hub，并提供语音合成、音色转换和语音识别三个在线 demo。
Hugging Face BlogAI 评分2626 Hugging Face 推出 AI vs. AI：深度强化学习多智能体竞赛系统
Hugging Face 发布开源工具 AI vs. AI，在 Spaces 上托管多智能体竞赛，用 ELO 评分系统对提交到 Hub 的强化学习模型进行相对排名，新模型起始分为 1200。
Hugging Face BlogAI 评分3131 Hugging Face 发布模型卡创建工具与指南
Hugging Face 推出模型卡创建工具（GUI，无需编程或 Markdown）与模型卡指南，并更新 huggingface_hub 库中的模型卡模板、发布注释版模板、用户研究和文献综述。新模板统一了 HF 模型卡的结构与默认提示文本，重点覆盖偏见、风险与局限部分。
Hugging Face BlogAI 评分2626 Bumblebee 发布：GPT2 到 Stable Diffusion 模型进入 Elixir 生态
Elixir 社区推出 Bumblebee 库，用纯 Elixir 实现 Hugging Face Transformers，让 GPT2 到 Stable Diffusion 等模型可在 Elixir 中运行。
Hugging Face BlogAI 评分2626 Hugging Face 推理方案概览：Inference Widget、Inference API、Inference Endpoints 与 Spaces
Hugging Face 梳理了平台上的推理方案：模型页内置 Inference Widget 可一键测试模型，免费 Inference API 用单条 HTTP 请求即可加载任意模型预测，因限流不适合生产。
Hugging Face BlogAI 评分3636 Hugging Face Spaces 与 arXiv 集成，论文页面新增 Demo 标签页
Hugging Face Spaces 与 arXiv 达成合作，通过 arXivLabs 在论文页面加入 Demo 标签页，用户可直接跳转社区或作者创建的开源演示。该标签页会列出论文相关的最热门 demo，例如 BERT 论文页面可找到 200 多个社区构建的演示。Spaces 自 2021 年 10 月上线以来已累计托管超过 12,000 个开源机器学习 demo。
Hugging Face BlogAI 评分2929 Hugging Face 公布新定价：Inference API 付费层下线，推出 Inference Endpoints
Hugging Face 调整定价，下线 Inference API 的 Paid 付费层，该 API 仍对所有人免费开放，同时推荐需要快速企业级推理的用户使用新的 Inference Endpoints。Spaces 也获得硬件升级，可自选硬件运行 ML demo，这些服务无需订阅，只需在计费设置中绑定信用卡。所有付费服务按月月初扣费，并提供汇总发票。