Hugging Face 探索 SDXL 的简单推理优化方法
Hugging Face 在 A100（40GB）上测试了 Stable Diffusion XL 的推理优化：原始全精度管线占用 28GB 显存、耗时 72.2 秒。改用 fp16 后降至 21.7GB、14.8 秒，叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒，再用 torch.compile 包装 UNet 可缩短至 10.2 秒。
#部署/工程
#部署/工程
今日 3 条Hugging Face BlogAI 评分4747
Hugging Face BlogAI 评分5757 Gradio-Lite 发布：让 Gradio 应用完全在浏览器中无服务器运行
Gradio 发布 @gradio/lite，一个借助 Pyodide 把 Gradio 应用直接跑在浏览器里的 JavaScript 库，无需服务端基础设施。
Hugging Face BlogAI 评分3232 HF Mirror 上超 13 万个模型接入 ONNX Runtime 加速
HF Mirror 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 90 多个模型架构，包括上传量最高的 11 种架构如 BERT、GPT2、DistilBERT、RoBERTa、T5 等。以 whisper-tiny 为例，使用 ONNX Runtime 加速后平均单次推理延迟相比 PyTorch 最高提升 74.30%。
Hugging Face BlogAI 评分5050 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 Stable Diffusion XL 推理，借助 XLA 与 JIT 编译实现高性能、低成本部署。官方 demo 跑在多个 TPU v5e-4 实例上，约 4 秒并行输出四张 1024×1024 图像，实际生成时间约 2.3s；TPU v5e 成本不到 TPU v4 的一半。
Hugging Face BlogAI 评分2424 如何用 Inference API 部署 AI Comic Factory
用 HF Mirror 的 Inference API 可把 AI Comic Factory 部署到自己的私有 Space，避免排队等太久。
Hugging Face BlogAI 评分3838 非工程师指南：零代码训练 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示非工程师如何零代码构建开源 ChatGPT：用 LLaMA 2 基础模型，经 AutoTrain 在 Alpaca 指令数据集上微调，再通过 ChatUI 部署成可分享的聊天应用。全程仅需三步，在 Spaces 上以 Docker 模板部署 AutoTrain 和 ChatUI，7b 模型训练选用 A10G Large 即可。
Hugging Face BlogAI 评分3131 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上配合 HF Mirror LLM Inference Container 的部署做了覆盖 60 种配置的基准测试，评测 7B、13B、70B 三种规模，分别测试 1/5/10/20 并发请求和 GPTQ 4-bit 量化。
Hugging Face BlogAI 评分5050 Hugging Face 为 PRO 用户推出 Inference for PROs 专属 API
Hugging Face 为 PRO 用户推出 Inference for PROs，提供 Meta Llama 3 Instruct、Mixtral 8x7B Instruct、Code Llama、Stable Diffusion XL、Bark 等精选模型的专属 API 端点，并享受更高速率限制。
Hugging Face BlogAI 评分1919 Rocket Money 借助 HF Mirror Inference API 在生产环境扩展易变 ML 模型
Rocket Money 将其交易分类系统从正则表达式迁移到 BERT 系列模型，用于处理每月超 1 亿笔、负载突发的交易。团队用 Retool 搭建标注队列与漂移检测工具，并设计了覆盖 4000+ 类别的离线评测体系。经过三个月评估，Rocket Money 选择 HF Mirror Inference API 托管模型，以在缺少 MLOps 团队的情况下实现高可用、动态扩缩容与低延迟推理。
Hugging Face BlogAI 评分5050 Hugging Face 详解如何优化 LLM 生产环境部署
Hugging Face 发布博客，梳理在生产环境高效部署 LLM 的三类关键技术：8-bit 和 4-bit 低精度、Flash Attention，以及 Alibi、Rotary embeddings、Multi-Query Attention（MQA）和 Grouped-Query-Attention（GQA）等架构改进。
Hugging Face BlogAI 评分4848 使用 PyTorch FSDP 微调 Llama 2 70B 的实践指南
Hugging Face 发布博客，介绍如何用 PyTorch FSDP 结合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，硬件为 2 节点共 16 张 A100 80GB。
Hugging Face BlogAI 评分4141 Hugging Face Transformers 原生支持的量化方案概览：bitsandbytes 与 auto-gptq 对比
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者免校准、开箱即用且支持 8-bit 与 4-bit，后者文本生成更快、最高可量化至 2 bit（推荐 4 bit）并支持 AMD GPU。bitsandbytes 4-bit 模型暂不支持序列化，而 auto-gptq 需要校准数据集，目前仅支持语言模型。
Hugging Face BlogAI 评分2828 Hugging Face 对比 SafeCoder 与闭源代码助手
Hugging Face 发文对比企业级代码助手 SafeCoder 与 GitHub Copilot、Amazon CodeWhisperer 等闭源服务。SafeCoder 基于 155 亿参数的 StarCoder 模型，支持 80 多种编程语言、8192 token 上下文窗口和 fill-in-the-middle，使用 Docker 容器，可本地或云端部署并完全离线运行。
Hugging Face BlogAI 评分1212 Fetch 借助 Amazon SageMaker 与 HF Mirror 将 ML 处理延迟降低 50%
Fetch 在 Amazon SageMaker 上结合 HF Mirror 的 AWS Deep Learning Container 与 SageMaker HF Mirror Inference Toolkit 优化收据扫描 ML 流水线，每周处理超 8000 万张收据，最慢扫描延迟降低 50%，文档理解模型准确率提升 200%。
Hugging Face BlogAI 评分3030 Hugging Face 用 Diffusers 加速 AudioLDM 2，推理提速超 10 倍
Hugging Face 在 🧨 Diffusers 中优化 AudioLDM 2 文本到音频生成，通过半精度、flash attention、编译以及调度器和负向提示词等优化，将推理时间缩短 10 倍以上，原需 30 秒以上的 10 秒音频样本现可 1 秒生成，音质下降极小。
Hugging Face Blog精选AI 评分6565 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 2 至 8 bit 量化
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度并直接运行，4-bit 量化精度损失可忽略，小批量推理速度与 fp16 基线相当。
推荐理由：原文给出 GPTQ 量化接入 Transformers 后的精度、显存与推理延迟对比数据，可作为本地部署选型参考。
Hugging Face BlogAI 评分4242 Hugging Face 推出企业级自托管代码助手 SafeCoder
Hugging Face 发布 SafeCoder，一套面向企业的端到端自托管代码助手方案，核心是 StarCoder 系列代码大模型。它并非模型本身，而是让客户在自己的基础设施上微调并部署专有 Code LLM，训练与推理阶段代码都不离开客户 VPC。
Hugging Face BlogAI 评分2222 Hugging Face Hub 上线 AWS Marketplace：可用 AWS 账户直接付费
Hugging Face Hub 已登陆 AWS Marketplace，用户可通过 AWS 账户订阅并支付 Hugging Face 的使用费用。订阅后，Inference Endpoints、Spaces 硬件升级和 AutoTrain 等组织内服务费用将直接计入 AWS 账单，企业需以 admin 角色将组织账户与 AWS 账户连接。
Hugging Face BlogAI 评分2929 用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型：将各 Stage 模型下载至 BentoML Model Store，用 service.py 定义 Service 与 Runners，打包成 Bento 后部署。
Hugging Face BlogAI 评分3636 如何用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布实战教程，演示如何用 Transformers、Optimum 和 Accelerate 库优化 Suno AI 的文本转语音模型 Bark。基准测试中，未优化的 suno/bark-small 在 5 次生成迭代下平均耗时 9.38 秒，峰值显存占用 1.91 GB。教程涵盖 Bark 的 4 个核心模型架构解析、多种优化技术对比及 benchmark 结果展示。
Hugging Face BlogAI 评分5858 Hugging Face 发布 swift-transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers，一个在 Swift 中实现类 transformers API 的包，同时开源 swift-chat 演示应用、更新版 exporters 与 transformers-to-coreml 转换工具，并提供 Llama 2 7B、Falcon 7B 等已转换模型。
Hugging Face BlogAI 评分2828 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程，介绍如何通过 custom handler 在 Inference Endpoints 上部署 facebook/musicgen-large，实现文本提示词生成音乐。
Hugging Face BlogAI 评分2929 Zama 用全同态加密（FHE）在加密数据上运行 GPT2 推理
Zama 展示了如何基于 HF Mirror transformers 库，用全同态加密（FHE）与 Concrete-Python 改造 GPT2 的推理流程，让多注意力头的一部分计算在加密数据上由服务器完成，从而同时保护用户数据隐私与模型 IP。
Hugging Face BlogAI 评分5050 Segmind 开源 SD-Small 与 SD-Tiny 蒸馏代码及权重
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码，两者参数量分别比基础模型减少 35% 和 55%，图像保真度接近原模型。模型以 Realistic-Vision 4.0 为教师模型，在 LAION Art Aesthetic 数据集上训练，推理速度最高快 100%。权重和代码均已发布在 Hugging Face。
Hugging Face Blog精选AI 评分6262 Stable Diffusion XL 登陆 Mac：Core ML 混合位量化实现 71% 体积压缩
Hugging Face 与 Apple 合作将 Stable Diffusion XL 基础模型移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地出图，目前仅支持原始注意力实现，refiner 阶段尚未移植。
推荐理由：原文给出了 SDXL 在 Apple Silicon 上的实测延迟与混合位量化配方，可据此判断本地出图的速度与体积取舍。
Hugging Face BlogAI 评分3636 如何在 Intel CPU 上微调 Stable Diffusion 模型
Hugging Face 展示了在 Intel Sapphire Rapids CPU 集群上微调 Stable Diffusion 模型的方法，使用 textual inversion 技术仅需 5 张示例图片即可完成训练。
Hugging Face BlogAI 评分4545 用 Transformers.js 打造 ML 驱动的网页游戏 Doodle Dash
Hugging Face 发布教程，演示如何用 Transformers.js 在浏览器本地实时运行机器学习模型，做出涂鸦猜词游戏 Doodle Dash。游戏基于 Google Quick, Draw!
Hugging Face BlogAI 评分3232 用 Hugging Face Inference Endpoints 部署 LLM：Falcon 40B 实战与流式响应
Hugging Face Inference Endpoints 可几键将 Falcon 40B instruct 等开源 LLM 部署为生产 API，支持自动扩缩容与缩容到零。
Hugging Face BlogAI 评分2525 用开源 ML 模型打造 Web 应用生成器
Hugging Face 发布教程，用 NodeJS 搭配 WizardCoder-15B 与 Inference Endpoints API 构建 AI 网页应用生成器，通过流式输出边生成边渲染 HTML。
Hugging Face BlogAI 评分1313 Writer 如何借助 HF Mirror 应对复杂生成式 AI 用例
HF Mirror 对话 Writer 联合创始人兼 CTO Waseem Alshikh，回顾其从 HF Mirror 用户、客户到开源模型贡献者的历程。对话涉及 Writer 的创业初衷、当下生成式 AI 的最大误解，以及其在 CPU 和 GPU 上规模化部署 LLM 的生产实践与效率考量。
Hugging Face BlogAI 评分3434 Habana Gaudi2 如何加速 BridgeTower 视觉语言模型微调
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 视觉语言模型，相比 A100 提速 2.5 倍，相比 H100 提速 1.4 倍。
Hugging Face Blog精选AI 评分6363 如何在 iPhone、iPad 和 Mac 上通过 Core ML 加速 Stable Diffusion
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重，使模型更小、推理更快、内存占用更低。
推荐理由：原文给出 6-bit palettization 的量化收益与指标，并附自定义模型转换命令，可据此复现端侧部署与提速。
Hugging Face BlogAI 评分3333 将 Livebook notebook 作为应用部署到 Hugging Face Spaces
Elixir 社区用 Livebook 构建了一款基于 Whisper 的聊天应用，并部署到 Hugging Face Spaces，全程不到 15 分钟。用户只能发送语音消息，由 Whisper 模型自动转成文本，该应用展示了与 Hugging Face Models 的集成、多人机器学习应用以及并发模型服务。
Hugging Face BlogAI 评分3939 HF Mirror 与 AMD 达成硬件合作，为 CPU 和 GPU 平台加速前沿模型
HF Mirror 宣布 AMD 正式加入其硬件合作伙伴计划，双方将在 AMD CPU 和 GPU 上优化 Transformer 模型的训练与推理。GPU 侧先支持企业级 Instinct MI2xx、MI3xx，随后覆盖消费级 Radeon Navi3x；CPU 侧聚焦 Ryzen 与 EPYC 的推理优化，并纳入 Alveo V70 AI 加速器。
Hugging Face BlogAI 评分3636 Hugging Face Hub 支持用 DuckDB 对 5 万+ 数据集运行 SQL 查询
Hugging Face Hub 新增功能，可直接用 DuckDB 对 Hub 上任意公开数据集运行 SQL 查询。数据集查看器会自动把所有公开数据集转换为 Parquet 文件（大数据集按 500MB 分片），用户通过 /parquet 端点获取 URL 后，加载 httpfs 扩展即可查询远程文件。
Hugging Face Blog精选AI 评分7272 Falcon 模型已接入 Hugging Face 生态
Hugging Face 发布博客介绍阿布扎比 TII 以 Apache 2.0 开源的 Falcon 系列模型，包括 Falcon-40B 和 Falcon-7B 及其 Instruct 版本，并给出在 HF 生态中运行与微调的具体做法。
推荐理由：HF 官方给出 Falcon 40B/7B 从推理、量化到 QLoRA 微调的可复用命令与显存要求，便于在自己硬件上复现。
Hugging Face BlogAI 评分4141 Hugging Face 推出面向 Amazon SageMaker 的 LLM 推理容器
Hugging Face 发布 LLM Inference Container（DLC），可在 Amazon SageMaker 上部署开源大模型，底层由 Text Generation Inference（TGI）驱动，支持张量并行、动态批处理和 bitsandbytes 量化等能力。
Hugging Face Blog精选AI 评分6161 用 NNCF 和 Optimum 为 Intel CPU 优化 Stable Diffusion
Hugging Face 博客介绍了结合 OpenVINO NNCF 量化感知训练、知识蒸馏与 Token Merging 优化 Stable Diffusion 的工作流，在 Intel CPU 上实现相比 PyTorch 5.1 倍推理加速和 4 倍模型体积缩减。
推荐理由：Intel 与 Hugging Face 给出了在 CPU 上压缩 Stable Diffusion 的完整工作流，附推理代码与可复现的量化流程。
Hugging Face BlogAI 评分3434 Hugging Face 与微软合作在 Azure 上线 Hugging Face 模型目录
Hugging Face 与微软合作，把 Hugging Face Hub 上的开源模型接入 Azure Machine Learning，推出原生的 Hugging Face Hub 模型目录，包含 Hub 上数千个热门 Transformers 模型。
Hugging Face Blog精选AI 评分8080 Hugging Face 用 bitsandbytes 与 4-bit 量化让 LLM 更易获取
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持 4-bit 量化加载模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练 LoRA 适配器。
推荐理由：Hugging Face 与 bitsandbytes 集成在 transformers 中开放 4-bit 量化，并给出可直接复用的加载与微调配置。