Hugging Face 详解混合专家模型（MoE）：从 Mixtral 8x7B 说起
Hugging Face 发布混合专家（MoE）模型科普长文，结合 Mixtral 8x7B 的发布梳理 MoE 的构成、训练与推理权衡。MoE 用稀疏 MoE 层替换 Transformer 的 FFN 层，由路由器决定 token 分配到哪些专家，预训练更快、推理快于同等参数量的稠密模型，但需高显存，如 Mixtral 8x7B 需容纳 47B 参数。
#部署/工程
#部署/工程
今日 12 条Hugging Face BlogAI 评分4747
Hugging Face BlogAI 评分5353 Hugging Face 如何让 LoRA 推理提速 300%
Hugging Face 在 Inference API 中实现 LoRA 动态加载，按用户请求切换 Stable Diffusion LoRA 适配器并保持基础模型常驻，把 LoRA 预热时间从 25s 降至 3s，用户响应时间从 35s 降至 13s。
Hugging Face BlogAI 评分5353 Hugging Face 与 AMD 合作：Transformers 与 TGI 实现 AMD GPU 开箱即用加速
Hugging Face 与 AMD 推进合作，现已支持在 AMD Instinct GPU 上无需修改代码运行全部 Transformers 模型和任务，并初步支持 Text Generation Inference（TGI）在 MI210、MI250 上部署。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 Optimum-NVIDIA，一行代码将 LLM 推理提速至多 28 倍
Hugging Face 发布 Optimum-NVIDIA 推理库，在 NVIDIA 平台上只需把 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可获得最高 28 倍吞吐提升和 1200 token/秒的速度。
推荐理由：原文给出单行代码替换的接入方式和首 token 延迟、吞吐的对比数据，读者可据此判断自身部署的提速空间。
Hugging Face BlogAI 评分3737 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 做文本生成，可通过 Neuron DLAMI 使用或手动安装。官方在 hub 上传了 Llama 2 7B 和 13B 的预编译版本，按预算、延迟、吞吐三种配置编译，最大序列长度 2048，支持贪心搜索与 top-k、top-p 采样。
Hugging Face BlogAI 评分1717 Hugging Face Hub 推出存储区域（Storage Regions）功能
Hugging Face 在 Enterprise Hub 套餐中上线 Storage Regions，企业可自选模型和数据集的存储位置，目前支持 US 和 EU，Asia-Pacific 即将推出。非默认区域的 repo 会显示 Region 标签，便于成员查看。Hugging Face 称，欧洲团队把仓库放在 EU 区域，上传和下载速度约为存放在 US 时的 4-5 倍。
Hugging Face Blog精选AI 评分6262 Personal Copilot：如何训练自己的代码助手
Hugging Face 博客介绍了 HugCoder 的构建流程，用 top 10 公开仓库代码微调 StarCoder，使其补全自家代码库。
推荐理由：完整给出从代码数据采集到 QLoRA 微调 StarCoder、再接入 VS Code 的全流程与成本对比，可迁移到自有代码库。
Hugging Face BlogAI 评分2828 用 HF Mirror Inference Endpoints 部署嵌入模型
Hugging Face 发文介绍如何用 Text Embeddings Inference（TEI）将开源嵌入模型部署到 HF Mirror Inference Endpoints，并支持大规模批量请求。
Hugging Face BlogAI 评分4747 Hugging Face 探索 SDXL 的简单推理优化方法
Hugging Face 在 A100（40GB）上测试了 Stable Diffusion XL 的推理优化：原始全精度管线占用 28GB 显存、耗时 72.2 秒。改用 fp16 后降至 21.7GB、14.8 秒，叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒，再用 torch.compile 包装 UNet 可缩短至 10.2 秒。
Hugging Face BlogAI 评分5757 Gradio-Lite 发布：让 Gradio 应用完全在浏览器中无服务器运行
Gradio 发布 @gradio/lite，一个借助 Pyodide 把 Gradio 应用直接跑在浏览器里的 JavaScript 库，无需服务端基础设施。
Hugging Face BlogAI 评分3232 HF Mirror 上超 13 万个模型接入 ONNX Runtime 加速
HF Mirror 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 90 多个模型架构，包括上传量最高的 11 种架构如 BERT、GPT2、DistilBERT、RoBERTa、T5 等。以 whisper-tiny 为例，使用 ONNX Runtime 加速后平均单次推理延迟相比 PyTorch 最高提升 74.30%。
Hugging Face BlogAI 评分5050 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 Stable Diffusion XL 推理，借助 XLA 与 JIT 编译实现高性能、低成本部署。官方 demo 跑在多个 TPU v5e-4 实例上，约 4 秒并行输出四张 1024×1024 图像，实际生成时间约 2.3s；TPU v5e 成本不到 TPU v4 的一半。
Hugging Face BlogAI 评分2424 如何用 Inference API 部署 AI Comic Factory
用 HF Mirror 的 Inference API 可把 AI Comic Factory 部署到自己的私有 Space，避免排队等太久。
Hugging Face BlogAI 评分3838 非工程师指南：零代码训练 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示非工程师如何零代码构建开源 ChatGPT：用 LLaMA 2 基础模型，经 AutoTrain 在 Alpaca 指令数据集上微调，再通过 ChatUI 部署成可分享的聊天应用。全程仅需三步，在 Spaces 上以 Docker 模板部署 AutoTrain 和 ChatUI，7b 模型训练选用 A10G Large 即可。
Hugging Face BlogAI 评分3131 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上配合 HF Mirror LLM Inference Container 的部署做了覆盖 60 种配置的基准测试，评测 7B、13B、70B 三种规模，分别测试 1/5/10/20 并发请求和 GPTQ 4-bit 量化。
Hugging Face BlogAI 评分5050 Hugging Face 为 PRO 用户推出 Inference for PROs 专属 API
Hugging Face 为 PRO 用户推出 Inference for PROs，提供 Meta Llama 3 Instruct、Mixtral 8x7B Instruct、Code Llama、Stable Diffusion XL、Bark 等精选模型的专属 API 端点，并享受更高速率限制。
Hugging Face BlogAI 评分1919 Rocket Money 借助 HF Mirror Inference API 在生产环境扩展易变 ML 模型
Rocket Money 将其交易分类系统从正则表达式迁移到 BERT 系列模型，用于处理每月超 1 亿笔、负载突发的交易。团队用 Retool 搭建标注队列与漂移检测工具，并设计了覆盖 4000+ 类别的离线评测体系。经过三个月评估，Rocket Money 选择 HF Mirror Inference API 托管模型，以在缺少 MLOps 团队的情况下实现高可用、动态扩缩容与低延迟推理。
Hugging Face BlogAI 评分5050 Hugging Face 详解如何优化 LLM 生产环境部署
Hugging Face 发布博客，梳理在生产环境高效部署 LLM 的三类关键技术：8-bit 和 4-bit 低精度、Flash Attention，以及 Alibi、Rotary embeddings、Multi-Query Attention（MQA）和 Grouped-Query-Attention（GQA）等架构改进。
Hugging Face BlogAI 评分4848 使用 PyTorch FSDP 微调 Llama 2 70B 的实践指南
Hugging Face 发布博客，介绍如何用 PyTorch FSDP 结合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，硬件为 2 节点共 16 张 A100 80GB。
Hugging Face BlogAI 评分4141 Hugging Face Transformers 原生支持的量化方案概览：bitsandbytes 与 auto-gptq 对比
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者免校准、开箱即用且支持 8-bit 与 4-bit，后者文本生成更快、最高可量化至 2 bit（推荐 4 bit）并支持 AMD GPU。bitsandbytes 4-bit 模型暂不支持序列化，而 auto-gptq 需要校准数据集，目前仅支持语言模型。
Hugging Face BlogAI 评分2828 Hugging Face 对比 SafeCoder 与闭源代码助手
Hugging Face 发文对比企业级代码助手 SafeCoder 与 GitHub Copilot、Amazon CodeWhisperer 等闭源服务。SafeCoder 基于 155 亿参数的 StarCoder 模型，支持 80 多种编程语言、8192 token 上下文窗口和 fill-in-the-middle，使用 Docker 容器，可本地或云端部署并完全离线运行。
Hugging Face BlogAI 评分1212 Fetch 借助 Amazon SageMaker 与 HF Mirror 将 ML 处理延迟降低 50%
Fetch 在 Amazon SageMaker 上结合 HF Mirror 的 AWS Deep Learning Container 与 SageMaker HF Mirror Inference Toolkit 优化收据扫描 ML 流水线，每周处理超 8000 万张收据，最慢扫描延迟降低 50%，文档理解模型准确率提升 200%。
Hugging Face BlogAI 评分3030 Hugging Face 用 Diffusers 加速 AudioLDM 2，推理提速超 10 倍
Hugging Face 在 🧨 Diffusers 中优化 AudioLDM 2 文本到音频生成，通过半精度、flash attention、编译以及调度器和负向提示词等优化，将推理时间缩短 10 倍以上，原需 30 秒以上的 10 秒音频样本现可 1 秒生成，音质下降极小。
Hugging Face Blog精选AI 评分6565 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 2 至 8 bit 量化
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度并直接运行，4-bit 量化精度损失可忽略，小批量推理速度与 fp16 基线相当。
推荐理由：原文给出 GPTQ 量化接入 Transformers 后的精度、显存与推理延迟对比数据，可作为本地部署选型参考。
Hugging Face BlogAI 评分4242 Hugging Face 推出企业级自托管代码助手 SafeCoder
Hugging Face 发布 SafeCoder，一套面向企业的端到端自托管代码助手方案，核心是 StarCoder 系列代码大模型。它并非模型本身，而是让客户在自己的基础设施上微调并部署专有 Code LLM，训练与推理阶段代码都不离开客户 VPC。
Hugging Face BlogAI 评分2222 Hugging Face Hub 上线 AWS Marketplace：可用 AWS 账户直接付费
Hugging Face Hub 已登陆 AWS Marketplace，用户可通过 AWS 账户订阅并支付 Hugging Face 的使用费用。订阅后，Inference Endpoints、Spaces 硬件升级和 AutoTrain 等组织内服务费用将直接计入 AWS 账单，企业需以 admin 角色将组织账户与 AWS 账户连接。
Hugging Face BlogAI 评分2929 用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型：将各 Stage 模型下载至 BentoML Model Store，用 service.py 定义 Service 与 Runners，打包成 Bento 后部署。
Hugging Face BlogAI 评分3636 如何用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布实战教程，演示如何用 Transformers、Optimum 和 Accelerate 库优化 Suno AI 的文本转语音模型 Bark。基准测试中，未优化的 suno/bark-small 在 5 次生成迭代下平均耗时 9.38 秒，峰值显存占用 1.91 GB。教程涵盖 Bark 的 4 个核心模型架构解析、多种优化技术对比及 benchmark 结果展示。
Hugging Face BlogAI 评分5858 Hugging Face 发布 swift-transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers，一个在 Swift 中实现类 transformers API 的包，同时开源 swift-chat 演示应用、更新版 exporters 与 transformers-to-coreml 转换工具，并提供 Llama 2 7B、Falcon 7B 等已转换模型。
Hugging Face BlogAI 评分2828 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程，介绍如何通过 custom handler 在 Inference Endpoints 上部署 facebook/musicgen-large，实现文本提示词生成音乐。
Hugging Face BlogAI 评分2929 Zama 用全同态加密（FHE）在加密数据上运行 GPT2 推理
Zama 展示了如何基于 HF Mirror transformers 库，用全同态加密（FHE）与 Concrete-Python 改造 GPT2 的推理流程，让多注意力头的一部分计算在加密数据上由服务器完成，从而同时保护用户数据隐私与模型 IP。
Hugging Face BlogAI 评分5050 Segmind 开源 SD-Small 与 SD-Tiny 蒸馏代码及权重
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码，两者参数量分别比基础模型减少 35% 和 55%，图像保真度接近原模型。模型以 Realistic-Vision 4.0 为教师模型，在 LAION Art Aesthetic 数据集上训练，推理速度最高快 100%。权重和代码均已发布在 Hugging Face。
Hugging Face Blog精选AI 评分6262 Stable Diffusion XL 登陆 Mac：Core ML 混合位量化实现 71% 体积压缩
Hugging Face 与 Apple 合作将 Stable Diffusion XL 基础模型移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地出图，目前仅支持原始注意力实现，refiner 阶段尚未移植。
推荐理由：原文给出了 SDXL 在 Apple Silicon 上的实测延迟与混合位量化配方，可据此判断本地出图的速度与体积取舍。
Hugging Face BlogAI 评分3636 如何在 Intel CPU 上微调 Stable Diffusion 模型
Hugging Face 展示了在 Intel Sapphire Rapids CPU 集群上微调 Stable Diffusion 模型的方法，使用 textual inversion 技术仅需 5 张示例图片即可完成训练。
Hugging Face BlogAI 评分4545 用 Transformers.js 打造 ML 驱动的网页游戏 Doodle Dash
Hugging Face 发布教程，演示如何用 Transformers.js 在浏览器本地实时运行机器学习模型，做出涂鸦猜词游戏 Doodle Dash。游戏基于 Google Quick, Draw!
Hugging Face BlogAI 评分3232 用 Hugging Face Inference Endpoints 部署 LLM：Falcon 40B 实战与流式响应
Hugging Face Inference Endpoints 可几键将 Falcon 40B instruct 等开源 LLM 部署为生产 API，支持自动扩缩容与缩容到零。
Hugging Face BlogAI 评分2525 用开源 ML 模型打造 Web 应用生成器
Hugging Face 发布教程，用 NodeJS 搭配 WizardCoder-15B 与 Inference Endpoints API 构建 AI 网页应用生成器，通过流式输出边生成边渲染 HTML。
Hugging Face BlogAI 评分1313 Writer 如何借助 HF Mirror 应对复杂生成式 AI 用例
HF Mirror 对话 Writer 联合创始人兼 CTO Waseem Alshikh，回顾其从 HF Mirror 用户、客户到开源模型贡献者的历程。对话涉及 Writer 的创业初衷、当下生成式 AI 的最大误解，以及其在 CPU 和 GPU 上规模化部署 LLM 的生产实践与效率考量。
Hugging Face BlogAI 评分3434 Habana Gaudi2 如何加速 BridgeTower 视觉语言模型微调
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 视觉语言模型，相比 A100 提速 2.5 倍，相比 H100 提速 1.4 倍。
Hugging Face Blog精选AI 评分6363 如何在 iPhone、iPad 和 Mac 上通过 Core ML 加速 Stable Diffusion
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重，使模型更小、推理更快、内存占用更低。
推荐理由：原文给出 6-bit palettization 的量化收益与指标，并附自定义模型转换命令，可据此复现端侧部署与提速。