把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
Hugging Face 与 Apple 合作将 Stable Diffusion XL 基础模型移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地出图，目前仅支持原始注意力实现，refiner 阶段尚未移植。
推荐理由：原文给出了 SDXL 在 Apple Silicon 上的实测延迟与混合位量化配方，可据此判断本地出图的速度与体积取舍。
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重，使模型更小、推理更快、内存占用更低。
推荐理由：原文给出 6-bit palettization 的量化收益与指标，并附自定义模型转换命令，可据此复现端侧部署与提速。
Hugging Face 发布博客介绍阿布扎比 TII 以 Apache 2.0 开源的 Falcon 系列模型，包括 Falcon-40B 和 Falcon-7B 及其 Instruct 版本，并给出在 HF 生态中运行与微调的具体做法。
推荐理由：HF 官方给出 Falcon 40B/7B 从推理、量化到 QLoRA 微调的可复用命令与显存要求，便于在自己硬件上复现。
Hugging Face 博客介绍了结合 OpenVINO NNCF 量化感知训练、知识蒸馏与 Token Merging 优化 Stable Diffusion 的工作流，在 Intel CPU 上实现相比 PyTorch 5.1 倍推理加速和 4 倍模型体积缩减。
推荐理由：Intel 与 Hugging Face 给出了在 CPU 上压缩 Stable Diffusion 的完整工作流，附推理代码与可复现的量化流程。
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持 4-bit 量化加载模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练 LoRA 适配器。
推荐理由：Hugging Face 与 bitsandbytes 集成在 transformers 中开放 4-bit 量化，并给出可直接复用的加载与微调配置。
Hugging Face 博客介绍 RWKV，一种融合 RNN 与 Transformer 优势的架构，已被集成进 transformers 库。
推荐理由：原文把 RWKV 在推理速度与显存上的取舍讲清楚，适合想了解 RNN 与 Transformer 混合架构的人参考。
Hugging Face 发布辅助生成（Assisted Generation）解码方法，用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token，再由主模型一次前向验证，正确候选被保留，首个不一致处由主模型重新生成。
推荐理由：Hugging Face 官方给出了辅助生成在 Transformers 中的调用方式与实测延迟数据，读者可据此判断自回归解码能否借小模型降延迟。
Hugging Face 介绍 Accelerate 如何借助 PyTorch 在 RAM 或单卡 GPU 都放不下模型的情况下加载并推理超大语言模型。
推荐理由：拆解了 Accelerate 借助 meta device、sharded checkpoint 和设备映射在有限显存下跑大模型的完整机制。
Hugging Face 联合 BigScience 将 LLM.int8() 8 位矩阵乘法量化集成到 transformers 和 accelerate，声称在 BLOOM-176B、OPT-175B 等模型上推理性能无下降，显存占用减半，例如 BLOOM-176B 只需 4 张 80GB A100 而非 8 张。
推荐理由：Hugging Face 与 bitsandbytes 合作把 LLM.int8() 落入 transformers，读者可了解大模型量化省显存的条件与代价。