Hugging Face 发布 diffusers 版 SDXL LoRA 高级训练脚本
Hugging Face 发布 SDXL LoRA 高级训练脚本，把 Pivotal Tuning 与 Prodigy 优化器等社区 SOTA 做法整合进 diffusers，并提供 Colab 与带 UI 的训练 Space。
推荐理由：整理 SDXL Dreambooth LoRA 微调的社区最佳实践，包括 Pivotal Tuning、Prodigy 优化器与数据集构建等可复用方法。
#图像生成
#图像生成
今日 0 条Hugging Face Blog精选AI 评分6161
Hugging Face BlogAI 评分5353 Hugging Face 如何让 LoRA 推理提速 300%
Hugging Face 在 Inference API 中实现 LoRA 动态加载，按用户请求切换 Stable Diffusion LoRA 适配器并保持基础模型常驻，把 LoRA 预热时间从 25s 降至 3s，用户响应时间从 35s 降至 13s。
Hugging Face Blog精选AI 评分8080 用 Latent Consistency LoRA 让 SDXL 4 步出图
Hugging Face 发布 LCM LoRA，把 SDXL 的推理步数从 25 到 50 步降到 4 到 8 步，方法是不蒸馏整个模型，只训练少量 LoRA 适配器，再配合 LCMScheduler 使用。
推荐理由：原文给出了 LCM LoRA 的原理、代码和跨硬件基准，读者可据此评估在现有 SDXL 流程中提速的可行性。
Hugging Face BlogAI 评分4747 Hugging Face 探索 SDXL 的简单推理优化方法
Hugging Face 在 A100（40GB）上测试了 Stable Diffusion XL 的推理优化：原始全精度管线占用 28GB 显存、耗时 72.2 秒。改用 fp16 后降至 21.7GB、14.8 秒，叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒，再用 torch.compile 包装 UNet 可缩短至 10.2 秒。
Hugging Face BlogAI 评分5050 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 Stable Diffusion XL 推理，借助 XLA 与 JIT 编译实现高性能、低成本部署。官方 demo 跑在多个 TPU v5e-4 实例上，约 4 秒并行输出四张 1024×1024 图像，实际生成时间约 2.3s；TPU v5e 成本不到 TPU v4 的一半。
Hugging Face BlogAI 评分3434 Hugging Face TRL 集成 DDPOTrainer，用强化学习微调 Stable Diffusion
Hugging Face 在 TRL 库中新增 DDPOTrainer，让开发者能用 DDPO 算法配合强化学习微调 Stable Diffusion 等扩散模型，使其输出更符合人类审美偏好。
Hugging Face BlogAI 评分5656 3D Gaussian Splatting 入门：原理与图形学前景
Hugging Face 博客发布《Introduction to 3D Gaussian Splatting》，介绍这一出自论文 3D Gaussian Splatting for Real-Time Radiance Field Rendering 的栅格化技术，可从少量图像样本学习并实时渲染出照片级场景。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Würstchen：快速图像生成扩散模型
Würstchen 是 Hugging Face 推出的文本条件扩散模型，在高度压缩的潜空间中工作，实现 42x 空间压缩，远高于常见的 4x-8x。
推荐理由：原文给出 42x 空间压缩与训练算力对比，读者可据此判断低成本图像生成模型的效率边界。
Hugging Face Blog精选AI 评分6363 Diffusers 为 SDXL 加入 T2I-Adapter 可控生成支持
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中为 Stable Diffusion XL（SDXL）加入 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 等多种条件的 checkpoint。
推荐理由：Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 适配器接入 diffusers，并给出从零训练的配置与参数对比，便于读者评估可控生成的开销与接入方式。
Hugging Face BlogAI 评分2929 用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型：将各 Stage 模型下载至 BentoML Model Store，用 service.py 定义 Service 与 Runners，打包成 Bento 后部署。
Hugging Face BlogAI 评分4242 实用 3D 资产生成：用 Shap-E 与 Dream Textures 逐步搭建 PS1 风格模型
这是一份把生成式 AI 接入 PS1 风格 3D 工作流的实操指南，用 OpenAI 开源扩散模型 Shap-E 从文本生成模型，再在 Blender 3.1+ 中用 Decimate 修改器降面、用 Dream Textures 插件生成无缝贴图并完成 UV 展开，最后导出 FBX 导入 Unity。
Hugging Face BlogAI 评分5050 Segmind 开源 SD-Small 与 SD-Tiny 蒸馏代码及权重
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码，两者参数量分别比基础模型减少 35% 和 55%，图像保真度接近原模型。模型以 Realistic-Vision 4.0 为教师模型，在 LAION Art Aesthetic 数据集上训练，推理速度最高快 100%。权重和代码均已发布在 Hugging Face。
Hugging Face Blog精选AI 评分6262 Stable Diffusion XL 登陆 Mac：Core ML 混合位量化实现 71% 体积压缩
Hugging Face 与 Apple 合作将 Stable Diffusion XL 基础模型移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地出图，目前仅支持原始注意力实现，refiner 阶段尚未移植。
推荐理由：原文给出了 SDXL 在 Apple Silicon 上的实测延迟与混合位量化配方，可据此判断本地出图的速度与体积取舍。
Hugging Face BlogAI 评分2929 Hugging Face Diffusers 一周年：从文生图到视频、3D 与更快推理
Hugging Face 的 Diffusers 库迎来一周年，已从文生图工具箱扩展出视频、3D 与图像编辑能力。
Hugging Face BlogAI 评分3636 如何在 Intel CPU 上微调 Stable Diffusion 模型
Hugging Face 展示了在 Intel Sapphire Rapids CPU 集群上微调 Stable Diffusion 模型的方法，使用 textual inversion 技术仅需 5 张示例图片即可完成训练。
Hugging Face BlogAI 评分2222 Hugging Face 伦理与社会通讯第4期：文本到图像模型中的偏见
文本到图像（TTI）生成模型正大量上传至 Hugging Face Hub，其偏见来源多样。Hugging Face 梳理了训练数据（如 LAION-5B、MS-COCO、VQA v2.0）、预训练数据过滤、推理（CLIP 的年龄、性别、种族偏见）、模型潜在空间及事后过滤等偏见来源，并列举了 Stable Bias 等检测工具与红队评估方法。
Hugging Face Blog精选AI 评分6363 如何在 iPhone、iPad 和 Mac 上通过 Core ML 加速 Stable Diffusion
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重，使模型更小、推理更快、内存占用更低。
推荐理由：原文给出 6-bit palettization 的量化收益与指标，并附自定义模型转换命令，可据此复现端侧部署与提速。
Hugging Face BlogAI 评分1010 Hugging Face 宣布首届开源 AI Game Jam：7 月 7-9 日举办
Hugging Face 宣布举办首届 Open Source AI Game Jam，活动时间为 7 月 7 日至 9 日，参赛者需在周末内做出一款游戏。作品须可运行于网页或 Windows，并至少使用一个开源 AI 工具，如 Stable Diffusion 可用于纹理生成、NPC 和文本转语音。任何人可个人或组队免费参加，作品按趣味性、创意和主题评分。
Hugging Face BlogAI 评分3838 Hugging Face 用 InstructPix2Pix 对 Stable Diffusion 做指令微调
Hugging Face 探索用指令微调让 Stable Diffusion 按指令处理输入图像，方法基于 InstructPix2Pix 的训练策略，并结合 FLAN 的指令模板思路构建数据集。
Hugging Face BlogAI 评分3333 深入解析文本到视频模型：从 GAN 到扩散模型的发展与挑战
文本到视频模型正沿文本到图像的技术路径演进：早期用 GAN 与 VAE 自回归生成帧，第二代转向 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 架构，当前第三代则以扩散模型为主。
Hugging Face BlogAI 评分4848 如何在免费版 Google Colab 上用 🧨 diffusers 运行 IF 文生图模型
DeepFloyd 的像素级文生图模型 IF 可在免费版 Google Colab 上通过 🧨 diffusers 运行，T5-XXL 文本编码器经 bitsandbytes 8bit 量化后仅需约 8GB 显存即可加载。IF 直接在像素空间去噪并以 T5-XXL 替代 CLIP 作为文本编码器，擅长生成人脸、手部等高频细节，也是首个能可靠生成图像文字的開源图像生成模型。
Hugging Face BlogAI 评分4040 在 Intel CPU 上加速 Stable Diffusion 推理
Hugging Face 展示如何用 Optimum Intel 与 OpenVINO 在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理。
Hugging Face BlogAI 评分2020 用 diffusers 训练你自己的 ControlNet
Hugging Face 发布教程，介绍如何用 diffusers 训练 ControlNet。整个流程分三步：确定条件类型、构建含 ground truth image。
Hugging Face Blog精选AI 评分7878 Diffusers 集成 ControlNet：StableDiffusionControlNetPipeline 使用教程
Hugging Face 博客介绍 Diffusers 中的 StableDiffusionControlNetPipeline，并演示用 Canny、OpenPose 等条件控制 Stable Diffusion 生成图像。
推荐理由：官方教程给出 ControlNet 在 Diffusers 中的完整用法，并配可运行代码与显存推理耗时对比，便于复现其各类条件控制。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Diffusers 库伦理准则
Hugging Face 为 Diffusers 库发布了一套伦理框架，用于指导维护者处理社区贡献时的技术决策。该准则明确了透明、一致性、简洁、无障碍、可复现与责任等价值观，并列举了社区讨论区、"Not For All Eyes"标签、Stable Diffusion 偏见探索 Space、Safe Stable Diffusion、Hub 分阶段发布及 OpenRAILs 许可等安全机制。
Hugging Face BlogAI 评分4747 Hugging Face 发布 Swift 🧨Diffusers 1.1：Mac 原生 Stable Diffusion 应用提速至多两倍
Hugging Face 在 Mac App Store 上线 🧨Diffusers for Mac 1.1，将社区贡献的 SoTA 文生图模型转换为 Core ML，可同时调用 CPU、GPU 和 Neural Engine，部分 Mac 上生成速度最高提升至两倍。
Hugging Face BlogAI 评分2727 HF Mirror 计算机视觉现状：8 大任务、3000+ 模型与 100+ 数据集
HF Mirror 回顾其计算机视觉生态：已支持图像分类、图像分割、零样本目标检测、视频分类、深度估计等 8 个核心视觉任务，Hub 上相关模型超过 3000 个、数据集超过 100 个，且每个任务至少有 10 个模型 checkpoint 可供使用。
Hugging Face BlogAI 评分3434 2D 资产生成：用 Stable Diffusion 做游戏开发 #4
在 AI for Game Development 系列第 4 天，Hugging Face 展示如何把 Stable Diffusion 的 Image2Image 作为工具嵌入传统 2D 美术流程，用来生成农场游戏图标。
Hugging Face Blog精选AI 评分8282 用 LoRA 高效微调 Stable Diffusion：diffusers 支持与实测流程
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持，可在 11 GB 显存的 2080 Ti 上训练 Stable Diffusion，微调权重文件仅约 3 MB，比 UNet 原模型小约一千倍。
推荐理由：以 11 GB 显存训 Stable Diffusion 的完整命令与推理代码为例，展示 LoRA 把微调权重压到 3 MB 的可行路径。
Hugging Face BlogAI 评分1717 3D 资产生成：AI 游戏开发实战（第 3 天）
在“AI for Game Development”系列第 3 天，作者指出 text-to-3D 目前还无法真正用于游戏开发：DreamFusion、Point-E、CLIP-NeRF 等方案多基于视角合成，产出的 mesh 不能直接用于游戏，需要大量人工后处理。作者因此在本作中直接用不同颜色的方块代表农作物，并认为未来突破点在于 NeRF-to-mesh 与 mesh 生成的改进。
Hugging Face BlogAI 评分3636 用 Mask2Former 和 OneFormer 实现通用图像分割
Mask2Former 和 OneFormer 两个 SOTA 图像分割神经网络现已加入开源库 🤗 transformers。OneFormer 只需在 panoptic 版本数据集上训练一次，即可在实例、语义和全景分割三项任务上取得 SOTA，并已支持 Swin Transformer 或 DiNAT 作为 backbone，但额外的文本编码器带来更高延迟。
Hugging Face BlogAI 评分3030 用 Hugging Face Datasets 和 Transformers 构建图像相似度系统
基于 🤗 Transformers 和 Datasets 可搭建图像相似度检索系统，用 ViT 模型（nateraw/vit-base-beans）提取图像嵌入向量，再以余弦相似度找出与查询图最接近的候选图。
Hugging Face BlogAI 评分2424 AI 游戏开发：5 天用 Stable Diffusion 和 Unity 做出一款农场游戏（Part 1）
Hugging Face 博客推出「AI for Game Development」系列，演示 5 天内用 AI 工具做出完整农场游戏，第一部分讲美术风格。
Hugging Face BlogAI 评分4343 用 CLIPSeg 实现零样本图像分割
Hugging Face 发布指南，介绍如何通过 transformers 使用 CLIPSeg 零样本图像分割模型。CLIPSeg 在冻结的 CLIP 之上训练 Transformer 解码器，能生成粗略分割掩码，可用于机器人感知与图像修复；其输入为 352 x 352 像素，输出分辨率较低，需要更精细结果时可在 Segments.ai 上微调优化。
Hugging Face Blog精选AI 评分6969 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
借助苹果工程师提供的转换脚本和基于 Diffusers 的推理代码，Stable Diffusion 现在可以在 Apple Silicon 上用 Core ML 运行，Hugging Face 已代为转换权重并上传到 Hub，提供 v1.4、v1.5、v2 base、v2.1 base 四个 checkpoint。
推荐理由：借助苹果工程师的转换脚本，读者可以了解在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的权重下载与推理命令。
Hugging Face BlogAI 评分3232 VQ-Diffusion：面向离散隐空间的扩散模型与 Diffusers 使用指南
VQ-Diffusion 是中国科学技术大学与微软提出的条件隐空间扩散模型，其加噪与去噪过程在由离散向量构成的量化隐空间上进行，有别于主流连续扩散模型。模型采用冻结的 VQ-VAE（VQGAN 变体）将图像编码为离散 token，并用编码器-解码器 Transformer 一次性预测去噪后隐变量的分布。
Hugging Face BlogAI 评分3535 Hugging Face 扩散模型课程 11 月 28 日上线，11 月 30 日举办直播社区活动
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日免费发布，讲解扩散模型的理论与应用。
Hugging Face BlogAI 评分4444 用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的调参经验
Hugging Face 的 Diffusers 提供了 Dreambooth 训练脚本，用于给 Stable Diffusion 注入新概念。实验发现人脸训练需要更多步数，batch size 为 2、LR 为 1e-6 时 800-1200 步效果较好，且 prior preservation 能有效避免人脸过拟合。
Hugging Face BlogAI 评分5050 Stable Diffusion 现已支持 JAX / Flax，可在 TPU 上快速推理
Hugging Face Diffusers 从 0.5.1 版本起支持 Flax，Stable Diffusion 由此可在 Google TPU 上进行推理，每个 TPU 服务器有 8 个加速器并行工作，可同时生成 8 张图像。
Hugging Face BlogAI 评分4848 rinna 推出 Japanese Stable Diffusion，基于 Stable Diffusion 微调的日语文生图模型
rinna 发布 Japanese Stable Diffusion，通过在约 1 亿张日语标注图像上微调 Stable Diffusion，实现了对日语提示词的直接支持，可生成日式风格图像并理解「salary man」等日语特有词汇和拟声词。