MIT CSAIL 研究:生成图像往往无法追溯到训练数据
MIT CSAIL 团队在 Nature Communications 发表研究,提出“归因衰减”现象:生成模型训练数据越多,单张训练图像、某位艺术家的全部作品或某个人的所有照片对特定输出的影响越小,甚至删除后输出完全不变。
推荐理由:研究提出归因衰减现象并给出精确删除训练样本的方法,为版权与责任认定提供了可对照的技术证据。
AI 画图的最前线:文生图模型迭代、图像编辑能力与创作工具生态的全部动态。
MIT CSAIL 团队在 Nature Communications 发表研究,提出“归因衰减”现象:生成模型训练数据越多,单张训练图像、某位艺术家的全部作品或某个人的所有照片对特定输出的影响越小,甚至删除后输出完全不变。
推荐理由:研究提出归因衰减现象并给出精确删除训练样本的方法,为版权与责任认定提供了可对照的技术证据。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)两款模型。
推荐理由:两款模型给出明确的延迟、单价与可用入口,读者可据此判断图像与视频生成流水线的成本变化。
Hugging Face 发布 Modular Diffusers,用可复用 block 组合扩散流水线,作为 DiffusionPipeline 的灵活替代方案,支持添加、删除和替换 block,并可用 .init_pipeline() 把 block 转为可运行流水线。
推荐理由:原文给出可组合模块的 API 写法与自定义 block 示例,读者可据此判断现有扩散流水线能否改造成模块化流程。
Google DeepMind 发布 Nano Banana 2(Gemini 3.1 Flash Image),把 Nano Banana Pro 的先进世界知识、推理与画质带到 Flash 级速度,可调用 Gemini 知识库与网页搜索实时信息渲染特定主体,并支持图内文字渲染与翻译。
推荐理由:官方给出 Nano Banana 2 相对前代的能力清单与全线产品入口,便于判断速度与保真度取舍。
Diffusers 官方博客宣布支持 FLUX-2,并给出基于 diffusers/FLUX.2-dev-bnb-4bit 仓库的推理示例,使用 Flux2Pipeline 与 Flux2Transformer2DModel,文本编码器为 Mistral3ForConditionalGeneration。
推荐理由:Diffusers 官方接入 FLUX-2 并给出 4bit 量化示例,读者可了解该模型的显存要求与调用方式。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),这是基于 Gemini 3 Pro 的高保真图像生成与编辑模型,开始在 Google AI Studio 和 Vertex AI 上面向开发者付费预览。
推荐理由:DeepMind 官方给出 Gemini 3 Pro Image 的付费预览入口与分辨率、参考图数量等规格,可据此判断是否接入生产流程。
Google DeepMind 发布新一代图像生成与编辑模型 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro,强调更强的推理与世界知识、图像内多语言文字的准确渲染,以及最高 14 张图像融合、最多 5 人一致性保持。
推荐理由:Google DeepMind 官方介绍 Nano Banana Pro 的能力边界与全平台上线节奏,便于判断图像生成工作流的变化。
Hugging Face 发布教程,演示用 diffusers 库以 QLoRA 在单卡上微调 FLUX.1-dev,峰值显存约 9GB,可学习 Alphonse Mucha 艺术风格。
推荐理由:以 FLUX.1-dev 为例给出 QLoRA、8-bit 优化器、梯度检查点等组合,把微调峰值显存压到约 9GB。
Stable Diffusion 3.5 Large 已在 Hugging Face Hub 发布并接入 Diffusers,包含 8B 模型和 8B timestep-distilled 少步推理版本,蒸馏版通常 4-8 步即可出图。
推荐理由:原文给出 SD3.5 在 Diffusers 中的量化推理与 LoRA 微调完整调用路径,可直接对照迁移。
Stability AI 发布 Stable Diffusion 3 Medium,参数量 2B,现已在 Hugging Face Hub 上线并可配合 🧨 Diffusers 使用。
推荐理由:SD3 Medium 在 Diffusers 中集成的完整说明,含内存优化与 LoRA 微调脚本,适合评估其部署可行性。
Segmind 发布 SegMoE 框架,可从零构建混合专家(MoE)扩散模型,并已集成 diffusers,同时开源 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型及建模代码(Apache 2.0)。
推荐理由:原文给出了从配置到生产的完整流程和显存占用数据,读者可以据此判断是否用 MoE 方式拼装扩散模型。
Hugging Face 博客发布教程,介绍如何借助 ComfyUI-to-Python-Extension 将 ComfyUI 工作流导出为纯 Python 脚本,改写为 Gradio 应用后部署到 HF Mirror Spaces 的 ZeroGPU 上免费运行。
推荐理由:教程给出把 ComfyUI 工作流转成 Gradio 应用并部署到 ZeroGPU 的完整步骤,包含模型映射与预加载等工程细节,可复用性强。
Hugging Face 发布 SDXL LoRA 高级训练脚本,把 Pivotal Tuning 与 Prodigy 优化器等社区 SOTA 做法整合进 diffusers,并提供 Colab 与带 UI 的训练 Space。
推荐理由:整理 SDXL Dreambooth LoRA 微调的社区最佳实践,包括 Pivotal Tuning、Prodigy 优化器与数据集构建等可复用方法。
Hugging Face 发布 LCM LoRA,把 SDXL 的推理步数从 25 到 50 步降到 4 到 8 步,方法是不蒸馏整个模型,只训练少量 LoRA 适配器,再配合 LCMScheduler 使用。
推荐理由:原文给出了 LCM LoRA 的原理、代码和跨硬件基准,读者可据此评估在现有 SDXL 流程中提速的可行性。
Würstchen 是 Hugging Face 推出的文本条件扩散模型,在高度压缩的潜空间中工作,实现 42x 空间压缩,远高于常见的 4x-8x。
推荐理由:原文给出 42x 空间压缩与训练算力对比,读者可据此判断低成本图像生成模型的效率边界。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,在 diffusers 中为 Stable Diffusion XL(SDXL)加入 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等多种条件的 checkpoint。
推荐理由:Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 适配器接入 diffusers,并给出从零训练的配置与参数对比,便于读者评估可控生成的开销与接入方式。
Hugging Face 与 Apple 合作将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地出图,目前仅支持原始注意力实现,refiner 阶段尚未移植。
推荐理由:原文给出了 SDXL 在 Apple Silicon 上的实测延迟与混合位量化配方,可据此判断本地出图的速度与体积取舍。
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重,使模型更小、推理更快、内存占用更低。
推荐理由:原文给出 6-bit palettization 的量化收益与指标,并附自定义模型转换命令,可据此复现端侧部署与提速。
Hugging Face 博客介绍 Diffusers 中的 StableDiffusionControlNetPipeline,并演示用 Canny、OpenPose 等条件控制 Stable Diffusion 生成图像。
推荐理由:官方教程给出 ControlNet 在 Diffusers 中的完整用法,并配可运行代码与显存推理耗时对比,便于复现其各类条件控制。
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持,可在 11 GB 显存的 2080 Ti 上训练 Stable Diffusion,微调权重文件仅约 3 MB,比 UNet 原模型小约一千倍。
推荐理由:以 11 GB 显存训 Stable Diffusion 的完整命令与推理代码为例,展示 LoRA 把微调权重压到 3 MB 的可行路径。