实用 3D 资产生成:用 Shap-E 与 Dream Textures 逐步搭建 PS1 风格模型
这是一份把生成式 AI 接入 PS1 风格 3D 工作流的实操指南,用 OpenAI 开源扩散模型 Shap-E 从文本生成模型,再在 Blender 3.1+ 中用 Decimate 修改器降面、用 Dream Textures 插件生成无缝贴图并完成 UV 展开,最后导出 FBX 导入 Unity。
这是一份把生成式 AI 接入 PS1 风格 3D 工作流的实操指南,用 OpenAI 开源扩散模型 Shap-E 从文本生成模型,再在 Blender 3.1+ 中用 Decimate 修改器降面、用 Dream Textures 插件生成无缝贴图并完成 UV 展开,最后导出 FBX 导入 Unity。
Hugging Face 推出 AI WebTV 实验性 Demo,用开源文生视频模型 Zeroscope 和音乐生成模型 MusicGen 合成内容并以直播形式播放。
Hugging Face 发布博客梳理其开源文本生成与 LLM 生态,涵盖因果语言模型与 text-to-text 模型、许可协议、LLM 服务工具及 PEFT 微调。
Hugging Face 展示了在 Intel Sapphire Rapids CPU 集群上微调 Stable Diffusion 模型的方法,使用 textual inversion 技术仅需 5 张示例图片即可完成训练。
Hugging Face 发布教程,演示如何用 Transformers.js 在浏览器本地实时运行机器学习模型,做出涂鸦猜词游戏 Doodle Dash。游戏基于 Google Quick, Draw!
Hugging Face Inference Endpoints 可几键将 Falcon 40B instruct 等开源 LLM 部署为生产 API,支持自动扩缩容与缩容到零。
Hugging Face 发布教程,用 NodeJS 搭配 WizardCoder-15B 与 Inference Endpoints API 构建 AI 网页应用生成器,通过流式输出边生成边渲染 HTML。
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 视觉语言模型,相比 A100 提速 2.5 倍,相比 H100 提速 1.4 倍。
Hugging Face 发布博客,介绍如何用 Meta AI 的 MMS Adapter 训练低资源语音识别:仅微调约 2.5M 权重、10-20 分钟即可获得极低词错误率,比微调整个模型更省内存、更稳健。MMS 在 1400 多种语言、50 万小时以上音频上预训练,已放出 300M 和 1B 检查点,以及 102、1107、1162 种语言的 ASR adapter。
Hugging Face 用实验反驳 AAAI 2023 论文对 Transformers 的质疑,指出 DLinear 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 均逊于 Autoformer(如 0.965 对 0.910)。
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重,使模型更小、推理更快、内存占用更低。
推荐理由:原文给出 6-bit palettization 的量化收益与指标,并附自定义模型转换命令,可据此复现端侧部署与提速。
Hugging Face 发布面向美术馆、图书馆、档案馆与博物馆(GLAM)机构的 Hub 使用指南,帮助该领域从业者查找模型并上传数据集。Hub 目前托管超 190,000 个模型、33,000 个数据集和逾 100,000 个 ML 应用与演示,可按任务和语言筛选,支持 API 部署,也能直接上传 CSV 数据集。
Hugging Face 发布博客介绍阿布扎比 TII 以 Apache 2.0 开源的 Falcon 系列模型,包括 Falcon-40B 和 Falcon-7B 及其 Instruct 版本,并给出在 HF 生态中运行与微调的具体做法。
推荐理由:HF 官方给出 Falcon 40B/7B 从推理、量化到 QLoRA 微调的可复用命令与显存要求,便于在自己硬件上复现。
Hugging Face 发布教程,讲解如何借助 HF Mirror Unity API 在 Unity 中实现语音识别,把玩家说的话转成文本,可用于下达指令、与 NPC 对话或提升无障碍体验。教程演示搭建含开始/停止按钮和 TextMeshPro 文本框的场景,用 Microphone.Start() 以 44100 Hz 录制最长 10 秒音频,再编码为 WAV 格式发送给 API 识别。
Hugging Face 博客介绍了结合 OpenVINO NNCF 量化感知训练、知识蒸馏与 Token Merging 优化 Stable Diffusion 的工作流,在 Intel CPU 上实现相比 PyTorch 5.1 倍推理加速和 4 倍模型体积缩减。
推荐理由:Intel 与 Hugging Face 给出了在 CPU 上压缩 Stable Diffusion 的完整工作流,附推理代码与可复现的量化流程。
Hugging Face 探索用指令微调让 Stable Diffusion 按指令处理输入图像,方法基于 InstructPix2Pix 的训练策略,并结合 FLAN 的指令模板思路构建数据集。
Hugging Face 博客详解 BigCode 大规模近重复数据删除:先对文档做 Shingling 分词与 MinHashing 指纹化,再用 LSH 分组以减少比较次数,并以 MinHash 参数 (P,T,K,B,R) 控制 Jaccard 相似度阈值。
Hugging Face 博客给出在单块 AMD GPU 上用 ROCm 运行 Vicuna 13B 的完整步骤,实测于 Instinct MI210 和 Radeon RX6900XT、ROCm5.4.3 与 Pytorch2.0。
Hugging Face 博客介绍 RWKV,一种融合 RNN 与 Transformer 优势的架构,已被集成进 transformers 库。
推荐理由:原文把 RWKV 在推理速度与显存上的取舍讲清楚,适合想了解 RNN 与 Transformer 混合架构的人参考。
Hugging Face 发布辅助生成(Assisted Generation)解码方法,用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token,再由主模型一次前向验证,正确候选被保留,首个不一致处由主模型重新生成。
推荐理由:Hugging Face 官方给出了辅助生成在 Transformers 中的调用方式与实测延迟数据,读者可据此判断自回归解码能否借小模型降延迟。
文本到视频模型正沿文本到图像的技术路径演进:早期用 GAN 与 VAE 自回归生成帧,第二代转向 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 架构,当前第三代则以扩散模型为主。
HF Mirror Unity API 将 HF Mirror Inference API 集成进 Unity,开发者可在 Unity 项目中调用 AI 模型。
Hugging Face 发布端到端教程,演示用 🤗 Transformers、TensorFlow 和 TPU 从零训练一个 RoBERTa base 掩码语言模型,涵盖训练 tokenizer、处理 WikiText v1 数据集、生成 TFRecord 分片并上传至 Google Cloud Storage,以及最终模型训练与上传。
DeepFloyd 的像素级文生图模型 IF 可在免费版 Google Colab 上通过 🧨 diffusers 运行,T5-XXL 文本编码器经 bitsandbytes 8bit 量化后仅需约 8GB 显存即可加载。IF 直接在像素空间去噪并以 T5-XXL 替代 CLIP 作为文本编码器,擅长生成人脸、手部等高频细节,也是首个能可靠生成图像文字的開源图像生成模型。
Hugging Face 与 AWS 合作,将 HF Mirror Transformers 针对 AWS Inferentia2 推理加速器优化,配合 optimum neuron 无需切分或改动模型,一行代码即可编译。
Hugging Face 博客介绍如何用 Transformers 库(需 >= 4.27.2)进行图分类,目前库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示空间,让用户体验真实世界中高质量数据匮乏的困境,并对比联邦学习与单一数据源训练的模型表现。Substra 专为生产环境设计,已在乳腺癌研究等复杂医疗场景中实现突破。
Hugging Face 发布 StackLLaMA 模型及完整训练流程,用 SFT、奖励模型和 RLHF 三步训练 LLaMA 在 Stack Exchange 上答题,并开源了基于 TRL 库的全部训练管线。
推荐理由:原文完整披露了 RLHF 三步训练流程和踩坑细节,读者可据此复现或在单卡上跑起自己的对齐实验。
Habana Gaudi2 在 176B 参数 BLOOMZ 上推理延迟为 3.103 秒,比 Nvidia A100 80GB 的 4.402 秒快 1.42 倍,7B 版本则快 2.89 倍。
Hugging Face 展示如何用 Optimum Intel 与 OpenVINO 在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理。
Hugging Face 发布教程,演示如何用 HF Mirror 的 Transformers、Datasets 库结合 Flower 框架,在多个客户端上联邦微调预训练 Transformer 模型 distilBERT,用于 IMDB 影评正负情感分类。
Hugging Face 发布教程,介绍如何用 diffusers 训练 ControlNet。整个流程分三步:确定条件类型、构建含 ground truth image。
Hugging Face 将 AAAl21 最佳论文提出的 Informer 模型集成进 🤗 Transformers,用于多变量概率时间序列预测,即预测未来时间序列目标值向量的分布。
2023 年土耳其地震后,志愿者团队开发了灾害地图应用 afetharita,从社交媒体推文中提取幸存者的地址与求助需求。团队用 easyocr 做 OCR、基于 transformers 微调 NER 模型(以 bert-base-turkish-cased 为基座)抽取地址,并通过 Hugging Face Inference API 部署。
Hugging Face 博客介绍 Diffusers 中的 StableDiffusionControlNetPipeline,并演示用 Canny、OpenPose 等条件控制 Stable Diffusion 生成图像。
推荐理由:官方教程给出 ControlNet 在 Diffusers 中的完整用法,并配可运行代码与显存推理耗时对比,便于复现其各类条件控制。
Hugging Face 发文解读大语言模型的红队测试(Red-Teaming):通过构造自然语言提示词诱导 LLM 暴露有害输出,并对模型进行修正,与人类难以理解的对抗攻击不同。文章指出人类或 LM 均可充当红队,对经 RLHF 或 SFT 对齐的模型需用角色扮演等方式越狱;Tay、Sydney 是缺乏红队评估的真实教训,Meta、Anthropic、AI2 已开源相关数据集。
Hugging Face Blog 发布指南,介绍 Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Transformers,可通过 Q-Former 连接冻结的图像编码器与大语言模型,完成图像描述、提示式图像描述、视觉问答和对话式提示。
Hugging Face 将部分 CPU 推理模型从 AWS ECS + Fargate 迁移到自家 Inference Endpoints 托管服务,部署流程简化为训练、上传 Hub、一键部署三步。
Hugging Face 的 AI for Game Development 系列第 5 篇展示了用 ChatGPT 为农场游戏生成剧情的流程:让它写故事梗概、游戏内文本和商店物品描述,再通过多轮对话反复修改。
Hugging Face 与 Intel 实测在 Sapphire Rapids 服务器上搭配 Optimum Intel 和 Intel Extension for PyTorch 运行 PyTorch Transformers 推理。