用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型：将各 Stage 模型下载至 BentoML Model Store，用 service.py 定义 Service 与 Runners，打包成 Bento 后部署。
#开源生态
#开源生态
今日 2 条Hugging Face BlogAI 评分2929 Hugging Face BlogAI 评分3636 如何用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布实战教程，演示如何用 Transformers、Optimum 和 Accelerate 库优化 Suno AI 的文本转语音模型 Bark。基准测试中，未优化的 suno/bark-small 在 5 次生成迭代下平均耗时 9.38 秒，峰值显存占用 1.91 GB。教程涵盖 Bark 的 4 个核心模型架构解析、多种优化技术对比及 benchmark 结果展示。
Hugging Face BlogAI 评分5858 Hugging Face 发布 swift-transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers，一个在 Swift 中实现类 transformers API 的包，同时开源 swift-chat 演示应用、更新版 exporters 与 transformers-to-coreml 转换工具，并提供 Llama 2 7B、Falcon 7B 等已转换模型。
Hugging Face BlogAI 评分2929 Zama 用全同态加密（FHE）在加密数据上运行 GPT2 推理
Zama 展示了如何基于 HF Mirror transformers 库，用全同态加密（FHE）与 Concrete-Python 改造 GPT2 的推理流程，让多注意力头的一部分计算在加密数据上由服务器完成，从而同时保护用户数据隐私与模型 IP。
Hugging Face BlogAI 评分4242 实用 3D 资产生成：用 Shap-E 与 Dream Textures 逐步搭建 PS1 风格模型
这是一份把生成式 AI 接入 PS1 风格 3D 工作流的实操指南，用 OpenAI 开源扩散模型 Shap-E 从文本生成模型，再在 Blender 3.1+ 中用 Decimate 修改器降面、用 Dream Textures 插件生成无缝贴图并完成 UV 展开，最后导出 FBX 导入 Unity。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Agents.js：用 JavaScript 为 LLM 提供工具能力
Hugging Face 发布 Agents.js，一个在浏览器或 Node 中为 LLM 提供工具调用的 JavaScript 库，可通过 npm install @huggingface/agents 安装。
推荐理由：Hugging Face 官方发布 JS 智能体库，可了解其工具调用方式与自定义扩展路径。
Hugging Face BlogAI 评分2626 Hugging Face 联合 Creative Commons、GitHub 等就 EU AI Act 提出开源 ML 五项建议
Hugging Face 与 Creative Commons、Eleuther AI、GitHub、LAION、Open Future 联合发布立场文件，针对 EU AI Act 最终阶段提出五项建议。
Hugging Face BlogAI 评分2020 Hugging Face 首届开源 AI Game Jam 结果公布：Snip It 夺冠
Hugging Face 公布首届 Open Source AI Game Jam 结果，活动收到超 1300 人报名、88 款游戏提交，冠军由 ohmlet 的 Snip It 获得，该游戏用 Stable Diffusion 生成美术资产。参赛作品须至少使用一项开源 AI 工具，评审按趣味性、创意和主题契合度选出前 10 名，再交由三位评委评出最佳游戏。
Hugging Face BlogAI 评分2929 Hugging Face Diffusers 一周年：从文生图到视频、3D 与更快推理
Hugging Face 的 Diffusers 库迎来一周年，已从文生图工具箱扩展出视频、3D 与图像编辑能力。
Hugging Face Blog精选AI 评分7979 Meta 发布 Llama 2，Hugging Face 全面集成
Meta 发布开源大语言模型家族 Llama 2，包含 7B、13B、70B 参数规模，以宽松社区许可开放并允许商用，代码、预训练模型和微调模型同日放出。
推荐理由：文章给出了 Llama 2 的模型规格、商用许可和完整部署与微调路径，便于读者评估落地成本。
Hugging Face BlogAI 评分4343 Hugging Face 开源文本生成与 LLM 生态全景
Hugging Face 发布博客梳理其开源文本生成与 LLM 生态，涵盖因果语言模型与 text-to-text 模型、许可协议、LLM 服务工具及 PEFT 微调。
Hugging Face BlogAI 评分4545 用 Transformers.js 打造 ML 驱动的网页游戏 Doodle Dash
Hugging Face 发布教程，演示如何用 Transformers.js 在浏览器本地实时运行机器学习模型，做出涂鸦猜词游戏 Doodle Dash。游戏基于 Google Quick, Draw!
Hugging Face BlogAI 评分3232 用 Hugging Face Inference Endpoints 部署 LLM：Falcon 40B 实战与流式响应
Hugging Face Inference Endpoints 可几键将 Falcon 40B instruct 等开源 LLM 部署为生产 API，支持自动扩缩容与缩容到零。
Hugging Face BlogAI 评分2525 用开源 ML 模型打造 Web 应用生成器
Hugging Face 发布教程，用 NodeJS 搭配 WizardCoder-15B 与 Inference Endpoints API 构建 AI 网页应用生成器，通过流式输出边生成边渲染 HTML。
Hugging Face BlogAI 评分1313 Writer 如何借助 HF Mirror 应对复杂生成式 AI 用例
HF Mirror 对话 Writer 联合创始人兼 CTO Waseem Alshikh，回顾其从 HF Mirror 用户、客户到开源模型贡献者的历程。对话涉及 Writer 的创业初衷、当下生成式 AI 的最大误解，以及其在 CPU 和 GPU 上规模化部署 LLM 的生产实践与效率考量。
Hugging Face BlogAI 评分4444 Open LLM Leaderboard 的 MMLU 分数为何与 LLaMA 论文对不上
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文报告值。原因是同一 MMLU 基准存在 EleutherAI LM Evaluation Harness、Stanford HELM 和 UC Berkeley 原始实现三套代码，对同一批模型给出的分数差异很大，甚至改变模型排名顺序。
Hugging Face BlogAI 评分2020 Hugging Face 就美国 NTIA 的 AI 问责政策提交回应意见
Hugging Face 于 6 月 12 日向美国商务部 NTIA 的 AI 问责政策意见征集提交回应，强调文档与透明度规范在推动 AI 问责中的作用。其建议问责机制应覆盖机器学习开发全流程、结合内部要求与外部访问透明，并吸纳开发者、多学科研究社区、倡导组织、政策制定者和记者等最广泛的参与者。
Hugging Face BlogAI 评分4040 微调 MMS Adapter 模型实现低资源 ASR
Hugging Face 发布博客，介绍如何用 Meta AI 的 MMS Adapter 训练低资源语音识别：仅微调约 2.5M 权重、10-20 分钟即可获得极低词错误率，比微调整个模型更省内存、更稳健。MMS 在 1400 多种语言、50 万小时以上音频上预训练，已放出 300M 和 1B 检查点，以及 102、1107、1162 种语言的 ASR adapter。
Hugging Face BlogAI 评分2020 Hugging Face 发布全新内容准则与政策
Hugging Face 更新了平台 Content Policy，并发布配套博客说明其制定理念。新政策将「同意」（consent）列为核心价值，重点关注用户所见内容以及人们身份与表达方式在平台上的呈现；同时禁止针对用户及 HF 员工的攻击性或骚扰性言论，鼓励在 Community Tab 中公开协作解决冲突。
Hugging Face Blog精选AI 评分6363 如何在 iPhone、iPad 和 Mac 上通过 Core ML 加速 Stable Diffusion
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重，使模型更小、推理更快、内存占用更低。
推荐理由：原文给出 6-bit palettization 的量化收益与指标，并附自定义模型转换命令，可据此复现端侧部署与提速。
Hugging Face BlogAI 评分3333 将 Livebook notebook 作为应用部署到 Hugging Face Spaces
Elixir 社区用 Livebook 构建了一款基于 Whisper 的聊天应用，并部署到 Hugging Face Spaces，全程不到 15 分钟。用户只能发送语音消息，由 Whisper 模型自动转成文本，该应用展示了与 Hugging Face Models 的集成、多人机器学习应用以及并发模型服务。
Hugging Face BlogAI 评分3939 HF Mirror 与 AMD 达成硬件合作，为 CPU 和 GPU 平台加速前沿模型
HF Mirror 宣布 AMD 正式加入其硬件合作伙伴计划，双方将在 AMD CPU 和 GPU 上优化 Transformer 模型的训练与推理。GPU 侧先支持企业级 Instinct MI2xx、MI3xx，随后覆盖消费级 Radeon Navi3x；CPU 侧聚焦 Ryzen 与 EPYC 的推理优化，并纳入 Alveo V70 AI 加速器。
Hugging Face BlogAI 评分2020 Hugging Face 面向 GLAM 机构的 Hub 使用指南
Hugging Face 发布面向美术馆、图书馆、档案馆与博物馆（GLAM）机构的 Hub 使用指南，帮助该领域从业者查找模型并上传数据集。Hub 目前托管超 190,000 个模型、33,000 个数据集和逾 100,000 个 ML 应用与演示，可按任务和语言筛选，支持 API 部署，也能直接上传 CSV 数据集。
Hugging Face BlogAI 评分4848 Hugging Face 研究：大语言模型能像人类一样标注数据吗？
Hugging Face 用 327 条提示词（含 25 条编程类）对 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 四个开源指令模型做盲测，由 Scale AI 标注者按 1-8 Likert 量表打分并生成 Elo 排名，Vicuna-13B 以 1140 居首，Dolly-12B 以 802 垫底。
Hugging Face BlogAI 评分3636 Hugging Face Hub 支持用 DuckDB 对 5 万+ 数据集运行 SQL 查询
Hugging Face Hub 新增功能，可直接用 DuckDB 对 Hub 上任意公开数据集运行 SQL 查询。数据集查看器会自动把所有公开数据集转换为 Parquet 文件（大数据集按 500MB 分片），用户通过 /parquet 端点获取 URL 后，加载 httpfs 扩展即可查询远程文件。
Hugging Face BlogAI 评分2626 fastText 正式上线 Hugging Face Hub
Meta AI 开源的文本表示与分类库 fastText 现已上线 Hugging Face Hub，官方托管全部 157 种语言的词向量以及最新语言识别模型。用户可通过几行命令下载使用，并支持文本分类与特征提取 widget。
Hugging Face Blog精选AI 评分7272 Falcon 模型已接入 Hugging Face 生态
Hugging Face 发布博客介绍阿布扎比 TII 以 Apache 2.0 开源的 Falcon 系列模型，包括 Falcon-40B 和 Falcon-7B 及其 Instruct 版本，并给出在 HF 生态中运行与微调的具体做法。
推荐理由：HF 官方给出 Falcon 40B/7B 从推理、量化到 QLoRA 微调的可复用命令与显存要求，便于在自己硬件上复现。
Hugging Face BlogAI 评分4141 Hugging Face 推出面向 Amazon SageMaker 的 LLM 推理容器
Hugging Face 发布 LLM Inference Container（DLC），可在 Amazon SageMaker 上部署开源大模型，底层由 Text Generation Inference（TGI）驱动，支持张量并行、动态批处理和 bitsandbytes 量化等能力。
Hugging Face BlogAI 评分1515 Hugging Face Hub 推出 BERTopic 集成
Hugging Face Hub 上线 BERTopic 集成，用户可直接在 Hub 上使用这一主题建模工具。BERTopic 结合嵌入向量与聚类技术，用于从文本中提取话题结构，相关话题建模资源在 HF 平台上被归类为第 19 类主题，与 LDA 等传统方法并列。
Hugging Face Blog精选AI 评分6161 用 NNCF 和 Optimum 为 Intel CPU 优化 Stable Diffusion
Hugging Face 博客介绍了结合 OpenVINO NNCF 量化感知训练、知识蒸馏与 Token Merging 优化 Stable Diffusion 的工作流，在 Intel CPU 上实现相比 PyTorch 5.1 倍推理加速和 4 倍模型体积缩减。
推荐理由：Intel 与 Hugging Face 给出了在 CPU 上压缩 Stable Diffusion 的完整工作流，附推理代码与可复现的量化流程。
Hugging Face BlogAI 评分3434 Hugging Face 与微软合作在 Azure 上线 Hugging Face 模型目录
Hugging Face 与微软合作，把 Hugging Face Hub 上的开源模型接入 Azure Machine Learning，推出原生的 Hugging Face Hub 模型目录，包含 Hub 上数千个热门 Transformers 模型。
Hugging Face Blog精选AI 评分8080 Hugging Face 用 bitsandbytes 与 4-bit 量化让 LLM 更易获取
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持 4-bit 量化加载模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练 LoRA 适配器。
推荐理由：Hugging Face 与 bitsandbytes 集成在 transformers 中开放 4-bit 量化，并给出可直接复用的加载与微调配置。
Hugging Face BlogAI 评分3838 Hugging Face 用 InstructPix2Pix 对 Stable Diffusion 做指令微调
Hugging Face 探索用指令微调让 Stable Diffusion 按指令处理输入图像，方法基于 InstructPix2Pix 的训练策略，并结合 FLAN 的指令模板思路构建数据集。
Hugging Face BlogAI 评分4343 HF Mirror 与 IBM 合作，为 AI 构建者打造新一代企业工作室 watsonx.ai
HF Mirror 宣布与 IBM 合作，将开源库集成进 IBM 的新一代企业 AI 工作室 watsonx.ai。
Hugging Face BlogAI 评分3232 Q8-Chat：在 Xeon 上高效运行生成式 AI，模型更小反而更好
Intel 用 SmoothQuant 将 OPT、LLaMA、Alpaca、Vicuna、BloomZ、MPT-7B-chat 等大语言模型量化为 8-bit（INT8），模型体积缩小约 2 倍，多数评测指标不降反升，仅单项任务出现超过 3% 的相对退化。
Hugging Face BlogAI 评分3131 BigCode 背后的大规模近重复数据删除实践
Hugging Face 博客详解 BigCode 大规模近重复数据删除：先对文档做 Shingling 分词与 MinHashing 指纹化，再用 LSH 分组以减少比较次数，并以 MinHash 参数 (P,T,K,B,R) 控制 Jaccard 相似度阈值。
Hugging Face BlogAI 评分5050 用 ROCm 在单块 AMD GPU 上运行 Vicuna 13B 聊天机器人
Hugging Face 博客给出在单块 AMD GPU 上用 ROCm 运行 Vicuna 13B 的完整步骤，实测于 Instinct MI210 和 Radeon RX6900XT、ROCm5.4.3 与 Pytorch2.0。
Hugging Face Blog精选AI 评分6464 RWKV 架构介绍：兼具 RNN 与 Transformer 优势的模型已集成进 transformers
Hugging Face 博客介绍 RWKV，一种融合 RNN 与 Transformer 优势的架构，已被集成进 transformers 库。
推荐理由：原文把 RWKV 在推理速度与显存上的取舍讲清楚，适合想了解 RNN 与 Transformer 混合架构的人参考。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成，用小型助手模型降低自回归文本生成延迟
Hugging Face 发布辅助生成（Assisted Generation）解码方法，用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token，再由主模型一次前向验证，正确候选被保留，首个不一致处由主模型重新生成。
推荐理由：Hugging Face 官方给出了辅助生成在 Transformers 中的调用方式与实测延迟数据，读者可据此判断自回归解码能否借小模型降延迟。
Hugging Face BlogAI 评分3333 深入解析文本到视频模型：从 GAN 到扩散模型的发展与挑战
文本到视频模型正沿文本到图像的技术路径演进：早期用 GAN 与 VAE 自回归生成帧，第二代转向 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 架构，当前第三代则以扩散模型为主。