HF Mirror 与 AMD 达成硬件合作，为 CPU 和 GPU 平台加速前沿模型
HF Mirror 宣布 AMD 正式加入其硬件合作伙伴计划，双方将在 AMD CPU 和 GPU 上优化 Transformer 模型的训练与推理。GPU 侧先支持企业级 Instinct MI2xx、MI3xx，随后覆盖消费级 Radeon Navi3x；CPU 侧聚焦 Ryzen 与 EPYC 的推理优化，并纳入 Alveo V70 AI 加速器。
#部署/工程
#部署/工程
今日 11 条Hugging Face BlogAI 评分3939
Hugging Face BlogAI 评分3636 Hugging Face Hub 支持用 DuckDB 对 5 万+ 数据集运行 SQL 查询
Hugging Face Hub 新增功能，可直接用 DuckDB 对 Hub 上任意公开数据集运行 SQL 查询。数据集查看器会自动把所有公开数据集转换为 Parquet 文件（大数据集按 500MB 分片），用户通过 /parquet 端点获取 URL 后，加载 httpfs 扩展即可查询远程文件。
Hugging Face Blog精选AI 评分7272 Falcon 模型已接入 Hugging Face 生态
Hugging Face 发布博客介绍阿布扎比 TII 以 Apache 2.0 开源的 Falcon 系列模型，包括 Falcon-40B 和 Falcon-7B 及其 Instruct 版本，并给出在 HF 生态中运行与微调的具体做法。
推荐理由：HF 官方给出 Falcon 40B/7B 从推理、量化到 QLoRA 微调的可复用命令与显存要求，便于在自己硬件上复现。
Hugging Face BlogAI 评分4141 Hugging Face 推出面向 Amazon SageMaker 的 LLM 推理容器
Hugging Face 发布 LLM Inference Container（DLC），可在 Amazon SageMaker 上部署开源大模型，底层由 Text Generation Inference（TGI）驱动，支持张量并行、动态批处理和 bitsandbytes 量化等能力。
Hugging Face Blog精选AI 评分6161 用 NNCF 和 Optimum 为 Intel CPU 优化 Stable Diffusion
Hugging Face 博客介绍了结合 OpenVINO NNCF 量化感知训练、知识蒸馏与 Token Merging 优化 Stable Diffusion 的工作流，在 Intel CPU 上实现相比 PyTorch 5.1 倍推理加速和 4 倍模型体积缩减。
推荐理由：Intel 与 Hugging Face 给出了在 CPU 上压缩 Stable Diffusion 的完整工作流，附推理代码与可复现的量化流程。
Hugging Face BlogAI 评分3434 Hugging Face 与微软合作在 Azure 上线 Hugging Face 模型目录
Hugging Face 与微软合作，把 Hugging Face Hub 上的开源模型接入 Azure Machine Learning，推出原生的 Hugging Face Hub 模型目录，包含 Hub 上数千个热门 Transformers 模型。
Hugging Face Blog精选AI 评分8080 Hugging Face 用 bitsandbytes 与 4-bit 量化让 LLM 更易获取
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持 4-bit 量化加载模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练 LoRA 适配器。
推荐理由：Hugging Face 与 bitsandbytes 集成在 transformers 中开放 4-bit 量化，并给出可直接复用的加载与微调配置。
Hugging Face BlogAI 评分4343 HF Mirror 与 IBM 合作，为 AI 构建者打造新一代企业工作室 watsonx.ai
HF Mirror 宣布与 IBM 合作，将开源库集成进 IBM 的新一代企业 AI 工作室 watsonx.ai。
Hugging Face BlogAI 评分3232 Q8-Chat：在 Xeon 上高效运行生成式 AI，模型更小反而更好
Intel 用 SmoothQuant 将 OPT、LLaMA、Alpaca、Vicuna、BloomZ、MPT-7B-chat 等大语言模型量化为 8-bit（INT8），模型体积缩小约 2 倍，多数评测指标不降反升，仅单项任务出现超过 3% 的相对退化。
Hugging Face BlogAI 评分5050 用 ROCm 在单块 AMD GPU 上运行 Vicuna 13B 聊天机器人
Hugging Face 博客给出在单块 AMD GPU 上用 ROCm 运行 Vicuna 13B 的完整步骤，实测于 Instinct MI210 和 Radeon RX6900XT、ROCm5.4.3 与 Pytorch2.0。
Hugging Face Blog精选AI 评分6464 RWKV 架构介绍：兼具 RNN 与 Transformer 优势的模型已集成进 transformers
Hugging Face 博客介绍 RWKV，一种融合 RNN 与 Transformer 优势的架构，已被集成进 transformers 库。
推荐理由：原文把 RWKV 在推理速度与显存上的取舍讲清楚，适合想了解 RNN 与 Transformer 混合架构的人参考。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成，用小型助手模型降低自回归文本生成延迟
Hugging Face 发布辅助生成（Assisted Generation）解码方法，用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token，再由主模型一次前向验证，正确候选被保留，首个不一致处由主模型重新生成。
推荐理由：Hugging Face 官方给出了辅助生成在 Transformers 中的调用方式与实测延迟数据，读者可据此判断自回归解码能否借小模型降延迟。
Hugging Face BlogAI 评分2121 如何安装和使用 HF Mirror Unity API
HF Mirror Unity API 将 HF Mirror Inference API 集成进 Unity，开发者可在 Unity 项目中调用 AI 模型。
Hugging Face BlogAI 评分4848 如何在免费版 Google Colab 上用 🧨 diffusers 运行 IF 文生图模型
DeepFloyd 的像素级文生图模型 IF 可在免费版 Google Colab 上通过 🧨 diffusers 运行，T5-XXL 文本编码器经 bitsandbytes 8bit 量化后仅需约 8GB 显存即可加载。IF 直接在像素空间去噪并以 T5-XXL 替代 CLIP 作为文本编码器，擅长生成人脸、手部等高频细节，也是首个能可靠生成图像文字的開源图像生成模型。
Hugging Face BlogAI 评分3535 HF Mirror 用 AWS Inferentia2 加速 Transformer 推理
Hugging Face 与 AWS 合作，将 HF Mirror Transformers 针对 AWS Inferentia2 推理加速器优化，配合 optimum neuron 无需切分或改动模型，一行代码即可编译。
Hugging Face BlogAI 评分2424 Snorkel AI 与 Hugging Face 合作，为企业解锁基础模型能力
Snorkel AI 宣布与 Hugging Face 合作，将 Hugging Face 的 Inference Endpoint 服务集成进 Snorkel Flow 平台，让企业用户可直接调用 Hugging Face 上超过 150,000 个开源模型。该服务支持几次点击创建模型 API，并具备暂停与恢复能力，客户不用时可休眠以控制成本。
Hugging Face BlogAI 评分4141 BLOOMZ 在 Habana Gaudi2 上的快速推理：176B 模型快于 A100 80GB
Habana Gaudi2 在 176B 参数 BLOOMZ 上推理延迟为 3.103 秒，比 Nvidia A100 80GB 的 4.402 秒快 1.42 倍，7B 版本则快 2.89 倍。
Hugging Face BlogAI 评分4040 在 Intel CPU 上加速 Stable Diffusion 推理
Hugging Face 展示如何用 Optimum Intel 与 OpenVINO 在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理。
Hugging Face BlogAI 评分4848 用机器学习救助土耳其地震幸存者：Hugging Face 上的 afetharita 实战
2023 年土耳其地震后，志愿者团队开发了灾害地图应用 afetharita，从社交媒体推文中提取幸存者的地址与求助需求。团队用 easyocr 做 OCR、基于 transformers 微调 NER 模型（以 bert-base-turkish-cased 为基座）抽取地址，并通过 Hugging Face Inference API 部署。
Hugging Face BlogAI 评分1616 Fetch 借 HF Mirror 与 AWS 整合 AI 工具，开发时间省 30%
Fetch 借助 AWS Partner HF Mirror 的 Expert Acceleration Program，将原本外包的收据识别 AI 换成自研模型，开发时间缩短 30%，处理延迟降低 50%，目前每天可处理超 1100 万张收据，服务 1800 万月活用户。
Hugging Face BlogAI 评分4444 HF Mirror 与 AWS 达成长期战略合作，让 AI 更开放可及
Hugging Face 与 AWS 扩大长期战略合作，Hugging Face 将把 AWS 作为首选云服务商，社区开发者可用 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 训练、微调并部署模型。
Hugging Face BlogAI 评分3030 Hugging Face 为何把 ML 模型推理迁到 Inference Endpoints
Hugging Face 将部分 CPU 推理模型从 AWS ECS + Fargate 迁移到自家 Inference Endpoints 托管服务，部署流程简化为训练、上传 Hub、一键部署三步。
Hugging Face BlogAI 评分3434 用 Intel Sapphire Rapids 加速 PyTorch Transformers：推理性能实测（第二部分）
Hugging Face 与 Intel 实测在 Sapphire Rapids 服务器上搭配 Optimum Intel 和 Intel Extension for PyTorch 运行 PyTorch Transformers 推理。
Hugging Face BlogAI 评分4444 Hugging Face Optimum + ONNX Runtime：让模型训练更快更简单
Hugging Face 的 Optimum 库通过与 ONNX Runtime 集成进行训练，可将众多热门 Hugging Face 模型的训练时间提升 35% 以上。
Hugging Face BlogAI 评分3636 HF Mirror Hub 迎来 PaddlePaddle：75+ 模型与推理 API 上线
HF Mirror 与 PaddlePaddle 达成开源合作，PaddlePaddle 旗下模型库将逐步接入 HF Mirror Hub，目前 Hub 上已有超 75 个 PaddlePaddle 模型。
Hugging Face BlogAI 评分2828 用 Intel Sapphire Rapids 加速 PyTorch Transformer 训练（上）
Hugging Face 与 Intel 演示如何在 AWS 的第四代 Xeon（Sapphire Rapids）裸金属实例集群上分布式训练 PyTorch Transformer。借助已集成进 transformers 的 Intel oneCCL 和 IPEX，无需改一行代码即可启用 AMX 指令加速矩阵乘法，支持 BF16 和 INT8，Linux 内核需 v5.16 以上。
Hugging Face BlogAI 评分1515 Habana Gaudi2 对比 Nvidia A100 80GB：训练与推理速度实测
Hugging Face 用 Optimum Habana 在 BERT 预训练、Stable Diffusion 推理和 T5-3B 微调上对比了 Habana Gaudi2 与 Nvidia A100 80GB，Gaudi2 训练和推理均约为 A100 的两倍。
Hugging Face BlogAI 评分2626 Bumblebee 发布：GPT2 到 Stable Diffusion 模型进入 Elixir 生态
Elixir 社区推出 Bumblebee 库，用纯 Elixir 实现 Hugging Face Transformers，让 GPT2 到 Stable Diffusion 等模型可在 Elixir 中运行。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Document AI 加速指南：开源模型与最佳实践
Hugging Face 发文梳理文档 AI 的六大用例及对应开源模型，涵盖 OCR、文档图像分类、版面分析和文档解析，并给出许可、数据准备与建模的实践指引。
Hugging Face BlogAI 评分2626 Hugging Face 推理方案概览：Inference Widget、Inference API、Inference Endpoints 与 Spaces
Hugging Face 梳理了平台上的推理方案：模型页内置 Inference Widget 可一键测试模型，免费 Inference API 用单条 HTTP 请求即可加载任意模型预测，因限流不适合生产。
Hugging Face BlogAI 评分3636 Hugging Face Spaces 与 arXiv 集成，论文页面新增 Demo 标签页
Hugging Face Spaces 与 arXiv 达成合作，通过 arXivLabs 在论文页面加入 Demo 标签页，用户可直接跳转社区或作者创建的开源演示。该标签页会列出论文相关的最热门 demo，例如 BERT 论文页面可找到 200 多个社区构建的演示。Spaces 自 2021 年 10 月上线以来已累计托管超过 12,000 个开源机器学习 demo。
Hugging Face BlogAI 评分2929 Hugging Face 公布新定价：Inference API 付费层下线，推出 Inference Endpoints
Hugging Face 调整定价，下线 Inference API 的 Paid 付费层，该 API 仍对所有人免费开放，同时推荐需要快速企业级推理的用户使用新的 Inference Endpoints。Spaces 也获得硬件升级，可自选硬件运行 ML demo，这些服务无需订阅，只需在计费设置中绑定信用卡。所有付费服务按月月初扣费，并提供汇总发票。
Hugging Face BlogAI 评分4141 Hugging Face 将 Intel OpenVINO 集成进 Optimum Intel，加速 Transformer 模型推理
Hugging Face 将 Intel OpenVINO 加入 Optimum Intel，用户可用 OpenVINO Runtime 在多种 Intel 处理器上对 Transformers 模型做推理，并借助 NNCF 在数分钟内完成量化、降低模型体积与预测延迟。
Hugging Face BlogAI 评分3232 从 PyTorch DDP 到 Accelerate 再到 Trainer：轻松掌握分布式训练
Hugging Face 发布教程，梳理如何用三级递增抽象在多个 GPU 上做分布式数据并行（DDP）训练：原生 PyTorch DDP、Accelerate 轻量封装，以及 Transformer 的高层 Trainer API。Accelerate 的封装无需改代码即可在单 GPU 和 TPU 上运行，只需对原代码做最小改动；Trainer 则抽象掉全部样板代码并支持多种设备和分布式场景。
Hugging Face BlogAI 评分3737 HF Mirror Inference Endpoints 入门指南
Hugging Face 推出 HF Mirror Inference Endpoints，可从 Hub 直接部署模型到托管基础设施，支持单 GPU 实例、自动扩缩容与自定义容器。端点提供 Public、Protected、Private 三档访问控制，Private 通过 AWS PrivateLink 的 VPC Endpoint 仅在自有 AWS 账户内可访问。
Hugging Face BlogAI 评分5050 Stable Diffusion 现已支持 JAX / Flax，可在 TPU 上快速推理
Hugging Face Diffusers 从 0.5.1 版本起支持 Flax，Stable Diffusion 由此可在 Google TPU 上进行推理，每个 TPU 服务器有 8 个加速器并行工作，可同时生成 8 张图像。
Hugging Face BlogAI 评分4444 BLOOM 推理优化实录：延迟降低 5 倍、吞吐提升 50 倍
Hugging Face 分享了 BLOOM（176B 参数，bf16 下 352GB）推理服务的优化过程，数周内把延迟降低 5 倍、吞吐提升 50 倍。团队用 Megatron-Deepspeed 训练的模型花约一个月、200 次提交移植到 transformers，并借助 accelerate 的 device_map="auto" 做流水线并行分片，同时保留了张量并行带来的数值差异开关。
Hugging Face Blog精选AI 评分7171 Accelerate 如何借助 PyTorch 运行超大规模模型
Hugging Face 介绍 Accelerate 如何借助 PyTorch 在 RAM 或单卡 GPU 都放不下模型的情况下加载并推理超大语言模型。
推荐理由：拆解了 Accelerate 借助 meta device、sharded checkpoint 和设备映射在有限显存下跑大模型的完整机制。
Hugging Face BlogAI 评分5858 用 DeepSpeed 与 Accelerate 实现极快的 BLOOM 推理
Hugging Face 发布 transformers-bloom-inference 仓库，用三个脚本演示 176B 参数 BLOOM 在 8x80GB A100 上的推理方案。
Hugging Face BlogAI 评分3030 如何训练你的第一个 Decision Transformer
Hugging Face 发布教程，教你在 transformers 库中从零训练一个离线 Decision Transformer，在 Gym HalfCheetah 环境让半猎豹学会奔跑。