HF Mirror 与 IBM 合作，为 AI 构建者打造新一代企业工作室 watsonx.ai
HF Mirror 宣布与 IBM 合作，将开源库集成进 IBM 的新一代企业 AI 工作室 watsonx.ai。
#部署/工程
#部署/工程
今日 3 条Hugging Face BlogAI 评分4343
Hugging Face BlogAI 评分3232 Q8-Chat：在 Xeon 上高效运行生成式 AI，模型更小反而更好
Intel 用 SmoothQuant 将 OPT、LLaMA、Alpaca、Vicuna、BloomZ、MPT-7B-chat 等大语言模型量化为 8-bit（INT8），模型体积缩小约 2 倍，多数评测指标不降反升，仅单项任务出现超过 3% 的相对退化。
Hugging Face BlogAI 评分5050 用 ROCm 在单块 AMD GPU 上运行 Vicuna 13B 聊天机器人
Hugging Face 博客给出在单块 AMD GPU 上用 ROCm 运行 Vicuna 13B 的完整步骤，实测于 Instinct MI210 和 Radeon RX6900XT、ROCm5.4.3 与 Pytorch2.0。
Hugging Face Blog精选AI 评分6464 RWKV 架构介绍：兼具 RNN 与 Transformer 优势的模型已集成进 transformers
Hugging Face 博客介绍 RWKV，一种融合 RNN 与 Transformer 优势的架构，已被集成进 transformers 库。
推荐理由：原文把 RWKV 在推理速度与显存上的取舍讲清楚，适合想了解 RNN 与 Transformer 混合架构的人参考。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成，用小型助手模型降低自回归文本生成延迟
Hugging Face 发布辅助生成（Assisted Generation）解码方法，用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token，再由主模型一次前向验证，正确候选被保留，首个不一致处由主模型重新生成。
推荐理由：Hugging Face 官方给出了辅助生成在 Transformers 中的调用方式与实测延迟数据，读者可据此判断自回归解码能否借小模型降延迟。
Hugging Face BlogAI 评分2121 如何安装和使用 HF Mirror Unity API
HF Mirror Unity API 将 HF Mirror Inference API 集成进 Unity，开发者可在 Unity 项目中调用 AI 模型。
Hugging Face BlogAI 评分4848 如何在免费版 Google Colab 上用 🧨 diffusers 运行 IF 文生图模型
DeepFloyd 的像素级文生图模型 IF 可在免费版 Google Colab 上通过 🧨 diffusers 运行，T5-XXL 文本编码器经 bitsandbytes 8bit 量化后仅需约 8GB 显存即可加载。IF 直接在像素空间去噪并以 T5-XXL 替代 CLIP 作为文本编码器，擅长生成人脸、手部等高频细节，也是首个能可靠生成图像文字的開源图像生成模型。
Hugging Face BlogAI 评分3535 HF Mirror 用 AWS Inferentia2 加速 Transformer 推理
Hugging Face 与 AWS 合作，将 HF Mirror Transformers 针对 AWS Inferentia2 推理加速器优化，配合 optimum neuron 无需切分或改动模型，一行代码即可编译。
Hugging Face BlogAI 评分2424 Snorkel AI 与 Hugging Face 合作，为企业解锁基础模型能力
Snorkel AI 宣布与 Hugging Face 合作，将 Hugging Face 的 Inference Endpoint 服务集成进 Snorkel Flow 平台，让企业用户可直接调用 Hugging Face 上超过 150,000 个开源模型。该服务支持几次点击创建模型 API，并具备暂停与恢复能力，客户不用时可休眠以控制成本。
Hugging Face BlogAI 评分4141 BLOOMZ 在 Habana Gaudi2 上的快速推理：176B 模型快于 A100 80GB
Habana Gaudi2 在 176B 参数 BLOOMZ 上推理延迟为 3.103 秒，比 Nvidia A100 80GB 的 4.402 秒快 1.42 倍，7B 版本则快 2.89 倍。
Hugging Face BlogAI 评分4040 在 Intel CPU 上加速 Stable Diffusion 推理
Hugging Face 展示如何用 Optimum Intel 与 OpenVINO 在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理。
Hugging Face BlogAI 评分4848 用机器学习救助土耳其地震幸存者：Hugging Face 上的 afetharita 实战
2023 年土耳其地震后，志愿者团队开发了灾害地图应用 afetharita，从社交媒体推文中提取幸存者的地址与求助需求。团队用 easyocr 做 OCR、基于 transformers 微调 NER 模型（以 bert-base-turkish-cased 为基座）抽取地址，并通过 Hugging Face Inference API 部署。
Hugging Face BlogAI 评分1616 Fetch 借 HF Mirror 与 AWS 整合 AI 工具，开发时间省 30%
Fetch 借助 AWS Partner HF Mirror 的 Expert Acceleration Program，将原本外包的收据识别 AI 换成自研模型，开发时间缩短 30%，处理延迟降低 50%，目前每天可处理超 1100 万张收据，服务 1800 万月活用户。
Hugging Face BlogAI 评分4444 HF Mirror 与 AWS 达成长期战略合作，让 AI 更开放可及
Hugging Face 与 AWS 扩大长期战略合作，Hugging Face 将把 AWS 作为首选云服务商，社区开发者可用 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 训练、微调并部署模型。
Hugging Face BlogAI 评分3030 Hugging Face 为何把 ML 模型推理迁到 Inference Endpoints
Hugging Face 将部分 CPU 推理模型从 AWS ECS + Fargate 迁移到自家 Inference Endpoints 托管服务，部署流程简化为训练、上传 Hub、一键部署三步。
Hugging Face BlogAI 评分3434 用 Intel Sapphire Rapids 加速 PyTorch Transformers：推理性能实测（第二部分）
Hugging Face 与 Intel 实测在 Sapphire Rapids 服务器上搭配 Optimum Intel 和 Intel Extension for PyTorch 运行 PyTorch Transformers 推理。
Hugging Face BlogAI 评分4444 Hugging Face Optimum + ONNX Runtime：让模型训练更快更简单
Hugging Face 的 Optimum 库通过与 ONNX Runtime 集成进行训练，可将众多热门 Hugging Face 模型的训练时间提升 35% 以上。
Hugging Face BlogAI 评分3636 HF Mirror Hub 迎来 PaddlePaddle：75+ 模型与推理 API 上线
HF Mirror 与 PaddlePaddle 达成开源合作，PaddlePaddle 旗下模型库将逐步接入 HF Mirror Hub，目前 Hub 上已有超 75 个 PaddlePaddle 模型。
Hugging Face BlogAI 评分2828 用 Intel Sapphire Rapids 加速 PyTorch Transformer 训练（上）
Hugging Face 与 Intel 演示如何在 AWS 的第四代 Xeon（Sapphire Rapids）裸金属实例集群上分布式训练 PyTorch Transformer。借助已集成进 transformers 的 Intel oneCCL 和 IPEX，无需改一行代码即可启用 AMX 指令加速矩阵乘法，支持 BF16 和 INT8，Linux 内核需 v5.16 以上。
Hugging Face BlogAI 评分1515 Habana Gaudi2 对比 Nvidia A100 80GB：训练与推理速度实测
Hugging Face 用 Optimum Habana 在 BERT 预训练、Stable Diffusion 推理和 T5-3B 微调上对比了 Habana Gaudi2 与 Nvidia A100 80GB，Gaudi2 训练和推理均约为 A100 的两倍。
Hugging Face BlogAI 评分2626 Bumblebee 发布：GPT2 到 Stable Diffusion 模型进入 Elixir 生态
Elixir 社区推出 Bumblebee 库，用纯 Elixir 实现 Hugging Face Transformers，让 GPT2 到 Stable Diffusion 等模型可在 Elixir 中运行。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Document AI 加速指南：开源模型与最佳实践
Hugging Face 发文梳理文档 AI 的六大用例及对应开源模型，涵盖 OCR、文档图像分类、版面分析和文档解析，并给出许可、数据准备与建模的实践指引。
Hugging Face BlogAI 评分2626 Hugging Face 推理方案概览：Inference Widget、Inference API、Inference Endpoints 与 Spaces
Hugging Face 梳理了平台上的推理方案：模型页内置 Inference Widget 可一键测试模型，免费 Inference API 用单条 HTTP 请求即可加载任意模型预测，因限流不适合生产。
Hugging Face BlogAI 评分3636 Hugging Face Spaces 与 arXiv 集成，论文页面新增 Demo 标签页
Hugging Face Spaces 与 arXiv 达成合作，通过 arXivLabs 在论文页面加入 Demo 标签页，用户可直接跳转社区或作者创建的开源演示。该标签页会列出论文相关的最热门 demo，例如 BERT 论文页面可找到 200 多个社区构建的演示。Spaces 自 2021 年 10 月上线以来已累计托管超过 12,000 个开源机器学习 demo。
Hugging Face BlogAI 评分2929 Hugging Face 公布新定价：Inference API 付费层下线，推出 Inference Endpoints
Hugging Face 调整定价，下线 Inference API 的 Paid 付费层，该 API 仍对所有人免费开放，同时推荐需要快速企业级推理的用户使用新的 Inference Endpoints。Spaces 也获得硬件升级，可自选硬件运行 ML demo，这些服务无需订阅，只需在计费设置中绑定信用卡。所有付费服务按月月初扣费，并提供汇总发票。
Hugging Face BlogAI 评分4141 Hugging Face 将 Intel OpenVINO 集成进 Optimum Intel，加速 Transformer 模型推理
Hugging Face 将 Intel OpenVINO 加入 Optimum Intel，用户可用 OpenVINO Runtime 在多种 Intel 处理器上对 Transformers 模型做推理，并借助 NNCF 在数分钟内完成量化、降低模型体积与预测延迟。
Hugging Face BlogAI 评分3232 从 PyTorch DDP 到 Accelerate 再到 Trainer：轻松掌握分布式训练
Hugging Face 发布教程，梳理如何用三级递增抽象在多个 GPU 上做分布式数据并行（DDP）训练：原生 PyTorch DDP、Accelerate 轻量封装，以及 Transformer 的高层 Trainer API。Accelerate 的封装无需改代码即可在单 GPU 和 TPU 上运行，只需对原代码做最小改动；Trainer 则抽象掉全部样板代码并支持多种设备和分布式场景。
Hugging Face BlogAI 评分3737 HF Mirror Inference Endpoints 入门指南
Hugging Face 推出 HF Mirror Inference Endpoints，可从 Hub 直接部署模型到托管基础设施，支持单 GPU 实例、自动扩缩容与自定义容器。端点提供 Public、Protected、Private 三档访问控制，Private 通过 AWS PrivateLink 的 VPC Endpoint 仅在自有 AWS 账户内可访问。
Hugging Face BlogAI 评分5050 Stable Diffusion 现已支持 JAX / Flax，可在 TPU 上快速推理
Hugging Face Diffusers 从 0.5.1 版本起支持 Flax，Stable Diffusion 由此可在 Google TPU 上进行推理，每个 TPU 服务器有 8 个加速器并行工作，可同时生成 8 张图像。
Hugging Face BlogAI 评分4444 BLOOM 推理优化实录：延迟降低 5 倍、吞吐提升 50 倍
Hugging Face 分享了 BLOOM（176B 参数，bf16 下 352GB）推理服务的优化过程，数周内把延迟降低 5 倍、吞吐提升 50 倍。团队用 Megatron-Deepspeed 训练的模型花约一个月、200 次提交移植到 transformers，并借助 accelerate 的 device_map="auto" 做流水线并行分片，同时保留了张量并行带来的数值差异开关。
Hugging Face Blog精选AI 评分7171 Accelerate 如何借助 PyTorch 运行超大规模模型
Hugging Face 介绍 Accelerate 如何借助 PyTorch 在 RAM 或单卡 GPU 都放不下模型的情况下加载并推理超大语言模型。
推荐理由：拆解了 Accelerate 借助 meta device、sharded checkpoint 和设备映射在有限显存下跑大模型的完整机制。
Hugging Face BlogAI 评分5858 用 DeepSpeed 与 Accelerate 实现极快的 BLOOM 推理
Hugging Face 发布 transformers-bloom-inference 仓库，用三个脚本演示 176B 参数 BLOOM 在 8x80GB A100 上的推理方案。
Hugging Face BlogAI 评分3030 如何训练你的第一个 Decision Transformer
Hugging Face 发布教程，教你在 transformers 库中从零训练一个离线 Decision Transformer，在 Gym HalfCheetah 环境让半猎豹学会奔跑。
Hugging Face BlogAI 评分3939 如何用 Megatron-LM 训练语言模型
Hugging Face 发布教程，讲解如何在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 语言模型，并转换到 Transformers 使用。Megatron-LM 的优势在于高效 DataLoader 与 Fused CUDA Kernels，还采用了 Apex 的 Fused AdamW，比 PyTorch 实现更快。教程涵盖环境配置、数据预处理、训练和模型转换四步。
Hugging Face BlogAI 评分1919 如何在 HF Mirror Spaces 上可视化蛋白质
Hugging Face 发布教程，介绍如何用 3Dmol.js 和 Gradio 的 HTML block 在 HF Mirror Spaces 中可视化蛋白质，用户可输入 4 位 PDB 代码或上传 PDB 文件。文章建议改用 Molecule3D Gradio 自定义组件，通过 pip install gradio_molecule3d 安装，支持动态修改蛋白质可视化并更简单地设置默认视图。
Hugging Face BlogAI 评分2525 在 Vertex AI 上部署 🤗 ViT 模型
Hugging Face 展示如何将 TensorFlow 版 ViT B/16 模型部署到 Google Cloud 的 Vertex AI 平台，借助 google-cloud-aiplatform Python SDK 四步完成上传模型、创建 endpoint、部署和预测请求。
Hugging Face Blog精选AI 评分7171 Hugging Face 将 LLM.int8() 8-bit 量化集成进 transformers 与 accelerate
Hugging Face 联合 BigScience 将 LLM.int8() 8 位矩阵乘法量化集成到 transformers 和 accelerate，声称在 BLOOM-176B、OPT-175B 等模型上推理性能无下降，显存占用减半，例如 BLOOM-176B 只需 4 张 80GB A100 而非 8 张。
推荐理由：Hugging Face 与 bitsandbytes 合作把 LLM.int8() 落入 transformers，读者可了解大模型量化省显存的条件与代价。
Hugging Face BlogAI 评分3636 Hugging Face 推出 Skops：在 Hub 上托管 scikit-learn 模型
Hugging Face 推出 Skops 库，可将 scikit-learn 模型托管到 Hugging Face Hub，并为其创建模型卡实现文档化与协作。Skops 提供 hub_utils.init 初始化本地仓库，自动记录模型环境依赖、任务类型与示例输入，以启用推理 widget 和模型发现功能；同时通过 Card 类支持编程式写入元数据、指标与图表，最终推送到 Hub。
Hugging Face BlogAI 评分1717 Hugging Face 的 TensorFlow 哲学：Keras、tf.data 与 transformers 的取舍
Hugging Face 阐述其 transformers 库对 TensorFlow 的设计哲学：所有 TensorFlow 模型都应是 Keras Model 对象、所有层都应是 Keras Layer 对象，因此可直接调用 fit()、compile()、predict()。
Hugging Face BlogAI 评分2323 用 TF Serving 在 Kubernetes 上部署 🤗 ViT
Hugging Face 发文介绍如何把上一篇文章中本地部署的 Vision Transformer（ViT）模型用 Docker 和 Kubernetes 扩展到多用户场景。