Accelerate 如何借助 PyTorch 运行超大规模模型
Hugging Face 介绍 Accelerate 如何借助 PyTorch 在 RAM 或单卡 GPU 都放不下模型的情况下加载并推理超大语言模型。
推荐理由：拆解了 Accelerate 借助 meta device、sharded checkpoint 和设备映射在有限显存下跑大模型的完整机制。
全部AI 动态
全部动态
今日 11 条Hugging Face Blog精选AI 评分7171
Hugging Face Blog精选AI 评分6262 Hugging Face 联合 Intel Labs 与 UKP Lab 发布 SetFit 小样本微调框架
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit，一个用于 Sentence Transformers 小样本微调的框架，无需提示词或 verbaliser。
推荐理由：SetFit 用 Sentence Transformers 的对比训练替代提示词，在 RAFT 上以小模型接近大模型表现，读者可据此了解小样本分类的低成本路径。
Hugging Face BlogAI 评分1515 Hugging Face 推出 Ethics and Society 通讯，首期谈 AI 伦理落地
Hugging Face 发布首期 Ethics and Society 通讯，计划按季节在春分、秋分、夏至、冬至发布，由公司内部跨团队开放小组撰写，聚焦 AI 伦理如何落地。该通讯以协作、责任、透明为出发点，强调不设独立伦理团队，而是全公司共担责任。Hugging Face 本周还上线了模型和 Space 仓库的“flag”功能，用于上报伦理与法律问题。
Hugging Face BlogAI 评分5858 用 DeepSpeed 与 Accelerate 实现极快的 BLOOM 推理
Hugging Face 发布 transformers-bloom-inference 仓库，用三个脚本演示 176B 参数 BLOOM 在 8x80GB A100 上的推理方案。
Hugging Face BlogAI 评分5252 diffusers 0.3 发布：新增图生图、Inpainting、Textual Inversion 与 Mac 支持
Hugging Face 发布 diffusers 0.3，新增图生图（Image to Image）pipeline、实验性 Inpainting pipeline 和 Textual Inversion，用户可用 3-5 张样本让 Stable Diffusion 学习新概念并分享。
Hugging Face BlogAI 评分3030 如何训练你的第一个 Decision Transformer
Hugging Face 发布教程，教你在 transformers 库中从零训练一个离线 Decision Transformer，在 Gym HalfCheetah 环境让半猎豹学会奔跑。
Hugging Face BlogAI 评分3939 如何用 Megatron-LM 训练语言模型
Hugging Face 发布教程，讲解如何在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 语言模型，并转换到 Transformers 使用。Megatron-LM 的优势在于高效 DataLoader 与 Fused CUDA Kernels，还采用了 Apex 的 Fused AdamW，比 PyTorch 实现更快。教程涵盖环境配置、数据预处理、训练和模型转换四步。
Hugging Face BlogAI 评分4242 OpenRAIL：面向开放且负责任 AI 的许可框架
Hugging Face 支持的 RAIL Initiative 推出 OpenRAIL 系列许可证，允许免版税访问、下游使用与再分发 AI 模型及其衍生物，同时嵌入针对特定关键场景的使用限制条款。该框架借鉴 BigScience、开源与 Creative Commons 模式，主张现有开源许可证（如 Apache 2.0）不适配机器学习模型的技术特性，无法约束模型的负责任使用。
Hugging Face BlogAI 评分1919 如何在 HF Mirror Spaces 上可视化蛋白质
Hugging Face 发布教程，介绍如何用 3Dmol.js 和 Gradio 的 HTML block 在 HF Mirror Spaces 中可视化蛋白质，用户可输入 4 位 PDB 代码或上传 PDB 文件。文章建议改用 Molecule3D Gradio 自定义组件，通过 pip install gradio_molecule3d 安装，支持动态修改蛋白质可视化并更简单地设置默认视图。
Hugging Face BlogAI 评分3030 用 HF Mirror Transformers 和 Habana Gaudi 预训练 BERT
本教程介绍如何在 AWS 的 Habana Gaudi DL1 实例上，借助 HF Mirror Transformers、Optimum Habana 和 Datasets 库，用掩码语言建模任务从零预训练 BERT-base。教程涵盖数据集准备、训练词表和预处理数据集的完整流程，并可将产物推送至 HF Mirror Hub。
Hugging Face Blog精选AI 评分6868 用 Diffusers 运行 Stable Diffusion 并自定义推理 pipeline
Hugging Face 官方博客介绍如何用 Diffusers 库运行 Stable Diffusion，该模型由 CompVis、Stability AI 和 LAION 基于 LAION-5B 子集训练，文章默认使用 v1-4 版本。
推荐理由：原文来自 Diffusers 官方团队，给出 Stable Diffusion 的推理代码、关键参数含义与自定义 pipeline 的完整写法，可对照复用。
Hugging Face BlogAI 评分2525 在 Vertex AI 上部署 🤗 ViT 模型
Hugging Face 展示如何将 TensorFlow 版 ViT B/16 模型部署到 Google Cloud 的 Vertex AI 平台，借助 google-cloud-aiplatform Python SDK 四步完成上传模型、创建 endpoint、部署和预测请求。
Hugging Face BlogAI 评分3131 在 Graphcore IPU 上用 Hugging Face Optimum 微调 Vision Transformer 实战
Hugging Face 发布博客，演示如何用 Hugging Face Optimum 库在 Graphcore IPU 上微调预训练 Vision Transformer（ViT）模型，并提供配套 notebook，以 ChestX-ray14 胸部 X 光数据集为例逐步讲解。
Hugging Face Blog精选AI 评分7171 Hugging Face 将 LLM.int8() 8-bit 量化集成进 transformers 与 accelerate
Hugging Face 联合 BigScience 将 LLM.int8() 8 位矩阵乘法量化集成到 transformers 和 accelerate，声称在 BLOOM-176B、OPT-175B 等模型上推理性能无下降，显存占用减半，例如 BLOOM-176B 只需 4 张 80GB A100 而非 8 张。
推荐理由：Hugging Face 与 bitsandbytes 合作把 LLM.int8() 落入 transformers，读者可了解大模型量化省显存的条件与代价。
Hugging Face BlogAI 评分3636 Hugging Face 推出 Skops：在 Hub 上托管 scikit-learn 模型
Hugging Face 推出 Skops 库，可将 scikit-learn 模型托管到 Hugging Face Hub，并为其创建模型卡实现文档化与协作。Skops 提供 hub_utils.init 初始化本地仓库，自动记录模型环境依赖、任务类型与示例输入，以启用推理 widget 和模型发现功能；同时通过 Card 类支持编程式写入元数据、指标与图表，最终推送到 Hub。
Hugging Face BlogAI 评分1717 Hugging Face 的 TensorFlow 哲学：Keras、tf.data 与 transformers 的取舍
Hugging Face 阐述其 transformers 库对 TensorFlow 的设计哲学：所有 TensorFlow 模型都应是 Keras Model 对象、所有层都应是 Keras Layer 对象，因此可直接调用 fit()、compile()、predict()。
Hugging Face BlogAI 评分2323 用 TF Serving 在 Kubernetes 上部署 🤗 ViT
Hugging Face 发文介绍如何把上一篇文章中本地部署的 Vision Transformer（ViT）模型用 Docker 和 Kubernetes 扩展到多用户场景。
Hugging Face BlogAI 评分2020 Hugging Face 指南：训练与微调 Sentence Transformers 模型
Hugging Face 发布 Sentence Transformers 训练与微调教程，讲解如何从零构建模型或用 HF Mirror Hub 上的模型微调。
Hugging Face BlogAI 评分2222 Hugging Face 深度强化学习课程：PPO（近端策略优化）详解
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization（PPO），通过裁剪代理目标函数将新旧策略概率比限制在 [1−ϵ, 1+ϵ] 区间，避免策略更新过大，从而提升训练稳定性。课程随后用 PyTorch 从零实现 PPO，并在 CartPole-v1 与 LunarLander-v2 环境中验证。
Hugging Face BlogAI 评分3030 Hugging Face 推出 Private Hub：面向企业的机器学习协作平台
Hugging Face 发布 Private Hub（PH），为企业在安全合规前提下提供覆盖机器学习全生命周期的统一工具集，整合模型、数据集与 Spaces，并支持组织协作与访问控制。官方称约 90% 的机器学习模型从未进入生产环境，PH 旨在解决工具陌生、工作流非标准、资产无法内部共享等痛点。该产品已于 2023 年 6 月更名为 Enterprise Hub，原本地部署方案已停止提供。
Hugging Face BlogAI 评分3030 Nyströmformer：用 Nyström 方法以线性时间和内存近似自注意力
Hugging Face 博客介绍 Nyströmformer，该方法借助 Nyström 矩阵近似，把标准自注意力的 O(n²) 时间与内存复杂度降到 O(n)。
Hugging Face BlogAI 评分1515 Hugging Face 就美国 NAIRR 中期报告提交反馈建议
Hugging Face 于 2022 年 6 月向美国白宫 OSTP 与 NSF 提交了对 NAIRR 中期报告的回应，支持其推进 AI 研究资源建设。其建议包括：任命技术与伦理专家担任顾问、采用 Model Cards 等模型与数据文档标准、通过 AutoTrain 等低代码工具让非技术专家也能训练模型，并为高滥用风险的开源研究建立监测与 Responsible AI Licenses 机制。
Hugging Face BlogAI 评分2727 Hugging Face Datasets 新增音频与图像文档，并预告 AudioFolder
Hugging Face 为 🤗 Datasets 补充了音频与图像数据集的文档：Quickstart 新增端到端加载处理示例和 to_tf_dataset 函数，可直接把数据集转成 tf.data.Dataset 供 TensorFlow/Keras 训练。
Hugging Face BlogAI 评分4141 用 TensorFlow 和 XLA 加速文本生成，最高提速 100 倍
Hugging Face 的 transformers 库现在支持用 XLA 编译 TensorFlow 文本生成，速度最高提升 100 倍，甚至快于 PyTorch。该功能要求 transformers >= 4.21.0，可通过 do_sample、temperature、num_beams、max_new_tokens 等参数控制采样与贪心解码、束搜索等生成方式。
Hugging Face BlogAI 评分2222 如何在 HF Mirror 中用 TF Serving 部署 TensorFlow 视觉模型
Hugging Face 介绍了用 TensorFlow Serving（TF Serving）在本地部署 Vision Transformer（ViT）图像分类模型的方法，可将其以 REST 或 gRPC 端点对外暴露。
Hugging Face BlogAI 评分1717 Hugging Face 深度强化学习课程 Unit 7：优势演员-评论家（A2C）
Hugging Face 深度强化学习课程 Unit 7 讲解优势演员-评论家（A2C）算法，这是一种结合基于价值与基于策略方法的混合架构，通过 Actor 控制智能体行为、Critic 评估动作好坏来降低 Reinforce 中蒙特卡洛采样带来的高方差，从而稳定并加速训练。课程使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足步行者和蜘蛛两个智能体行走。
Hugging Face BlogAI 评分3030 如何用对抗数据动态训练你的模型
Hugging Face 博客介绍动态对抗数据采集（DADC）：让人类在 🤗 Spaces 画布上写数字来骗过 MNIST 模型，再把骗成功的样本标记并回传训练，如此多轮循环。示例模型训练 20 个 epoch，在测试集上达到 89% 准确率。文中称 DADC 长期准确率明显高于标准非对抗数据采集。
Hugging Face BlogAI 评分5656 BLOOM 训练背后的技术：Megatron-DeepSpeed 工程实践解析
Hugging Face 发文详解 176B 参数多语言模型 BLOOM 的训练工程，该模型使用 Megatron-DeepSpeed 在 384 张 80GB A100 上训练约 3.5 个月，消耗约 1M 计算小时。
Hugging Face BlogAI 评分2424 用 Sentence Transformers 构建歌单生成器
基于 Sentence Transformers 和 Gradio 构建的歌单生成器，先对歌曲歌词按段落切分并生成嵌入向量，再对用户输入的文本提示词做语义搜索，返回最相关的歌曲。
Hugging Face Blog精选AI 评分7575 Hugging Face 发布 176B 参数多语言开源模型 BLOOM
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，支持 46 种自然语言和 13 种编程语言，论文称其为首个完全透明训练的多语言 LLM。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言，并公开训练中间检查点与优化器状态，可供研究者比较开放与封闭模型。
Hugging Face BlogAI 评分3434 Hugging Face 指南：如何用 Inference API 对 Twitter 推文做情感分析
Hugging Face 发布 Twitter 情感分析入门指南，用 Inference API 几行代码即可批量判断推文的正负面与中性倾向。文中同时给出无代码方案：用 Zapier 抓取推文、调用 Inference API 分析并输出到 Google Sheets。示例项目以 Tweepy 抓取 @NotionHQ 相关推文，再用 Matplotlib 和 WordCloud 可视化结果。
Hugging Face BlogAI 评分2828 Hugging Face 深度强化学习课程：用 PyTorch 从零实现 Policy Gradient
Hugging Face 深度强化学习课程第 5 单元讲解 Policy-Based 方法中的 Policy Gradient，并用 PyTorch 从零实现 Reinforce（蒙特卡洛策略梯度）。
Hugging Face BlogAI 评分2020 如何用 Sentence Transformers 开启你的第一个机器学习项目
Hugging Face 发文介绍如何以 Sentence Transformers（ST）入手第一个机器学习项目，该库可将句子、段落和图像计算为稠密向量表示。
Hugging Face BlogAI 评分4444 Hugging Face 用 Accelerate 结合 DeepSpeed 加速大模型训练
Hugging Face 发布指南，演示如何用 Accelerate 库调用 DeepSpeed 的 ZeRO 特性来训练大模型。
Hugging Face BlogAI 评分5050 Hugging Face 发布 Evaluation on the Hub，无需写代码即可评测任意模型
Hugging Face 推出由 AutoTrain 驱动的 Evaluation on the Hub，让用户不用写一行代码就能在 Hub 上对任意模型和任意数据集进行评测。
Hugging Face BlogAI 评分1919 Hugging Face 入门教程：用 Embeddings 搭建 FAQ 语义搜索
Hugging Face 发布 Embeddings 入门教程，演示如何用 Sentence Transformers 库和 HF Mirror Inference API 搭建 FAQ 语义搜索引擎。
Hugging Face BlogAI 评分2222 用 HF Mirror Optimum 将 Transformers 模型转换为 ONNX
Hugging Face 博客介绍了三种把 Transformers 模型转成 ONNX 的方式：底层 torch.onnx、中层的 transformers.onnx，以及 Optimum 的 ORTModelForXxx 类。
Hugging Face BlogAI 评分3333 Intel 加入 HF Mirror 硬件合作伙伴计划，用 Optimum Intel 加速 Transformer
Intel 正式加入 HF Mirror 硬件合作伙伴计划，双方将借助开源库 Optimum Intel 为 Transformer 的训练、微调和推理提供硬件加速。
Hugging Face BlogAI 评分1717 Hugging Face 对话金融业 ML 负责人：信任、遗留系统与落地误区
Hugging Face 发布《Director of Machine Learning Insights》第 3 期金融版，汇集来自 U.S. Bank、加拿大皇家银行（RBC）、Moody's Analytics 及前 Bloomberg AI 研究科学家的金融 ML 负责人观点。
Hugging Face BlogAI 评分2020 用 Deep Q-Learning 玩 Space Invaders：Hugging Face 深度强化学习课程第三单元
Hugging Face 深度强化学习课程第三单元讲解 Deep Q-Learning：不再维护 Q-table，改用神经网络根据状态近似每个动作的 Q-value，并在 Space Invaders 等 Atari 环境上训练，训练框架为基于 Stable-Baselines 的 RL-Zoo。