Hugging Face 指南：训练与微调 Sentence Transformers 模型
Hugging Face 发布 Sentence Transformers 训练与微调教程，讲解如何从零构建模型或用 HF Mirror Hub 上的模型微调。
#部署/工程
#部署/工程
今日 3 条Hugging Face BlogAI 评分2020
Hugging Face BlogAI 评分3030 Hugging Face 推出 Private Hub：面向企业的机器学习协作平台
Hugging Face 发布 Private Hub（PH），为企业在安全合规前提下提供覆盖机器学习全生命周期的统一工具集，整合模型、数据集与 Spaces，并支持组织协作与访问控制。官方称约 90% 的机器学习模型从未进入生产环境，PH 旨在解决工具陌生、工作流非标准、资产无法内部共享等痛点。该产品已于 2023 年 6 月更名为 Enterprise Hub，原本地部署方案已停止提供。
Hugging Face BlogAI 评分4141 用 TensorFlow 和 XLA 加速文本生成，最高提速 100 倍
Hugging Face 的 transformers 库现在支持用 XLA 编译 TensorFlow 文本生成，速度最高提升 100 倍，甚至快于 PyTorch。该功能要求 transformers >= 4.21.0，可通过 do_sample、temperature、num_beams、max_new_tokens 等参数控制采样与贪心解码、束搜索等生成方式。
Hugging Face BlogAI 评分2222 如何在 HF Mirror 中用 TF Serving 部署 TensorFlow 视觉模型
Hugging Face 介绍了用 TensorFlow Serving（TF Serving）在本地部署 Vision Transformer（ViT）图像分类模型的方法，可将其以 REST 或 gRPC 端点对外暴露。
Hugging Face BlogAI 评分3030 如何用对抗数据动态训练你的模型
Hugging Face 博客介绍动态对抗数据采集（DADC）：让人类在 🤗 Spaces 画布上写数字来骗过 MNIST 模型，再把骗成功的样本标记并回传训练，如此多轮循环。示例模型训练 20 个 epoch，在测试集上达到 89% 准确率。文中称 DADC 长期准确率明显高于标准非对抗数据采集。
Hugging Face BlogAI 评分5656 BLOOM 训练背后的技术：Megatron-DeepSpeed 工程实践解析
Hugging Face 发文详解 176B 参数多语言模型 BLOOM 的训练工程，该模型使用 Megatron-DeepSpeed 在 384 张 80GB A100 上训练约 3.5 个月，消耗约 1M 计算小时。
Hugging Face BlogAI 评分3434 Hugging Face 指南：如何用 Inference API 对 Twitter 推文做情感分析
Hugging Face 发布 Twitter 情感分析入门指南，用 Inference API 几行代码即可批量判断推文的正负面与中性倾向。文中同时给出无代码方案：用 Zapier 抓取推文、调用 Inference API 分析并输出到 Google Sheets。示例项目以 Tweepy 抓取 @NotionHQ 相关推文，再用 Matplotlib 和 WordCloud 可视化结果。
Hugging Face BlogAI 评分4444 Hugging Face 用 Accelerate 结合 DeepSpeed 加速大模型训练
Hugging Face 发布指南，演示如何用 Accelerate 库调用 DeepSpeed 的 ZeRO 特性来训练大模型。
Hugging Face BlogAI 评分5050 Hugging Face 发布 Evaluation on the Hub，无需写代码即可评测任意模型
Hugging Face 推出由 AutoTrain 驱动的 Evaluation on the Hub，让用户不用写一行代码就能在 Hub 上对任意模型和任意数据集进行评测。
Hugging Face BlogAI 评分2222 用 HF Mirror Optimum 将 Transformers 模型转换为 ONNX
Hugging Face 博客介绍了三种把 Transformers 模型转成 ONNX 的方式：底层 torch.onnx、中层的 transformers.onnx，以及 Optimum 的 ORTModelForXxx 类。
Hugging Face BlogAI 评分3333 Intel 加入 HF Mirror 硬件合作伙伴计划，用 Optimum Intel 加速 Transformer
Intel 正式加入 HF Mirror 硬件合作伙伴计划，双方将借助开源库 Optimum Intel 为 Transformer 的训练、微调和推理提供硬件加速。
Hugging Face BlogAI 评分2424 Graphcore 与 HF Mirror 推出新一批 IPU 就绪的 Transformer 模型
Graphcore 与 HF Mirror 扩展了开源优化库 HF Mirror Optimum 中的模型，新增 10 款专为 Graphcore IPU 优化的 Transformer 模型，覆盖 NLP、语音和计算机视觉。模型包括 GPT-2、RoBERTa、DeBERTa、BART、T5、LXMERT、ViT、HuBERT 和 Wav2Vec2，均附带 IPU 配置文件及预训练和微调权重。
Hugging Face BlogAI 评分1515 Sempre Health 如何借助 Hugging Face Expert Acceleration Program 加速 ML 路线图
Sempre Health 利用 Hugging Face 的 Expert Acceleration Program 构建了自动分类并回复患者短信的 NLP 管线，上线数周后近 20% 的入站消息由新系统自动处理，此前其规则系统只能覆盖约 80% 的消息。
Hugging Face BlogAI 评分1010 Hugging Face 对话 Salesforce、Amplitude 等 SaaS 公司 ML 总监：机器学习洞察系列第二期
Hugging Face 博客发布 Director of Machine Learning Insights 系列第二期 SaaS 特辑，邀请 Salesforce 的 Omar Rahman、Amplitude 的曹晓丹（Danica Xiao）等多位机器学习总监分享观点。
Hugging Face BlogAI 评分4747 Hugging Face Optimum 1.2 新增推理与 Transformers pipelines 支持，加速 ONNX Runtime 推理
Hugging Face Optimum 1.2 新增推理与 Transformers pipelines 支持，可借助 ONNX Runtime 加速模型推理。
Hugging Face BlogAI 评分2626 用 PyTorch FSDP 和 Accelerate 加速大模型训练
Hugging Face 介绍了如何用 Accelerate 库无需改动代码即可调用 PyTorch FullyShardedDataParallel（FSDP）训练大模型。
Hugging Face BlogAI 评分3232 Hugging Face Hub 如何用 Transformers 追踪并筛选模型的 CO2 排放
Hugging Face Hub 为 huggingface_hub 库新增 emissions_threshold 参数，可按训练排放量筛选模型，例如筛出排放不超过 100 克的 191 个模型、排放超过 500 克的 10 个模型。Transformers 则通过 codecarbon 集成，在 Trainer 训练时自动记录排放数据，生成 emissions.csv 供写入模型卡。
Hugging Face BlogAI 评分1616 Hugging Face 工程师 Lewis Tunstall 谈 transformers 与大规模模型评估
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了自己 2019 年与 Leandro von Werra 合著《NLP with Transformers》的经历，并分享了在 transformers 库中的工作：提供将 PyTorch 模型导出为 ONNX 格式的功能，用户只需一行代码即可完成转换，从而优化推理延迟与吞吐量。他还谈到大规模模型评估等话题。
Hugging Face BlogAI 评分3232 用 HF Mirror Transformers 和 AWS Inferentia 加速 BERT 推理
HF Mirror 发布端到端教程，演示如何用 HF Mirror Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face BlogAI 评分2222 Hugging Face 上线 huggingface_hub 增强版 Hub 搜索 API
Hugging Face 为 huggingface_hub 库新增 ModelSearchArguments、DatasetSearchArguments 和 ModelFilter，让用户直接在 Python 或 Jupyter 中按 pipeline 任务、数据集、框架等条件搜索 Hub 上的模型和数据集。
Hugging Face BlogAI 评分2626 Stable-Baselines3 集成至 Hugging Face Hub
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hub，模型可直接上传和加载。
Hugging Face BlogAI 评分2727 HF Mirror Infinity 案例研究：在现代 CPU 上实现毫秒级延迟
HF Mirror 公布 Infinity 推理方案在 Intel Ice Lake 版 Amazon EC2 C6i 实例上的实测结果：用 Infinity Multiverse 优化 DistilBERT 后，延迟与吞吐较 cascade-lake 实例最高提升 34%，较原生 Transformers 最高提升 800%。
Hugging Face BlogAI 评分3333 用 HuggingFace Transformers 和 Amazon SageMaker 部署 GPT-J 6B 进行推理
HuggingFace 博客介绍如何用 Amazon SageMaker 和 HuggingFace Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 做实时推理，可在 NVIDIA T4 GPU 实例（约 500 美元/月）上运行。
Hugging Face BlogAI 评分3737 Hugging Face 从零训练 GPT-2 模型 CodeParrot，自动补全 Python 代码
Hugging Face 发布教程，介绍如何从零训练 1.5B 参数的 GPT-2 large 模型 CodeParrot，用于自动补全 Python 代码。团队从 GitHub 数据中过滤出 180 GB、2000 万个 Python 文件，去重清洗后得到 50GB 数据集 codeparrot-clean，并基于 GPT-2 分词器在代码上重新训练。
Hugging Face BlogAI 评分2525 用 Optimum 在 Graphcore IPU 上快速上手 Transformer 模型
HF Mirror 与 Graphcore 合作推出 Optimum，可通过 PopTorch 在 Graphcore IPU 上加速 Transformer 模型，BERT 是首个 IPU 优化的模型。
Hugging Face BlogAI 评分2121 用 Intel 技术加速 PyTorch 分布式微调
在 Intel Xeon Scalable 处理器（Ice Lake 架构）集群上运行 PyTorch 分布式微调，可将 BERT 模型在 MRPC 数据集上的训练任务从单机扩展到 2 台、4 台服务器并测量加速比。
Hugging Face BlogAI 评分2121 Hugging Face 详解如何在现代 CPU 上扩大 BERT 类模型推理规模（下）
Hugging Face 博客第二部分聚焦 CPU 软件优化，介绍 Intel oneAPI 系列组件（oneMKL、oneDNN、oneCCL、OpenMP、oneTBB）以及 Intel TensorFlow、Intel PyTorch Extension 等定制框架。
Hugging Face BlogAI 评分2727 大语言模型：一条新的摩尔定律？
微软与 NVIDIA 发布 Megatron-Turing NLG 530B，被称为全球最大最强的生成式语言模型，训练需数百台 DGX A100 服务器、成本近 1 亿美元。作者质疑这类超大模型的价值，认为基准提升有限却带来高昂成本、复杂度与碳足迹，并建议改用预训练模型、更小模型（如 DistilBERT 保留 97% 语言理解、体积小 40%、速度快 60%）和微调来落地机器学习。
Hugging Face BlogAI 评分4040 Hugging Face 用 10 亿句对训练句嵌入模型
Hugging Face 在社区周活动中用 10 亿句对训练出 SOTA 句嵌入模型，训练跑在 7 块 TPU v3-8 上。方法采用批内负样本的对比学习目标，配合大批次、难负样本和跨数据集批次提升质量。模型与数据集已在模型卡中开源。
Hugging Face BlogAI 评分1717 机器学习即代码的时代已经到来
Hugging Face 发文称，机器学习正走向「软件吞噬机器学习」：DevOps 的版本管理、测试、自动化与部署实践应被数据科学团队直接采纳，MLOps 让模型更快进入生产环境。
Hugging Face BlogAI 评分2525 用 Gradio 在 Hugging Face Spaces 展示你的机器学习项目
Hugging Face 博客介绍如何用 Gradio 在 Spaces 中托管模型演示：通过 gr.Interface.load() 调用 Inference API 加载 Hub 上的模型，几行代码即可运行，支持 image-to-text、speech-to-text、text-to-speech 等类型。
Hugging Face BlogAI 评分2222 用 Streamlit 在 HF Mirror Spaces 上托管模型与数据集
HF Mirror 发布博客介绍如何用 Streamlit 在 HF Mirror Spaces 中托管模型和数据集，并以复刻 "Write with Transformer" 为例演示用 GPT-2、XLNet 构建文本生成 Demo。
Hugging Face BlogAI 评分3333 Hugging Face 与 Graphcore 合作，为 IPU 优化 Transformer 模型
Hugging Face 在 2021 AI Hardware Summit 上宣布启动硬件合作伙伴计划，Graphcore 作为创始成员参与，开发者可借助新开源库 Optimum 在 IPU 上部署经认证的硬件优化 Transformer 模型。首批 IPU 优化模型将于今年晚些时候上线 Optimum，覆盖视觉、语音、翻译与文本生成等场景。
Hugging Face BlogAI 评分5252 Hugging Face 发布 Optimum：面向规模化 Transformer 的优化工具包
Hugging Face 发布开源库 Optimum，目标是提供 Transformer 生产性能的优化工具包，让工程师能在特定硬件上高效训练和运行模型。
Hugging Face BlogAI 评分5252 HF Mirror Hub 接入 spaCy，支持一键上传与在线推理
HF Mirror 宣布支持 spaCy，用户可用单条命令上传 pipeline 包，自动生成 model card 和元数据。spaCy 组织下已托管超过 60 个来自 3.1 版本的官方模型，Inference API 目前开箱支持 NER，未来将加入文本分类和 POS。模型可直接 pip install，也可通过 API 或浏览器交互调用。
Hugging Face BlogAI 评分5252 Hugging Face 推出 SageMaker 推理 DLC，一行代码部署 Transformer 模型
Hugging Face 与 Amazon 合作推出 Hugging Face Inference DLC 和 SageMaker Inference Toolkit，可部署在 SageMaker 中训练的模型，也可直接从 Model Hub 的 10,000+ 公开模型中选取并部署。
Hugging Face BlogAI 评分3333 Hugging Face Hub 集成 Sentence Transformers 并新增嵌入与相似度组件
Hugging Face Hub 集成 Sentence Transformers，随 v2 版本上线 90 多个预训练模型，覆盖 100 多种语言，可在 Hub 中直接加载使用。Hub 新增 feature-extraction 与句相似度两个 widget，并提供 Inference API 供程序化调用，模型可通过 save_to_hub 一键分享并自动生成 model card。
Hugging Face BlogAI 评分3939 用 Gradio 2.0 加载与混搭 Hugging Face 模型
Gradio 2.0 发布，可用 1 行代码为 Hugging Face Model Hub 上超过 1 万个模型加载 GUI，默认调用 Hugging Face 托管的 Inference API，也可本地跑 transformers。该版本支持将多个模型并行或串联组合，例如用 3 行代码搭建翻译加摘要的应用。
Hugging Face BlogAI 评分4444 HF Mirror 如何用 CPU 扩展 BERT 推理（上）：从基线到多核与批大小扩展
HF Mirror 发布系列博客第一篇，讲如何用 CPU 优化 BERT 类模型推理，本篇聚焦硬件层面：基线测试、现代 CPU 技术考量、核心数扩展和批大小扩展。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Accelerate 库，让原始 PyTorch 训练脚本直接跑分布式与混合精度
Hugging Face 发布 Accelerate 库，面向希望完全控制训练循环的 PyTorch 用户，用五行代码改动即可在任意设备上运行原始训练脚本，支持多节点多 GPU、TPU 与混合精度。