HF Mirror Hub 接入 spaCy，支持一键上传与在线推理
HF Mirror 宣布支持 spaCy，用户可用单条命令上传 pipeline 包，自动生成 model card 和元数据。spaCy 组织下已托管超过 60 个来自 3.1 版本的官方模型，Inference API 目前开箱支持 NER，未来将加入文本分类和 POS。模型可直接 pip install，也可通过 API 或浏览器交互调用。
#部署/工程
#部署/工程
今日 10 条Hugging Face BlogAI 评分5252
Hugging Face BlogAI 评分5252 Hugging Face 推出 SageMaker 推理 DLC，一行代码部署 Transformer 模型
Hugging Face 与 Amazon 合作推出 Hugging Face Inference DLC 和 SageMaker Inference Toolkit，可部署在 SageMaker 中训练的模型，也可直接从 Model Hub 的 10,000+ 公开模型中选取并部署。
Hugging Face BlogAI 评分3333 Hugging Face Hub 集成 Sentence Transformers 并新增嵌入与相似度组件
Hugging Face Hub 集成 Sentence Transformers，随 v2 版本上线 90 多个预训练模型，覆盖 100 多种语言，可在 Hub 中直接加载使用。Hub 新增 feature-extraction 与句相似度两个 widget，并提供 Inference API 供程序化调用，模型可通过 save_to_hub 一键分享并自动生成 model card。
Hugging Face BlogAI 评分3939 用 Gradio 2.0 加载与混搭 Hugging Face 模型
Gradio 2.0 发布，可用 1 行代码为 Hugging Face Model Hub 上超过 1 万个模型加载 GUI，默认调用 Hugging Face 托管的 Inference API，也可本地跑 transformers。该版本支持将多个模型并行或串联组合，例如用 3 行代码搭建翻译加摘要的应用。
Hugging Face BlogAI 评分4444 HF Mirror 如何用 CPU 扩展 BERT 推理（上）：从基线到多核与批大小扩展
HF Mirror 发布系列博客第一篇，讲如何用 CPU 优化 BERT 类模型推理，本篇聚焦硬件层面：基线测试、现代 CPU 技术考量、核心数扩展和批大小扩展。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Accelerate 库，让原始 PyTorch 训练脚本直接跑分布式与混合精度
Hugging Face 发布 Accelerate 库，面向希望完全控制训练循环的 PyTorch 用户，用五行代码改动即可在任意设备上运行原始训练脚本，支持多节点多 GPU、TPU 与混合精度。
Hugging Face BlogAI 评分3535 用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 做摘要
Hugging Face 与 Amazon SageMaker 合作推出经 🤗 Transformers 优化的深度学习容器，并可通过 SageMaker Python SDK 中的 HuggingFace estimator 一行代码启动训练。
Hugging Face BlogAI 评分3838 Hugging Face 与 Amazon 达成战略合作，在 SageMaker 中推出 HF Mirror 深度学习容器
Hugging Face 与 Amazon 达成战略合作，并采用 AWS 作为首选云服务商，双方推出 HF Mirror Deep Learning Containers，让用户可在 Amazon SageMaker 中训练 Hugging Face Transformer 模型。
Hugging Face BlogAI 评分1111 我的无服务器 Transformers 情感分析部署之旅：从 Google Cloud 到 Cloud Run
社区成员 Maxence Dominici 将 Transformers 情感分析 pipeline 部署到 Google Cloud，最终方案基于 DistilBERT base uncased finetuned SST-2 模型，用 PyTorch 加载，通过 Flask 提供 GET 接口并打包为 Docker 镜像运行在 Cloud Run 上。
Hugging Face BlogAI 评分3333 Hugging Face Transformers 与 Ray 集成：RAG 文档检索提速 2 倍
Hugging Face Transformers 与 Ray 集成，用于 RAG 的上下文文档检索，单次检索调用相比 torch.distributed 实现提速 2 倍，并提升了 RAG 分布式微调的可扩展性。
Hugging Face BlogAI 评分5757 HF Mirror 支持用 PyTorch/XLA 在 Cloud TPU 上训练 Transformer
HF Mirror 与 PyTorch/XLA 团队合作，将 Cloud TPU 训练支持集成进 HF Mirror 库，用户可在保持原有 Trainer 接口不变的情况下把模型跑在 Cloud TPU 上。
Hugging Face BlogAI 评分3232 HF Mirror Transformers 中的 TensorFlow 模型提速
HF Mirror Transformers 发布了 TensorFlow 模型的计算性能改进，BERT、RoBERTa、ELECTRA 和 MPNet 在 graph/eager 模式、TF Serving 及 CPU/GPU/TPU 上均获得加速。
Hugging Face BlogAI 评分5252 用 DeepSpeed 和 FairScale 的 ZeRO 装下更大模型并加快训练
Hugging Face 的 transformers v4.2.0 起通过 Trainer 新增的 --sharded_ddp 和 --deepspeed 参数，实验性支持 FairScale 和 DeepSpeed 的 ZeRO 功能。
Hugging Face BlogAI 评分2828 Hugging Face 如何为 API 客户将 Transformer 推理提速 100 倍
Hugging Face 通过组合 Transformers 与 Tokenizers 库的高效方法，先获得约 10 倍推理加速，再针对目标硬件编译并优化模型，最终实现 100 倍提速。其中 Tokenizers 借助 Rust 实现与缓存，可将整体延迟最多降低 10 倍；后 10 倍则依赖图优化、层融合与量化等 CPU 或 GPU 专属手段，这一提速是实时消费级应用可接受延迟的门槛。
Hugging Face BlogAI 评分4949 HF Mirror Transformers 与 Ray Tune 集成实现超参数搜索
HF Mirror Transformers 在 3.1 版本中与 Ray Tune 集成，用户可通过 Trainer 的 hyperparameter_search 接口调用 HyperBand、Bayesian Optimization、Population-Based Training 等算法。
Hugging Face BlogAI 评分3434 Hugging Face 发布 pytorch_block_sparse，用块稀疏矩阵打造更小更快的语言模型
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，其 BlockSparseLinear 可直接替代 torch.nn.Linear，让网络更小更快。
Hugging Face BlogAI 评分4646 Reformer 如何用不到 8GB 内存训练 50 万 token 序列
Hugging Face 博客详解 Reformer 模型如何以不到 8GB 内存训练长达 50 万 token 的序列，而 bert-base-uncased 的输入长度上限仅 512 token。