用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 做摘要
Hugging Face 与 Amazon SageMaker 合作推出经 🤗 Transformers 优化的深度学习容器，并可通过 SageMaker Python SDK 中的 HuggingFace estimator 一行代码启动训练。
#部署/工程
#部署/工程
今日 3 条Hugging Face BlogAI 评分3535
Hugging Face BlogAI 评分3838 Hugging Face 与 Amazon 达成战略合作，在 SageMaker 中推出 HF Mirror 深度学习容器
Hugging Face 与 Amazon 达成战略合作，并采用 AWS 作为首选云服务商，双方推出 HF Mirror Deep Learning Containers，让用户可在 Amazon SageMaker 中训练 Hugging Face Transformer 模型。
Hugging Face BlogAI 评分1111 我的无服务器 Transformers 情感分析部署之旅：从 Google Cloud 到 Cloud Run
社区成员 Maxence Dominici 将 Transformers 情感分析 pipeline 部署到 Google Cloud，最终方案基于 DistilBERT base uncased finetuned SST-2 模型，用 PyTorch 加载，通过 Flask 提供 GET 接口并打包为 Docker 镜像运行在 Cloud Run 上。
Hugging Face BlogAI 评分3333 Hugging Face Transformers 与 Ray 集成：RAG 文档检索提速 2 倍
Hugging Face Transformers 与 Ray 集成，用于 RAG 的上下文文档检索，单次检索调用相比 torch.distributed 实现提速 2 倍，并提升了 RAG 分布式微调的可扩展性。
Hugging Face BlogAI 评分5757 HF Mirror 支持用 PyTorch/XLA 在 Cloud TPU 上训练 Transformer
HF Mirror 与 PyTorch/XLA 团队合作，将 Cloud TPU 训练支持集成进 HF Mirror 库，用户可在保持原有 Trainer 接口不变的情况下把模型跑在 Cloud TPU 上。
Hugging Face BlogAI 评分3232 HF Mirror Transformers 中的 TensorFlow 模型提速
HF Mirror Transformers 发布了 TensorFlow 模型的计算性能改进，BERT、RoBERTa、ELECTRA 和 MPNet 在 graph/eager 模式、TF Serving 及 CPU/GPU/TPU 上均获得加速。
Hugging Face BlogAI 评分5252 用 DeepSpeed 和 FairScale 的 ZeRO 装下更大模型并加快训练
Hugging Face 的 transformers v4.2.0 起通过 Trainer 新增的 --sharded_ddp 和 --deepspeed 参数，实验性支持 FairScale 和 DeepSpeed 的 ZeRO 功能。
Hugging Face BlogAI 评分2828 Hugging Face 如何为 API 客户将 Transformer 推理提速 100 倍
Hugging Face 通过组合 Transformers 与 Tokenizers 库的高效方法，先获得约 10 倍推理加速，再针对目标硬件编译并优化模型，最终实现 100 倍提速。其中 Tokenizers 借助 Rust 实现与缓存，可将整体延迟最多降低 10 倍；后 10 倍则依赖图优化、层融合与量化等 CPU 或 GPU 专属手段，这一提速是实时消费级应用可接受延迟的门槛。
Hugging Face BlogAI 评分4949 HF Mirror Transformers 与 Ray Tune 集成实现超参数搜索
HF Mirror Transformers 在 3.1 版本中与 Ray Tune 集成，用户可通过 Trainer 的 hyperparameter_search 接口调用 HyperBand、Bayesian Optimization、Population-Based Training 等算法。
Hugging Face BlogAI 评分3434 Hugging Face 发布 pytorch_block_sparse，用块稀疏矩阵打造更小更快的语言模型
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，其 BlockSparseLinear 可直接替代 torch.nn.Linear，让网络更小更快。
Hugging Face BlogAI 评分4646 Reformer 如何用不到 8GB 内存训练 50 万 token 序列
Hugging Face 博客详解 Reformer 模型如何以不到 8GB 内存训练长达 50 万 token 的序列，而 bert-base-uncased 的输入长度上限仅 512 token。