Hugging Face Transformers 与 Ray 集成：RAG 文档检索提速 2 倍
Hugging Face Transformers 与 Ray 集成，用于 RAG 的上下文文档检索，单次检索调用相比 torch.distributed 实现提速 2 倍，并提升了 RAG 分布式微调的可扩展性。
#Hugging Face
#Hugging Face
今日 1 条Hugging Face BlogAI 评分3333
Hugging Face BlogAI 评分5757 HF Mirror 支持用 PyTorch/XLA 在 Cloud TPU 上训练 Transformer
HF Mirror 与 PyTorch/XLA 团队合作，将 Cloud TPU 训练支持集成进 HF Mirror 库，用户可在保持原有 Trainer 接口不变的情况下把模型跑在 Cloud TPU 上。
Hugging Face BlogAI 评分3232 HF Mirror Transformers 中的 TensorFlow 模型提速
HF Mirror Transformers 发布了 TensorFlow 模型的计算性能改进，BERT、RoBERTa、ELECTRA 和 MPNet 在 graph/eager 模式、TF Serving 及 CPU/GPU/TPU 上均获得加速。
Hugging Face BlogAI 评分5252 用 DeepSpeed 和 FairScale 的 ZeRO 装下更大模型并加快训练
Hugging Face 的 transformers v4.2.0 起通过 Trainer 新增的 --sharded_ddp 和 --deepspeed 参数，实验性支持 FairScale 和 DeepSpeed 的 ZeRO 功能。
Hugging Face BlogAI 评分2828 Hugging Face 如何为 API 客户将 Transformer 推理提速 100 倍
Hugging Face 通过组合 Transformers 与 Tokenizers 库的高效方法，先获得约 10 倍推理加速，再针对目标硬件编译并优化模型，最终实现 100 倍提速。其中 Tokenizers 借助 Rust 实现与缓存，可将整体延迟最多降低 10 倍；后 10 倍则依赖图优化、层融合与量化等 CPU 或 GPU 专属手段，这一提速是实时消费级应用可接受延迟的门槛。
Hugging Face BlogAI 评分2626 如何用预训练语言模型 checkpoint 热启动 Encoder-Decoder 模型
Hugging Face 发布教程，详解如何用 BERT、GPT2 等预训练 encoder 或 decoder checkpoint 热启动 encoder-decoder 模型，跳过昂贵的预训练。
Hugging Face BlogAI 评分3333 将 fairseq wmt19 翻译系统移植到 transformers
Hugging Face 博客记录了将 Facebook FAIR 的 fairseq wmt19 翻译系统移植到 transformers 的过程，作者 Stas Bekman 在 Sam Shleifer 建议下完成移植，并新增 configuration_fsmt.py、modeling_fsmt.py、tokenization_fsmt.py 及转换脚本等文件。
Hugging Face BlogAI 评分4949 HF Mirror Transformers 与 Ray Tune 集成实现超参数搜索
HF Mirror Transformers 在 3.1 版本中与 Ray Tune 集成，用户可通过 Trainer 的 hyperparameter_search 接口调用 HyperBand、Bayesian Optimization、Population-Based Training 等算法。
Hugging Face BlogAI 评分2525 Hugging Face 详解 Transformer 编码器-解码器模型及其推理原理
Hugging Face 发布博客，详解 Transformer 编码器-解码器架构如何建模序列到序列问题，重点拆解编码器与解码器两部分及其在推理中的用法。文章指出 T5、Bart、Pegasus、ProphetNet、Marge 等模型虽在预训练目标上各有研究，但架构基本未变，并展示了如何在 🤗Transformers 中进行推理。
Hugging Face BlogAI 评分3434 Hugging Face 发布 pytorch_block_sparse，用块稀疏矩阵打造更小更快的语言模型
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，其 BlockSparseLinear 可直接替代 torch.nn.Linear，让网络更小更快。
Hugging Face BlogAI 评分4646 Reformer 如何用不到 8GB 内存训练 50 万 token 序列
Hugging Face 博客详解 Reformer 模型如何以不到 8GB 内存训练长达 50 万 token 的序列，而 bert-base-uncased 的输入长度上限仅 512 token。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 生成文本：语言生成的不同解码方法
Hugging Face 博客介绍了自回归语言生成的几种主流解码方法，包括贪心搜索、beam search、采样、Top-K 与 Top-p（nucleus）采样，并给出在 transformers 库中用 GPT2 实现每种方法的代码示例。
推荐理由：系统梳理贪心、beam search 与多种采样策略的取舍，并给出可直接运行的 transformers 代码示例。
Hugging Face BlogAI 评分4545 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 演示了用改进后的 transformers 和 tokenizers 库从零训练语言模型：构建 84M 参数（6 层、768 隐藏维度、12 个注意力头，与 DistilBERT 层数头数相同）的 EsperBERTo，在 3 GB 世界语语料上预训练，并微调词性标注任务。