Hugging Face 提出 DeDLOC 协同训练方法，40 名志愿者预训练出孟加拉语模型 sahajBERT
Hugging Face 博客介绍分布式协同训练方法 DeDLOC，可自适应参与者的网络与硬件条件，并已用 40 名志愿者预训练出孟加拉语模型 sahajBERT。
#开源生态
#开源生态
今日 2 条Hugging Face BlogAI 评分5959
Hugging Face BlogAI 评分5252 HF Mirror Hub 接入 spaCy，支持一键上传与在线推理
HF Mirror 宣布支持 spaCy，用户可用单条命令上传 pipeline 包，自动生成 model card 和元数据。spaCy 组织下已托管超过 60 个来自 3.1 版本的官方模型，Inference API 目前开箱支持 NER，未来将加入文本分类和 POS。模型可直接 pip install，也可通过 API 或浏览器交互调用。
Hugging Face BlogAI 评分5252 Hugging Face 推出 SageMaker 推理 DLC，一行代码部署 Transformer 模型
Hugging Face 与 Amazon 合作推出 Hugging Face Inference DLC 和 SageMaker Inference Toolkit，可部署在 SageMaker 中训练的模型，也可直接从 Model Hub 的 10,000+ 公开模型中选取并部署。
Hugging Face BlogAI 评分3939 用 Gradio 2.0 加载与混搭 Hugging Face 模型
Gradio 2.0 发布，可用 1 行代码为 Hugging Face Model Hub 上超过 1 万个模型加载 GUI，默认调用 Hugging Face 托管的 Inference API，也可本地跑 transformers。该版本支持将多个模型并行或串联组合，例如用 3 行代码搭建翻译加摘要的应用。
Hugging Face BlogAI 评分3838 Hugging Face 与 Amazon 达成战略合作，在 SageMaker 中推出 HF Mirror 深度学习容器
Hugging Face 与 Amazon 达成战略合作，并采用 AWS 作为首选云服务商，双方推出 HF Mirror Deep Learning Containers，让用户可在 Amazon SageMaker 中训练 Hugging Face Transformer 模型。
Hugging Face BlogAI 评分2323 Hugging Face 读书会：2021 年 2 月长程 Transformer 专题
Hugging Face 2 月读书会聚焦 Transformer 的长程注意力，围绕 Longformer、Compressive Transformer、Linformer、Performer 四条路线展开。Longformer 用局部窗口加全局注意力替代标准自注意力，把显存占用从 n² 降到 wn，可线性扩展序列长度，并直接复用预训练权重微调长文档任务。
Hugging Face BlogAI 评分5252 用 DeepSpeed 和 FairScale 的 ZeRO 装下更大模型并加快训练
Hugging Face 的 transformers v4.2.0 起通过 Trainer 新增的 --sharded_ddp 和 --deepspeed 参数，实验性支持 FairScale 和 DeepSpeed 的 ZeRO 功能。
Hugging Face BlogAI 评分2626 如何用预训练语言模型 checkpoint 热启动 Encoder-Decoder 模型
Hugging Face 发布教程，详解如何用 BERT、GPT2 等预训练 encoder 或 decoder checkpoint 热启动 encoder-decoder 模型，跳过昂贵的预训练。
Hugging Face BlogAI 评分3333 将 fairseq wmt19 翻译系统移植到 transformers
Hugging Face 博客记录了将 Facebook FAIR 的 fairseq wmt19 翻译系统移植到 transformers 的过程，作者 Stas Bekman 在 Sam Shleifer 建议下完成移植，并新增 configuration_fsmt.py、modeling_fsmt.py、tokenization_fsmt.py 及转换脚本等文件。
Hugging Face BlogAI 评分3434 Hugging Face 发布 pytorch_block_sparse，用块稀疏矩阵打造更小更快的语言模型
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，其 BlockSparseLinear 可直接替代 torch.nn.Linear，让网络更小更快。
Hugging Face BlogAI 评分4545 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 演示了用改进后的 transformers 和 tokenizers 库从零训练语言模型：构建 84M 参数（6 层、768 隐藏维度、12 个注意力头，与 DistilBERT 层数头数相同）的 EsperBERTo，在 3 GB 世界语语料上预训练，并微调词性标注任务。