Hugging Face 将 Intel OpenVINO 集成进 Optimum Intel,加速 Transformer 模型推理
Hugging Face 将 Intel OpenVINO 加入 Optimum Intel,用户可用 OpenVINO Runtime 在多种 Intel 处理器上对 Transformers 模型做推理,并借助 NNCF 在数分钟内完成量化、降低模型体积与预测延迟。
Hugging Face 将 Intel OpenVINO 加入 Optimum Intel,用户可用 OpenVINO Runtime 在多种 Intel 处理器上对 Transformers 模型做推理,并借助 NNCF 在数分钟内完成量化、降低模型体积与预测延迟。
Hugging Face 推出 HF Mirror Inference Endpoints,可从 Hub 直接部署模型到托管基础设施,支持单 GPU 实例、自动扩缩容与自定义容器。端点提供 Public、Protected、Private 三档访问控制,Private 通过 AWS PrivateLink 的 VPC Endpoint 仅在自有 AWS 账户内可访问。
Hugging Face Diffusers 从 0.5.1 版本起支持 Flax,Stable Diffusion 由此可在 Google TPU 上进行推理,每个 TPU 服务器有 8 个加速器并行工作,可同时生成 8 张图像。
Hugging Face 宣布用户可直接在 Hub 的仓库设置中为模型或数据集生成 DOI,其他人在模型/数据集页面点击"Cite this model/dataset"即可引用。该功能通过与 DataCite 合作实现,DOI 绑定了对象的 URL、版本、创建日期等元数据,并可通过更新 DOI 来区分模型或数据集的不同版本。
Hugging Face 在 Evaluation on the Hub 上线零样本分类评测,任何 Hub 上的因果语言模型都能在无需编写代码的情况下进行零样本评测,目前支持最高 66B 参数的模型。
Hugging Face 的 AutoTrain 新增图像分类任务,用户无需编写代码,只需上传数据并选择候选模型数量即可开始训练。示例中 AutoTrain 启动 5 个模型进行对比,表现不佳的模型被自动停止以节省资源,最佳模型达到 84% 准确率,使用 5 个候选模型且图片少于 500 张时可免费训练。训练完成的模型可发布到 Hub 并通过内置推理组件试用。
Hugging Face 发布 diffusers 0.3,新增图生图(Image to Image)pipeline、实验性 Inpainting pipeline 和 Textual Inversion,用户可用 3-5 张样本让 Stable Diffusion 学习新概念并分享。
Hugging Face 推出 Skops 库,可将 scikit-learn 模型托管到 Hugging Face Hub,并为其创建模型卡实现文档化与协作。Skops 提供 hub_utils.init 初始化本地仓库,自动记录模型环境依赖、任务类型与示例输入,以启用推理 widget 和模型发现功能;同时通过 Card 类支持编程式写入元数据、指标与图表,最终推送到 Hub。
Hugging Face 发布 Private Hub(PH),为企业在安全合规前提下提供覆盖机器学习全生命周期的统一工具集,整合模型、数据集与 Spaces,并支持组织协作与访问控制。官方称约 90% 的机器学习模型从未进入生产环境,PH 旨在解决工具陌生、工作流非标准、资产无法内部共享等痛点。该产品已于 2023 年 6 月更名为 Enterprise Hub,原本地部署方案已停止提供。
Hugging Face 推出由 AutoTrain 驱动的 Evaluation on the Hub,让用户不用写一行代码就能在 Hub 上对任意模型和任意数据集进行评测。
Graphcore 与 HF Mirror 扩展了开源优化库 HF Mirror Optimum 中的模型,新增 10 款专为 Graphcore IPU 优化的 Transformer 模型,覆盖 NLP、语音和计算机视觉。模型包括 GPT-2、RoBERTa、DeBERTa、BART、T5、LXMERT、ViT、HuBERT 和 Wav2Vec2,均附带 IPU 配置文件及预训练和微调权重。
Hugging Face Hub 上线 Pull Requests 与 Discussions,所有模型、数据集和 Spaces 仓库即日起可在 Community 标签页使用,任何社区成员都能创建和参与。
Gradio 3.0 发布,对前端做了全面重新设计并改用 Svelte 等现代技术,页面体积更小、加载更快,同时更新了 Dataframe 组件并新增 Gallery 和 TabbedInterface。
推荐理由:Gradio 3.0 用 Svelte 重写前端并推出 Blocks,读者可了解这套 Python 演示工具在布局与数据流控制上的能力变化。
fastai 与 Hugging Face Hub 完成集成,开发者现在可以用一行 Python 把 fastai Learner 分享和上传到 Hub。上传需预装 fastai>=2.4、fastcore>=1.3.27 和 toml,安装 huggingface_hub["fastai"] 即可;加载模型同样只需 from_pretrained_fastai 一个函数。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hub,并发布 Gym 环境下 Walker2d、Hopper、Halfcheetah 等连续控制任务的 9 个预训练 checkpoint。
Hugging Face 为 huggingface_hub 库新增 ModelSearchArguments、DatasetSearchArguments 和 ModelFilter,让用户直接在 Python 或 Jupyter 中按 pipeline 任务、数据集、框架等条件搜索 Hub 上的模型和数据集。
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hub,模型可直接上传和加载。
HF Mirror 公布 Infinity 推理方案在 Intel Ice Lake 版 Amazon EC2 C6i 实例上的实测结果:用 Infinity Multiverse 优化 DistilBERT 后,延迟与吞吐较 cascade-lake 实例最高提升 34%,较原生 Transformers 最高提升 800%。
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight 1vs1,玩家可在该 Unity ML-Agents 游戏中向深度强化学习智能体投掷雪球,环境已托管于 Hugging Face Spaces 并可在线试玩。训练环境已开源发布在 Hugging Face Hub,后续将推出技术教程及采用 MA-POCA 算法的 2vs2 协作版本。
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool,基于 Dataset 和 Spaces Hub 搭配 Streamlit 构建,可在线构建、测量和对比数据集。
HuggingFace 课程第二部分将于 11 月 15 日发布,聚焦 token 分类、语言建模、翻译、摘要和问答等 NLP 任务,并深入讲解 Datasets 与 Tokenizers。配套社区活动含两天讲座与团队微调项目,AWS 通过 Amazon SageMaker 提供免费算力,完成 demo 可获结业证书。
Hugging Face 博客介绍如何用 Gradio 在 Spaces 中托管模型演示:通过 gr.Interface.load() 调用 Inference API 加载 Hub 上的模型,几行代码即可运行,支持 image-to-text、speech-to-text、text-to-speech 等类型。
Hugging Face 夏季更新中,Hub 公开模型仓库从 1 万个增至超 1.6 万个,并推出托管 ML 演示应用的 Spaces 测试版,支持 Gradio 和 Streamlit。
Hugging Face 发布开源库 Optimum,目标是提供 Transformer 生产性能的优化工具包,让工程师能在特定硬件上高效训练和运行模型。
HF Mirror 宣布支持 spaCy,用户可用单条命令上传 pipeline 包,自动生成 model card 和元数据。spaCy 组织下已托管超过 60 个来自 3.1 版本的官方模型,Inference API 目前开箱支持 NER,未来将加入文本分类和 POS。模型可直接 pip install,也可通过 API 或浏览器交互调用。
Hugging Face 与 Amazon 合作推出 Hugging Face Inference DLC 和 SageMaker Inference Toolkit,可部署在 SageMaker 中训练的模型,也可直接从 Model Hub 的 10,000+ 公开模型中选取并部署。
Hugging Face Hub 集成 Sentence Transformers,随 v2 版本上线 90 多个预训练模型,覆盖 100 多种语言,可在 Hub 中直接加载使用。Hub 新增 feature-extraction 与句相似度两个 widget,并提供 Inference API 供程序化调用,模型可通过 save_to_hub 一键分享并自动生成 model card。
Hugging Face 发布 Accelerate 库,面向希望完全控制训练循环的 PyTorch 用户,用五行代码改动即可在任意设备上运行原始训练脚本,支持多节点多 GPU、TPU 与混合精度。
HF Mirror Transformers 发布了 TensorFlow 模型的计算性能改进,BERT、RoBERTa、ELECTRA 和 MPNet 在 graph/eager 模式、TF Serving 及 CPU/GPU/TPU 上均获得加速。