Hugging Face Transformers 零基础入门指南:在 Space 上运行 Phi-2
Hugging Face 发布面向非技术读者的 Transformers 入门指南,从零解释开源 Python 库 Transformers、模型与数据集托管平台 Hub 和部署 ML 应用的 Spaces,并演示在 Space 上运行微软 Phi-2 LLM。
Hugging Face 发布面向非技术读者的 Transformers 入门指南,从零解释开源 Python 库 Transformers、模型与数据集托管平台 Hub 和部署 ML 应用的 Spaces,并演示在 Space 上运行微软 Phi-2 LLM。
Hugging Face 开源 WebSight 数据集,用于训练 AI 模型将网页截图转换为 HTML 代码。该数据集已从 2024 年 1 月的 v0.1 版 823,000 对样本迭代至 v0.2 版,采用真实图片截图并换用 Tailwind CSS,规模扩展至 200 万对样本。
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark,用人类越狱提示词测试前沿模型的安全鲁棒性,得分是判定为 Safe 的提示词百分比。
Hugging Face 在 PEFT 中新增了针对 LoRA 适配器的合并方法,包括 cat、linear、svd 以及基于其上的 ties 和 ties_svd,可在有限内存下按需即时合并多个适配器。
Hugging Face 推出 NPHardEval 排行榜,基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准,通过计算复杂度类量化评估 LLM 推理能力。
Patronus 团队基于 HF Mirror Leaderboard Template 发布 Enterprise Scenarios Leaderboard。
Hugging Face 发布 LLM Safety Leaderboard,基于其排行榜模板,聚焦大语言模型的安全评测。该榜单依托 DecodingTrust 平台,覆盖毒性、刻板印象偏见、对抗鲁棒性、隐私、机器伦理与公平性等八项可信度维度,并为每个维度提供红队测试算法。
IBM Research 与 Hugging Face 团队合作,将基于 MLP-Mixer 架构的轻量级时间序列模型 PatchTSMixer 发布到 Transformers 库中,支持多变量预测、分类和回归,并可预训练后迁移到下游任务。
Hugging Face 在 7B 模型上实证评测了 DPO、IPO、KTO 三种无需强化学习的 LLM 偏好对齐方法,并用 MT-Bench 打分。
Vectara 基于 HF 的 leaderboard 模板开源了 HHEM 幻觉评测榜,用于衡量 LLM 生成文档摘要时的幻觉频率,覆盖 GPT-4、Gemini、Llama 2、Mistral 7B 等模型。
Hugging Face 博客介绍社区工具 Unsloth,声称 LLM 微调速度提升 2 倍、显存占用降低 40% 且相对标准 QLoRA 精度 0% 下降。
推荐理由:原文给出了 Unsloth 与 TRL 的接入代码和 59 次基准数据,读者可据此判断自己微调任务的加速与显存收益。
Hugging Face 发布 aMUSEd,一个非扩散的文生图模型,是 Google MUSE 的开源复现版,采用 Masked Image Model 方法,推理步数更少,模型约 800M 参数。它已集成进 diffusers,发布了研究预览版并采用 OpenRAIL 许可,官方称生成质量并非最佳,同时提供训练和微调代码。
Mistral 发布 Mixtral 8x7B,采用 MoE 架构,含 base 与 Instruct 版本,支持 32k token 上下文,HumanEval 得分 40.2%,在多数基准上追平或超过 GPT-3.5,并以 Apache 2.0 许可开放。
推荐理由:Mistral 开源 MoE 模型登顶开放权重榜,文中量化数据可帮助读者判断本地部署门槛。
Intel Labs 与 Hugging Face 推出 SetFitABSA,一个基于 SetFit 库的少样本方面级情感分析(ABSA)框架,无需提示词即可训练领域专用模型,在少样本场景下甚至优于 Llama2 和 T5 等生成模型。它通过 spaCy 抽取名词类方面候选,再用两个 SetFit 模型分别完成方面/非方面分类与情感极性判定,训练只需少量标注样本。
Explosion 发布 Prodigy-HF 插件,让 Prodigy 标注工具直接集成 Hugging Face 生态,可用一条命令微调 distilbert-base-uncased 等任意 Hub 上的 transformer 模型。
Renumics Spotlight 可直接对接 Hugging Face datasets 库,用一行代码对 7 万余个公开数据集生成交互式可视化,无需复制或预处理数据。它支持结合模型预测与嵌入向量,通过相似度图、混淆矩阵等布局定位关键数据簇和模型失败模式,并可在 GUI 中保存、加载和自定义检查布局。
Hugging Face 复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences,在情感、描述性等风格任务上匹配了其学习曲线。
Hugging Face 的 TRL 库现已支持 Direct Preference Optimization(DPO),可直接用偏好数据优化语言模型,省去奖励模型和 RL 优化两步。
推荐理由:TRL 官方给出 DPO 原理与可复用代码,读者可照着在自有偏好数据上完成对齐训练。
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码,两者参数量分别比基础模型减少 35% 和 55%,图像保真度接近原模型。模型以 Realistic-Vision 4.0 为教师模型,在 LAION Art Aesthetic 数据集上训练,推理速度最高快 100%。权重和代码均已发布在 Hugging Face。
Hugging Face 的 Diffusers 库迎来一周年,已从文生图工具箱扩展出视频、3D 与图像编辑能力。
Hugging Face 推出 AI WebTV 实验性 Demo,用开源文生视频模型 Zeroscope 和音乐生成模型 MusicGen 合成内容并以直播形式播放。
Hugging Face 用实验反驳 AAAI 2023 论文对 Transformers 的质疑,指出 DLinear 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 均逊于 Autoformer(如 0.965 对 0.910)。
Hugging Face 宣布举办首届 Open Source AI Game Jam,活动时间为 7 月 7 日至 9 日,参赛者需在周末内做出一款游戏。作品须可运行于网页或 Windows,并至少使用一个开源 AI 工具,如 Stable Diffusion 可用于纹理生成、NPC 和文本转语音。任何人可个人或组队免费参加,作品按趣味性、创意和主题评分。
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做了外部安全审计,未发现可导致任意代码执行的关键安全漏洞,同时修复了格式规范中的若干不精确之处以及允许 polyglot 文件缺失验证的问题。
推荐理由:安全审计结果支撑 safetensors 成为 transformers 默认依赖与默认保存格式,并给出后续迁移节奏。
Hugging Face 基于 BigCode 的 16B 参数代码模型 StarCoder,用 OpenAssistant 的约 2.1 万条英文对话微调出对话式编程助手 StarChat,并公开代码、数据集与模型。
推荐理由:文章公开了 StarChat 的微调流程、数据格式与评测结果,可判断代码模型转对话助手的具体做法。
BigCode(Hugging Face 与 ServiceNow 联合)发布 StarCoder 和 StarCoderBase 代码大模型,基于 GitHub 宽松许可数据训练,覆盖 80+ 编程语言,约 15B 参数、训练 1 万亿 token。
推荐理由:StarCoder 是 BigCode 推出的开源代码大模型,约 15B 参数、上下文 8k,在 HumanEval 上以 40.8% 超过 CodeGen-16B-Mono 和 OpenAI code-cushman-001,并公开权重与数据集。
Hugging Face 发布 StackLLaMA 模型及完整训练流程,用 SFT、奖励模型和 RLHF 三步训练 LLaMA 在 Stack Exchange 上答题,并开源了基于 TRL 库的全部训练管线。
推荐理由:原文完整披露了 RLHF 三步训练流程和踩坑细节,读者可据此复现或在单卡上跑起自己的对齐实验。
Hugging Face 发布教程,介绍如何用 diffusers 训练 ControlNet。整个流程分三步:确定条件类型、构建含 ground truth image。
Hugging Face 将 AAAl21 最佳论文提出的 Informer 模型集成进 🤗 Transformers,用于多变量概率时间序列预测,即预测未来时间序列目标值向量的分布。
Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 两个视觉语言模型,这是 ALIGN 首次免费开源,也是 ViT、ALIGN 首次附带公开训练数据发布。
推荐理由:首个开源 ALIGN 模型连同 700M 训练数据集一并放出,读者可据此判断复现视觉语言建模的可行性。
Hugging Face 在 Mac App Store 上线 🧨Diffusers for Mac 1.1,将社区贡献的 SoTA 文生图模型转换为 Core ML,可同时调用 CPU、GPU 和 Neural Engine,部分 Mac 上生成速度最高提升至两倍。
Hugging Face Blog 发布指南,介绍 Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Transformers,可通过 Q-Former 连接冻结的图像编码器与大语言模型,完成图像描述、提示式图像描述、视觉问答和对话式提示。
Hugging Face 发布开源工具 AI vs. AI,在 Spaces 上托管多智能体竞赛,用 ELO 评分系统对提交到 Hub 的强化学习模型进行相对排名,新模型起始分为 1200。
HF Mirror 回顾其计算机视觉生态:已支持图像分类、图像分割、零样本目标检测、视频分类、深度估计等 8 个核心视觉任务,Hub 上相关模型超过 3000 个、数据集超过 100 个,且每个任务至少有 10 个模型 checkpoint 可供使用。
Elixir 社区推出 Bumblebee 库,用纯 Elixir 实现 Hugging Face Transformers,让 GPT2 到 Stable Diffusion 等模型可在 Elixir 中运行。
Hugging Face 发布蛋白质深度学习长文,面向生物学家与机器学习研究者,介绍蛋白质模型如何借鉴 BERT、GPT 等大语言模型。文章回顾 2018 年 ULMFiT 和 BERT 带来的迁移学习突破,指出其性能常相当于训练数据增加 100 倍以上,并给出微调蛋白质语言模型和用 ESMFold 做蛋白质折叠的示例 notebook。
VQ-Diffusion 是中国科学技术大学与微软提出的条件隐空间扩散模型,其加噪与去噪过程在由离散向量构成的量化隐空间上进行,有别于主流连续扩散模型。模型采用冻结的 VQ-VAE(VQGAN 变体)将图像编码为离散 token,并用编码器-解码器 Transformer 一次性预测去噪后隐变量的分布。
Hugging Face 发文梳理文档 AI 的六大用例及对应开源模型,涵盖 OCR、文档图像分类、版面分析和文档解析,并给出许可、数据准备与建模的实践指引。
Hugging Face Spaces 与 arXiv 达成合作,通过 arXivLabs 在论文页面加入 Demo 标签页,用户可直接跳转社区或作者创建的开源演示。该标签页会列出论文相关的最热门 demo,例如 BERT 论文页面可找到 200 多个社区构建的演示。Spaces 自 2021 年 10 月上线以来已累计托管超过 12,000 个开源机器学习 demo。
Hugging Face 发布教程,演示如何借助 Concrete-ML 库在全同态加密(FHE)设置下对加密数据做情感分析。方案用基于 Stanford Sentiment Treebank 微调的 BERT 提取文本隐藏表示(768 维),再交给 XGBoost 分类,并给出基于客户端/服务器协议的云端部署及 HF Mirror Spaces demo。