Hugging Face TRL 推出 RLOO Trainer，把强化学习带回 RLHF
Hugging Face 在 TRL 中推出 RLOO Trainer，一种作为 PPO 替代方案的在线 RLHF 训练算法。RLOO 显存占用比 PPO 少约 50-70%，1B 模型上速度是 PPO 的 2 倍，6.9B 模型上最高 3 倍，且只需加载策略、参考策略和奖励模型 3 份模型。其回复胜率（由 GPT4 评判）与 PPO 相当，并持续优于 DPO 等离线方法。
#数据/训练
#数据/训练
今日 12 条Hugging Face BlogAI 评分4343
Hugging Face BlogAI 评分5050 用 Sentence Transformers 训练和微调嵌入模型
Hugging Face 发布博客，介绍如何用 Sentence Transformers 训练和微调嵌入模型，也可从零训练新模型。训练流程涵盖数据集、损失函数、训练参数、评估器和 Trainer 五个组件，数据可来自 HF Hub 或本地 CSV、JSON、Parquet、Arrow、SQL；数据集列顺序须与所选损失函数匹配，且 "label" 或 "score" 列用于提供标签。
Hugging Face BlogAI 评分3131 Hugging Face 推出 Open Arabic LLM Leaderboard 阿拉伯语大模型评测榜
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），专为评估和对比阿拉伯语 LLM 性能而设，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face Blog精选AI 评分6262 StarCoder2-15B-Instruct 发布：完全透明可许可的自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个用完全可许可且透明的管线自对齐训练的代码大语言模型。它用 StarCoder2-15B 自行生成数千条指令-响应对再微调自身，不使用人工标注或大型闭源模型的蒸馏数据，在 HumanEval 上取得 72.6 分，超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由：原文公开了完全透明的自对齐数据管线，读者可据此了解不依赖 GPT-4 蒸馏也能训练代码指令模型。
Hugging Face BlogAI 评分4444 Hugging Face 开源通用智能体 JAT：一个 Transformer 玩转 157 项任务
Hugging Face 发布通用智能体项目 Jack of All Trades（JAT），基于 GPT-Neo 的 Transformer 架构，用单一网络在 Atari、BabyAI、Meta-World、MuJoCo 四个领域的 157 项任务上达到专家平均性能的 65.8%。
Hugging Face BlogAI 评分5151 Hugging Face 推出 Open Medical-LLM Leaderboard，评测医疗场景大语言模型
Open Life Science AI 在 Hugging Face 发布 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标。
Hugging Face BlogAI 评分2222 用 HF Mirror Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出的 DuckDB-NSQL-7B 是基于 Meta Llama-2-7b 微调、专为 DuckDB SQL 设计的 LLM，可生成包括 SELECT 在内的多种有效 DuckDB SQL 语句。
Hugging Face BlogAI 评分4242 Hugging Face 推出二值与标量嵌入量化，检索速度提升 32 倍、存储降低 32 倍
Hugging Face 提出嵌入量化方案：二值量化把 float32 嵌入压成 1-bit，内存与磁盘占用降低 32 倍、检索速度最高提升 32 倍，配合 float32 查询重打分的 rescore 步骤可保留约 96% 的检索性能，不做重打分则约 92.5%。标量（int8）量化可将嵌入维度精度降至 8 位。团队还演示了 4100 万条 Wikipedia 文本的真实检索场景。
Hugging Face BlogAI 评分5151 GaLore 如何用消费级硬件训练大模型
Hugging Face 介绍 GaLore 的显存优化训练方法，可将优化器状态显存降低 82.5% 以上，在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 70 亿参数的 Llama 架构模型。
Hugging Face Blog精选AI 评分6262 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件和 250 亿 token，目标是复现 Phi-1.5 的训练数据。
推荐理由：Hugging Face 公开了复现 Phi 合成预训练数据的完整流程、数据集与 1B 模型，读者可据此理解大规模合成数据的提示词设计与工程细节。
Hugging Face BlogAI 评分4242 Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 开源 WebSight 数据集，用于训练 AI 模型将网页截图转换为 HTML 代码。该数据集已从 2024 年 1 月的 v0.1 版 823,000 对样本迭代至 v0.2 版，采用真实图片截图并换用 Tailwind CSS，规模扩展至 200 万对样本。
Hugging Face BlogAI 评分3232 Argilla 与 Hugging Face 发起 Data is Better Together，共建偏好数据集并招募首批社区
Argilla 与 Hugging Face 联合发起 Data is Better Together 实验，几天内汇集 350 名社区贡献者完成超 11,000 条 prompt 评分，并发布含 10,000 条 prompt 用户评分的 10k_prompts_ranked 数据集。
Hugging Face BlogAI 评分4040 Hugging Face 详解 Matryoshka 嵌入模型：可截断的多维嵌入
Matryoshka 嵌入模型能在同一个模型下产出多种维度的可用嵌入，对 768 维向量截断到 512、256、128 或 64 维后仍可保持下游任务性能。其思路源自 Kusupati 等人 2022 年的 Matryoshka Representation Learning，把各维度的损失相加训练，让重要信息集中在前面的维度。
Hugging Face Blog精选AI 评分7070 Hugging Face 发文欢迎 Google 开源 LLM 家族 Gemma
Google 发布开源 LLM 家族 Gemma，包含 2B 和 7B 两个尺寸，各有基础版与指令微调版共 4 个模型，基于 Gemini 打造，上下文长度 8K tokens，可在消费级 GPU、TPU 甚至 CPU 与端侧设备上运行。
推荐理由：Google 开源 Gemma 2B 与 7B 双尺寸模型，本文给出 8K 上下文、消费级硬件运行及与 Transformers 生态的完整集成路径。
Hugging Face BlogAI 评分4848 Hugging Face PEFT 新增 LoRA 适配器合并方法
Hugging Face 在 PEFT 中新增了针对 LoRA 适配器的合并方法，包括 cat、linear、svd 以及基于其上的 ties 和 ties_svd，可在有限内存下按需即时合并多个适配器。
Hugging Face Blog精选AI 评分6767 Hugging Face：用开源合成数据低成本训练定制模型
Hugging Face 博客以金融新闻投资者情绪识别为例，展示用开源 Mixtral-8x7B-Instruct-v0.1 生成合成数据、再用 AutoTrain 蒸馏出约 0.13B 参数的 RoBERTa 分类模型的流程。
推荐理由：以金融情绪识别为例，给出用开源 LLM 生成合成数据再蒸馏小模型的可复用流程与成本对比。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布开源大模型 Constitutional AI 端到端配方
Hugging Face 公开了一套用开源模型做 Constitutional AI 的端到端配方，覆盖自我批判、修订、SFT 与 DPO 全流程，并发布了 Anthropic constitution 与 Grok 风格两个版本的 CAI 数据集，以及基于 Mistral-7B 的 DPO/SFT 模型。
推荐理由：Hugging Face 公开了一套在开源模型上做 Constitutional AI 的完整配方，包括数据集、模型与集群推理工具，便于复现细粒度对齐。
Hugging Face BlogAI 评分3434 IBM Research 联合 Hugging Face 发布 PatchTSMixer 时间序列模型
IBM Research 与 Hugging Face 团队合作，将基于 MLP-Mixer 架构的轻量级时间序列模型 PatchTSMixer 发布到 Transformers 库中，支持多变量预测、分类和回归，并可预训练后迁移到下游任务。
Hugging Face BlogAI 评分3232 Hugging Face 评测 DPO、IPO、KTO：三种无需强化学习的 LLM 偏好对齐方法
Hugging Face 在 7B 模型上实证评测了 DPO、IPO、KTO 三种无需强化学习的 LLM 偏好对齐方法，并用 MT-Bench 打分。
The GradientAI 评分2424 深度学习如何推动单细胞测序：观察细胞多样性的显微镜
单细胞测序（sc-seq）技术能在单个细胞层面测序 DNA 与 RNA，用于研究细胞异质性；2013 年 Nature 将其中的单细胞 RNA 测序选为年度方法。自 2016 年起持续收录相关软件的 scRNA-tools 数据库，到 2021 年已包含超过 1000 个工具，其中许多方法借助深度学习技术，这也是文章关注的重点。
Hugging Face Blog精选AI 评分6666 用 Unsloth 和 🤗 TRL 让 LLM 微调提速 2 倍
Hugging Face 博客介绍社区工具 Unsloth，声称 LLM 微调速度提升 2 倍、显存占用降低 40% 且相对标准 QLoRA 精度 0% 下降。
推荐理由：原文给出了 Unsloth 与 TRL 的接入代码和 59 次基准数据，读者可据此判断自己微调任务的加速与显存收益。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 diffusers 版 SDXL LoRA 高级训练脚本
Hugging Face 发布 SDXL LoRA 高级训练脚本，把 Pivotal Tuning 与 Prodigy 优化器等社区 SOTA 做法整合进 diffusers，并提供 Colab 与带 UI 的训练 Space。
推荐理由：整理 SDXL Dreambooth LoRA 微调的社区最佳实践，包括 Pivotal Tuning、Prodigy 优化器与数据集构建等可复用方法。
The GradientAI 评分2424 Salmon in the Loop：水电大坝的鱼类计数与人类参与式数据集生产
作者以顾问身份参与大型水电大坝的鱼类计数项目，这类计数是满足 FERC 监管要求、证明大坝未危害濒危鲑鱼种群的核心数据集。计数依赖受过训练的人员目视识别鱼种、健康状况及野生或孵化场来源，但存在转录错误、分类争议，且各运营方在采集频率（小时/日/月）和季节（特定洄游期）上标准不一。
Hugging Face BlogAI 评分4747 Hugging Face 详解混合专家模型（MoE）：从 Mixtral 8x7B 说起
Hugging Face 发布混合专家（MoE）模型科普长文，结合 Mixtral 8x7B 的发布梳理 MoE 的构成、训练与推理权衡。MoE 用稀疏 MoE 层替换 Transformer 的 FFN 层，由路由器决定 token 分配到哪些专家，预训练更快、推理快于同等参数量的稠密模型，但需高显存，如 Mixtral 8x7B 需容纳 47B 参数。
Hugging Face BlogAI 评分3535 Hugging Face 与 Intel Labs 推出 SetFitABSA：用 SetFit 实现少样本方面级情感分析
Intel Labs 与 Hugging Face 推出 SetFitABSA，一个基于 SetFit 库的少样本方面级情感分析（ABSA）框架，无需提示词即可训练领域专用模型，在少样本场景下甚至优于 Llama2 和 T5 等生成模型。它通过 spaCy 抽取名词类方面候选，再用两个 SetFit 模型分别完成方面/非方面分类与情感极性判定，训练只需少量标注样本。
Hugging Face BlogAI 评分2727 Open LLM Leaderboard 深度排查：DROP 基准为何集体低分
Hugging Face 对 Open LLM Leaderboard 新增的 DROP 基准做深度排查，发现绝大多数模型 f1-score 低于 10。原因是归一化在数字后跟非空格空白符时失效，且用 "." 作为停止词会截断浮点答案、拖累长回答模型；改用 \n 切分后分数与整体表现的相关性明显提升。
Hugging Face BlogAI 评分2626 RoBERTa、Llama 2 与 Mistral 7B 灾害推文分类性能对比：基于 LoRA 微调
一篇博客用 LoRA 微调 RoBERTa-large、Llama-2-7b 和 Mistral-7B-v0.1 三个预训练模型，在 twitter_disaster 数据集上对比灾害推文序列分类性能，实验在单张 48GB A6000 上完成。
Hugging Face BlogAI 评分3333 Explosion 推出 Prodigy-HF：直接集成 Hugging Face 生态
Explosion 发布 Prodigy-HF 插件，让 Prodigy 标注工具直接集成 Hugging Face 生态，可用一条命令微调 distilbert-base-uncased 等任意 Hub 上的 transformer 模型。
Hugging Face Blog精选AI 评分6262 Personal Copilot：如何训练自己的代码助手
Hugging Face 博客介绍了 HugCoder 的构建流程，用 top 10 公开仓库代码微调 StarCoder，使其补全自家代码库。
推荐理由：完整给出从代码数据采集到 QLoRA 微调 StarCoder、再接入 VS Code 的全流程与成本对比，可迁移到自有代码库。
Hugging Face BlogAI 评分3838 用一行代码交互式探索你的 Hugging Face 数据集
Renumics Spotlight 可直接对接 Hugging Face datasets 库，用一行代码对 7 万余个公开数据集生成交互式可视化，无需复制或预处理数据。它支持结合模型预测与嵌入向量，通过相似度图、混淆矩阵等布局定位关键数据簇和模型失败模式，并可在 GUI 中保存、加载和自定义检查布局。
Hugging Face BlogAI 评分3434 Hugging Face TRL 集成 DDPOTrainer，用强化学习微调 Stable Diffusion
Hugging Face 在 TRL 库中新增 DDPOTrainer，让开发者能用 DDPO 算法配合强化学习微调 Stable Diffusion 等扩散模型，使其输出更符合人类审美偏好。
Hugging Face Blog精选AI 评分7878 TII 的 Falcon 180B 上线 Hugging Face，1800 亿参数开源模型发布
TII 发布 1800 亿参数的 Falcon 180B，并在 Hugging Face 上线 base 与 chat 版本，训练使用 3.5 万亿 token，共约 7,000,000 GPU 小时。
推荐理由：TII 的 Falcon 180B 登陆 Hugging Face，原文给出与 Llama 2、PaLM-2 的评测对比和显存、量化配置门槛。
Hugging Face Blog精选AI 评分6161 用 TRL 的 DPO 方法微调 Llama 2
Hugging Face 的 TRL 库现已支持 Direct Preference Optimization（DPO），可直接用偏好数据优化语言模型，省去奖励模型和 RL 优化两步。
推荐理由：TRL 官方给出 DPO 原理与可复用代码，读者可照着在自有偏好数据上完成对齐训练。
Hugging Face BlogAI 评分2727 Hugging Face 用机器学习为 Hub 数据集补全语言元数据
Hugging Face 正用机器学习检测 Hub 上缺少语言元数据的数据集语言，并通过 librarian-bots 提交 PR 补全。
Hugging Face BlogAI 评分2929 Zama 用全同态加密（FHE）在加密数据上运行 GPT2 推理
Zama 展示了如何基于 HF Mirror transformers 库，用全同态加密（FHE）与 Concrete-Python 改造 GPT2 的推理流程，让多注意力头的一部分计算在加密数据上由服务器完成，从而同时保护用户数据隐私与模型 IP。
Hugging Face BlogAI 评分4343 Hugging Face 开源文本生成与 LLM 生态全景
Hugging Face 发布博客梳理其开源文本生成与 LLM 生态，涵盖因果语言模型与 text-to-text 模型、许可协议、LLM 服务工具及 PEFT 微调。
Hugging Face BlogAI 评分1313 Writer 如何借助 HF Mirror 应对复杂生成式 AI 用例
HF Mirror 对话 Writer 联合创始人兼 CTO Waseem Alshikh，回顾其从 HF Mirror 用户、客户到开源模型贡献者的历程。对话涉及 Writer 的创业初衷、当下生成式 AI 的最大误解，以及其在 CPU 和 GPU 上规模化部署 LLM 的生产实践与效率考量。
Hugging Face BlogAI 评分3434 Habana Gaudi2 如何加速 BridgeTower 视觉语言模型微调
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 视觉语言模型，相比 A100 提速 2.5 倍，相比 H100 提速 1.4 倍。
Hugging Face BlogAI 评分4444 Open LLM Leaderboard 的 MMLU 分数为何与 LLaMA 论文对不上
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文报告值。原因是同一 MMLU 基准存在 EleutherAI LM Evaluation Harness、Stanford HELM 和 UC Berkeley 原始实现三套代码，对同一批模型给出的分数差异很大，甚至改变模型排名顺序。
Hugging Face BlogAI 评分2020 Hugging Face 面向 GLAM 机构的 Hub 使用指南
Hugging Face 发布面向美术馆、图书馆、档案馆与博物馆（GLAM）机构的 Hub 使用指南，帮助该领域从业者查找模型并上传数据集。Hub 目前托管超 190,000 个模型、33,000 个数据集和逾 100,000 个 ML 应用与演示，可按任务和语言筛选，支持 API 部署，也能直接上传 CSV 数据集。