Hugging Face 研究：大语言模型能像人类一样标注数据吗？
Hugging Face 用 327 条提示词（含 25 条编程类）对 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 四个开源指令模型做盲测，由 Scale AI 标注者按 1-8 Likert 量表打分并生成 Elo 排名，Vicuna-13B 以 1140 居首，Dolly-12B 以 802 垫底。
#数据/训练
#数据/训练
今日 12 条Hugging Face BlogAI 评分4848
Hugging Face BlogAI 评分3636 Hugging Face Hub 支持用 DuckDB 对 5 万+ 数据集运行 SQL 查询
Hugging Face Hub 新增功能，可直接用 DuckDB 对 Hub 上任意公开数据集运行 SQL 查询。数据集查看器会自动把所有公开数据集转换为 Parquet 文件（大数据集按 500MB 分片），用户通过 /parquet 端点获取 URL 后，加载 httpfs 扩展即可查询远程文件。
Hugging Face BlogAI 评分2626 fastText 正式上线 Hugging Face Hub
Meta AI 开源的文本表示与分类库 fastText 现已上线 Hugging Face Hub，官方托管全部 157 种语言的词向量以及最新语言识别模型。用户可通过几行命令下载使用，并支持文本分类与特征提取 widget。
Hugging Face Blog精选AI 评分7272 Falcon 模型已接入 Hugging Face 生态
Hugging Face 发布博客介绍阿布扎比 TII 以 Apache 2.0 开源的 Falcon 系列模型，包括 Falcon-40B 和 Falcon-7B 及其 Instruct 版本，并给出在 HF 生态中运行与微调的具体做法。
推荐理由：HF 官方给出 Falcon 40B/7B 从推理、量化到 QLoRA 微调的可复用命令与显存要求，便于在自己硬件上复现。
Hugging Face Blog精选AI 评分8080 Hugging Face 用 bitsandbytes 与 4-bit 量化让 LLM 更易获取
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持 4-bit 量化加载模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练 LoRA 适配器。
推荐理由：Hugging Face 与 bitsandbytes 集成在 transformers 中开放 4-bit 量化，并给出可直接复用的加载与微调配置。
Hugging Face Blog精选AI 评分6060 Safetensors 通过安全审计并成为默认格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做了外部安全审计，未发现可导致任意代码执行的关键安全漏洞，同时修复了格式规范中的若干不精确之处以及允许 polyglot 文件缺失验证的问题。
推荐理由：安全审计结果支撑 safetensors 成为 transformers 默认依赖与默认保存格式，并给出后续迁移节奏。
Hugging Face BlogAI 评分3131 BigCode 背后的大规模近重复数据删除实践
Hugging Face 博客详解 BigCode 大规模近重复数据删除：先对文档做 Shingling 分词与 MinHashing 指纹化，再用 LSH 分组以减少比较次数，并以 MinHash 参数 (P,T,K,B,R) 控制 Jaccard 相似度阈值。
Hugging Face Blog精选AI 评分6060 用 StarCoder 打造编程助手：Hugging Face 发布 StarChat
Hugging Face 基于 BigCode 的 16B 参数代码模型 StarCoder，用 OpenAssistant 的约 2.1 万条英文对话微调出对话式编程助手 StarChat，并公开代码、数据集与模型。
推荐理由：文章公开了 StarChat 的微调流程、数据格式与评测结果，可判断代码模型转对话助手的具体做法。
Hugging Face BlogAI 评分3838 用 🤗 Transformers、TensorFlow 和 TPU 从零训练语言模型
Hugging Face 发布端到端教程，演示用 🤗 Transformers、TensorFlow 和 TPU 从零训练一个 RoBERTa base 掩码语言模型，涵盖训练 tokenizer、处理 WikiText v1 数据集、生成 TFRecord 分片并上传至 Google Cloud Storage，以及最终模型训练与上传。
Hugging Face BlogAI 评分3131 Databricks 与 Hugging Face 合作：Spark 数据集加载提速超 40%
Databricks 向 Hugging Face 代码库提交首个官方贡献，新增 Datasets 的 `from_spark` 函数，让用户直接把 Apache Spark dataframe 映射为 Hugging Face Dataset，省去先写 Parquet 再重新加载的步骤。
Hugging Face BlogAI 评分2727 如何用 Transformers 库做图分类：以微软 Graphormer 为例
Hugging Face 博客介绍如何用 Transformers 库（需 >= 4.27.2）进行图分类，目前库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face BlogAI 评分1818 Hugging Face 与 Substra 合作推出联邦学习演示空间，打造隐私保护 AI
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示空间，让用户体验真实世界中高质量数据匮乏的困境，并对比联邦学习与单一数据源训练的模型表现。Substra 专为生产环境设计，已在乳腺癌研究等复杂医疗场景中实现突破。
Hugging Face Blog精选AI 评分6161 StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 模型及完整训练流程，用 SFT、奖励模型和 RLHF 三步训练 LLaMA 在 Stack Exchange 上答题，并开源了基于 TRL 库的全部训练管线。
推荐理由：原文完整披露了 RLHF 三步训练流程和踩坑细节，读者可据此复现或在单卡上跑起自己的对齐实验。
Hugging Face BlogAI 评分3333 用 HF Mirror 和 Flower 实现联邦学习：微调 distilBERT 做 IMDB 情感分类
Hugging Face 发布教程，演示如何用 HF Mirror 的 Transformers、Datasets 库结合 Flower 框架，在多个客户端上联邦微调预训练 Transformer 模型 distilBERT，用于 IMDB 影评正负情感分类。
Hugging Face BlogAI 评分2020 用 diffusers 训练你自己的 ControlNet
Hugging Face 发布教程，介绍如何用 diffusers 训练 ControlNet。整个流程分三步：确定条件类型、构建含 ground truth image。
Hugging Face BlogAI 评分1919 Hugging Face Hub 改进 Jupyter Notebook 托管与渲染支持
Hugging Face Hub 现已支持 Jupyter Notebook 的渲染，notebook 将以人类可读的格式展示，此前直接查看的是 ipynb 的 JSON 源文件。Hub 上已托管超过 7,000 个 notebook，以及 150,000 个模型、25,000 个数据集和 30,000 个 ML 应用。notebook 还支持在 Google Colab 中一键直接打开。
Hugging Face BlogAI 评分3939 Hugging Face 在 Transformers 中上线 Informer，支持多变量概率时间序列预测
Hugging Face 将 AAAl21 最佳论文提出的 Informer 模型集成进 🤗 Transformers，用于多变量概率时间序列预测，即预测未来时间序列目标值向量的分布。
Hugging Face Blog精选AI 评分7171 trl 与 peft 集成，可在 24GB 消费级 GPU 上用 RLHF 微调 20B 大模型
Hugging Face 官方发布 trl 与 peft 的集成，让使用 RLHF 的大语言模型微调更易上手。
推荐理由：原文给出 trl 与 peft 集成后在 24GB 消费级 GPU 上微调 20B 参数模型的完整路径，便于读者评估自身显存条件下的可行性。
Hugging Face BlogAI 评分4848 用机器学习救助土耳其地震幸存者：Hugging Face 上的 afetharita 实战
2023 年土耳其地震后，志愿者团队开发了灾害地图应用 afetharita，从社交媒体推文中提取幸存者的地址与求助需求。团队用 easyocr 做 OCR、基于 transformers 微调 NER 模型（以 bert-base-turkish-cased 为基座）抽取地址，并通过 Hugging Face Inference API 部署。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 PEFT 库，支持低显存微调大语言模型
Hugging Face 发布 PEFT 库，通过只微调少量额外参数并冻结预训练模型大部分参数来降低计算与存储开销，并已集成 Transformers 和 Accelerate。
推荐理由：官方给出 PEFT 库支持的方法与消费级硬件训练示例，可用于判断低显存微调方案的可行性。
Hugging Face BlogAI 评分3636 Hugging Face 博客：深入解析视觉语言模型及其训练策略
Hugging Face 博客梳理了视觉语言模型（VLM）的训练方法，涵盖对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 以及免训练五类策略。文章以 OpenAI 的 CLIP 为例说明对比学习如何将图文映射到同一特征空间，并介绍了 CLOOB、ALIGN、DeCLIP、LiT 等模型，同时说明如何用 Transformers 库上手这些模型。
Hugging Face BlogAI 评分3434 对话式 AI 智能体如何变得有用？解析 RLHF、IFT、CoT 等关键技术
Hugging Face 梳理了让对话式 AI 智能体真正有用的关键技术，包括 RLHF、IFT、SFT、CoT 与红队测试，并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 与 Anthropic Assistant 的架构、训练数据与评估标准。
Hugging Face BlogAI 评分1919 Hugging Face 图解图机器学习入门：从图表示到 Graph Neural Networks 与 Graph Transformer
Hugging Face 发布图机器学习入门博客，介绍图的基本概念、表示方法以及从神经网络之前的方法到 Graph Neural Networks 的学习路径，并简要展望面向图的 Transformer。文章还梳理了图级别、节点级别、边级别和子图级别的任务，例如图生成、Alphafold 用节点属性预测预测原子 3D 坐标，以及推荐系统中的缺失边预测。
Hugging Face BlogAI 评分2828 用 Intel Sapphire Rapids 加速 PyTorch Transformer 训练（上）
Hugging Face 与 Intel 演示如何在 AWS 的第四代 Xeon（Sapphire Rapids）裸金属实例集群上分布式训练 PyTorch Transformer。借助已集成进 transformers 的 Intel oneCCL 和 IPEX，无需改一行代码即可启用 AMX 指令加速矩阵乘法，支持 BF16 和 INT8，Linux 内核需 v5.16 以上。
Hugging Face Blog精选AI 评分6666 图解大语言模型的 RLHF 训练流程
Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型，把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤，并说明奖励模型以排序而非直接打分来生成标量奖励，最后用 PPO 结合 KL 散度惩罚更新策略。
推荐理由：文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段，并梳理可直接上手的开源工具与数据集。
Hugging Face BlogAI 评分2424 Hugging Face 解读蛋白质深度学习：从语言模型到 ESMFold 折叠
Hugging Face 发布蛋白质深度学习长文，面向生物学家与机器学习研究者，介绍蛋白质模型如何借鉴 BERT、GPT 等大语言模型。文章回顾 2018 年 ULMFiT 和 BERT 带来的迁移学习突破，指出其性能常相当于训练数据增加 100 倍以上，并给出微调蛋白质语言模型和用 ESMFold 做蛋白质折叠的示例 notebook。
Hugging Face BlogAI 评分4444 用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的调参经验
Hugging Face 的 Diffusers 提供了 Dreambooth 训练脚本，用于给 Stable Diffusion 注入新概念。实验发现人脸训练需要更多步数，batch size 为 2、LR 为 1e-6 时 800-1200 步效果较好，且 prior preservation 能有效避免人脸过拟合。
Hugging Face BlogAI 评分3232 从 PyTorch DDP 到 Accelerate 再到 Trainer：轻松掌握分布式训练
Hugging Face 发布教程，梳理如何用三级递增抽象在多个 GPU 上做分布式数据并行（DDP）训练：原生 PyTorch DDP、Accelerate 轻量封装，以及 Transformer 的高层 Trainer API。Accelerate 的封装无需改代码即可在单 GPU 和 TPU 上运行，只需对原代码做最小改动；Trainer 则抽象掉全部样板代码并支持多种设备和分布式场景。
Hugging Face BlogAI 评分4343 Hugging Face 发布 MTEB：大规模文本嵌入基准
Hugging Face 推出 MTEB（Massive Text Embedding Benchmark），覆盖 8 类任务、56 个数据集、最多 112 种语言，目前排行榜已汇总超 2000 条结果。
Hugging Face BlogAI 评分3131 Hugging Face 为模型和数据集引入 DOI
Hugging Face 宣布用户可直接在 Hub 的仓库设置中为模型或数据集生成 DOI，其他人在模型/数据集页面点击"Cite this model/dataset"即可引用。该功能通过与 DataCite 合作实现，DOI 绑定了对象的 URL、版本、创建日期等元数据，并可通过更新 DOI 来区分模型或数据集的不同版本。
Hugging Face Blog精选AI 评分6262 Hugging Face 联合 Intel Labs 与 UKP Lab 发布 SetFit 小样本微调框架
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit，一个用于 Sentence Transformers 小样本微调的框架，无需提示词或 verbaliser。
推荐理由：SetFit 用 Sentence Transformers 的对比训练替代提示词，在 RAFT 上以小模型接近大模型表现，读者可据此了解小样本分类的低成本路径。
Hugging Face BlogAI 评分3939 如何用 Megatron-LM 训练语言模型
Hugging Face 发布教程，讲解如何在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 语言模型，并转换到 Transformers 使用。Megatron-LM 的优势在于高效 DataLoader 与 Fused CUDA Kernels，还采用了 Apex 的 Fused AdamW，比 PyTorch 实现更快。教程涵盖环境配置、数据预处理、训练和模型转换四步。
Hugging Face BlogAI 评分3030 用 HF Mirror Transformers 和 Habana Gaudi 预训练 BERT
本教程介绍如何在 AWS 的 Habana Gaudi DL1 实例上，借助 HF Mirror Transformers、Optimum Habana 和 Datasets 库，用掩码语言建模任务从零预训练 BERT-base。教程涵盖数据集准备、训练词表和预处理数据集的完整流程，并可将产物推送至 HF Mirror Hub。
Hugging Face BlogAI 评分1717 Hugging Face 的 TensorFlow 哲学：Keras、tf.data 与 transformers 的取舍
Hugging Face 阐述其 transformers 库对 TensorFlow 的设计哲学：所有 TensorFlow 模型都应是 Keras Model 对象、所有层都应是 Keras Layer 对象，因此可直接调用 fit()、compile()、predict()。
Hugging Face BlogAI 评分2020 Hugging Face 指南：训练与微调 Sentence Transformers 模型
Hugging Face 发布 Sentence Transformers 训练与微调教程，讲解如何从零构建模型或用 HF Mirror Hub 上的模型微调。
Hugging Face BlogAI 评分3030 如何用对抗数据动态训练你的模型
Hugging Face 博客介绍动态对抗数据采集（DADC）：让人类在 🤗 Spaces 画布上写数字来骗过 MNIST 模型，再把骗成功的样本标记并回传训练，如此多轮循环。示例模型训练 20 个 epoch，在测试集上达到 89% 准确率。文中称 DADC 长期准确率明显高于标准非对抗数据采集。
Hugging Face BlogAI 评分5656 BLOOM 训练背后的技术：Megatron-DeepSpeed 工程实践解析
Hugging Face 发文详解 176B 参数多语言模型 BLOOM 的训练工程，该模型使用 Megatron-DeepSpeed 在 384 张 80GB A100 上训练约 3.5 个月，消耗约 1M 计算小时。
Hugging Face BlogAI 评分2020 如何用 Sentence Transformers 开启你的第一个机器学习项目
Hugging Face 发文介绍如何以 Sentence Transformers（ST）入手第一个机器学习项目，该库可将句子、段落和图像计算为稠密向量表示。
Hugging Face BlogAI 评分4444 Hugging Face 用 Accelerate 结合 DeepSpeed 加速大模型训练
Hugging Face 发布指南，演示如何用 Accelerate 库调用 DeepSpeed 的 ZeRO 特性来训练大模型。
Hugging Face BlogAI 评分1717 Hugging Face 对话金融业 ML 负责人：信任、遗留系统与落地误区
Hugging Face 发布《Director of Machine Learning Insights》第 3 期金融版，汇集来自 U.S. Bank、加拿大皇家银行（RBC）、Moody's Analytics 及前 Bloomberg AI 研究科学家的金融 ML 负责人观点。