你也能设计出 SOTA 位置编码：一步步推导出 Llama 3.2 使用的 RoPE
一篇教程从零迭代推导 Transformer 位置编码，最终抵达 Llama 3.2 及多数现代 Transformer 采用的旋转位置编码（RoPE）。文章先给出理想位置编码应满足的 5 条性质，包括每个位置编码唯一且与序列长度无关、相邻位置间存在线性关系、可泛化到训练长度之外的序列、可由模型学习的确定性过程生成，以及能自然扩展到多维以支持图像等数据。
#Meta
#Meta
今日 0 条Hugging Face BlogAI 评分2222
Hugging Face BlogAI 评分3232 Hugging Face 详解 LayerSkip 自推测解码：用早期层草稿加速文本生成
Hugging Face 博客介绍了源自 LayerSkip 论文的自推测解码（self-speculative decoding）：用同一 LLM 的浅层生成草稿 token、深层负责验证，无需额外草稿模型即可同时提升速度并节省显存。
Hugging Face BlogAI 评分4242 Llama 3.2 已在 Keras 中可用
Llama 3.2 的 Keras 支持从发布第一天起就已可用，可直接从 HF 标准 safetensors checkpoint 加载，包括 3.2 checkpoint，需要转换时会即时完成。
Hugging Face BlogAI 评分2121 Hugging Face 发布 BenCzechMark：首个捷克语 LLM 综合评测基准
Hugging Face 发布 BenCzechMark，称其为首个也是最全面的捷克语 LLM 评测套件，含 50 项任务、9 个类别，90% 任务为原生非翻译内容。配套排行榜已收录 25 个以上不同规模的开源模型，覆盖阅读理解、事实知识、语言建模、数学推理等维度，评测指标包括 Acc、EM、AUROC 和词级困惑度。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：支持视觉与端侧运行
Meta 发布 Llama 3.2，共 10 个开放权重模型，包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模，均有 base 与指令微调版本，视觉模型上下文长度为 128k tokens；文本模型新增 1B 和 3B 两种规格，面向端侧场景，训练使用最多 9 万亿 tokens。
推荐理由：文章给出 10 个开放权重模型与端侧量化运行路径，便于评估多模态开源方案的落地条件。
Hugging Face BlogAI 评分2626 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中低依赖部署。
Hugging Face BlogAI 评分5858 如何将 LLM 微调到 1.58bit：BitNet 极端量化实践
Hugging Face 博客给出将现有模型微调到 1.58bit（三值权重 -1、0、1）的方法，用 Llama3 8B 从 10B token 微调后发布在 HF1BitLLM 组织下。
Hugging Face BlogAI 评分1818 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 发布教程，演示如何用 Text Generation Inference（TGI）和 Deep Learning Containers，在 Google Cloud A3 节点（8 块 H100 GPU）上通过 Vertex AI 部署 FP8 量化的 Meta Llama 3.1 405B Instruct。
Hugging Face Blog精选AI 评分8585 Llama 3.1 发布 405B、70B 与 8B 版本，支持多语言与长上下文
Hugging Face 上线 Meta Llama 3.1 系列，包含 8B、70B、405B 三个尺寸的基础与指令微调共六个模型，另发布 Llama Guard 3 和 Prompt Guard。
推荐理由：官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案和微调入口，便于据此评估部署成本。
Hugging Face BlogAI 评分3737 Meta 发布 CyberSecEval 2：评估 LLM 网络安全风险与能力的评测框架
Meta 推出 CyberSecEval 2，用于评估 LLM 生成不安全代码、抵抗提示词注入、配合网络攻击、滥用代码解释器以及自动化攻击性网络安全能力。相比 2023 年 12 月的首版，LLM 配合网络攻击请求的平均合规率从 52% 降至 28%。所有代码已开源，可接入排行榜。
Hugging Face BlogAI 评分4747 HF Mirror 在 AMD Instinct MI300 GPU 上实现一等公民集成
Hugging Face 与 AMD 合作，使 AMD Instinct MI300 GPU 在 HF Mirror 平台获得一等公民集成，用户无需改动代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 上部署模型。
Hugging Face Blog精选AI 评分7878 Meta 发布 Llama 3 开源大模型，8B 与 70B 双规格上线 Hugging Face
Meta 发布 Llama 3，包含 8B 和 70B 两种参数规模，各有 base 与 instruct 微调版本，并同步推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2，共 5 个开放权重模型上线 Hugging Face。
推荐理由：梳理 Llama 3 四款模型的规格、tokenizer 变化与 Hugging Face 生态集成方式，便于评估其部署与微调成本。
Hugging Face BlogAI 评分2222 用 HF Mirror Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出的 DuckDB-NSQL-7B 是基于 Meta Llama-2-7b 微调、专为 DuckDB SQL 设计的 LLM，可生成包括 SELECT 在内的多种有效 DuckDB SQL 语句。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 发布基于 Optimum Habana 的自定义 pipeline 类，可在 Intel Gaudi 2 AI 加速器上用几行代码运行 Llama 2（7b、13b、70b）文本生成，并支持 DeepSpeed 分布式推理与 LangChain 集成。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 做低资源 ASR
Hugging Face 发布教程，介绍如何用 🤗 Transformers 基于 facebook/w2v-bert-2.0 检查点在低资源 ASR 任务上微调 Wav2Vec2-BERT。
Hugging Face BlogAI 评分4242 Hugging Face 回顾 2023：开源大语言模型的爆发之年
Hugging Face 发布 2023 年开源 LLM 回顾，指出公众对开源与闭源之争的关注度大幅上升，开源模型有利于研究可复现、社区参与和 checkpoint 复用。文章梳理了预训练大语言模型的构成要素（架构、训练数据集、tokenizer、超参数），并回顾 2022 年的代表性开源模型，包括 176B 参数、覆盖 46 种人类语言的 BLOOM 和 Meta 的 175B 参数 OPT。
Hugging Face BlogAI 评分2626 RoBERTa、Llama 2 与 Mistral 7B 灾害推文分类性能对比：基于 LoRA 微调
一篇博客用 LoRA 微调 RoBERTa-large、Llama-2-7b 和 Mistral-7B-v0.1 三个预训练模型，在 twitter_disaster 数据集上对比灾害推文序列分类性能，实验在单张 48GB A6000 上完成。
Hugging Face BlogAI 评分3838 非工程师指南：零代码训练 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示非工程师如何零代码构建开源 ChatGPT：用 LLaMA 2 基础模型，经 AutoTrain 在 Alpaca 指令数据集上微调，再通过 ChatUI 部署成可分享的聊天应用。全程仅需三步，在 Spaces 上以 Docker 模板部署 AutoTrain 和 ChatUI，7b 模型训练选用 A10G Large 即可。
Hugging Face BlogAI 评分3131 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上配合 HF Mirror LLM Inference Container 的部署做了覆盖 60 种配置的基准测试，评测 7B、13B、70B 三种规模，分别测试 1/5/10/20 并发请求和 GPTQ 4-bit 量化。
Hugging Face BlogAI 评分4848 使用 PyTorch FSDP 微调 Llama 2 70B 的实践指南
Hugging Face 发布博客，介绍如何用 PyTorch FSDP 结合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，硬件为 2 节点共 16 张 A100 80GB。
Hugging Face Blog精选AI 评分8585 Meta 发布 Code Llama：Llama 2 的代码专用版本并接入 Hugging Face 生态
Meta 发布 Code Llama，这是基于 Llama 2 初始化、在 5000 亿 token 代码数据上训练的开源代码模型系列，提供 7B、13B、34B 三个参数版本，另有 Python 专用版（额外 1000 亿 token）和指令微调版，采用与 Llama 2 相同的许可协议并允许商用。
推荐理由：梳理 Code Llama 三个参数版本、Python 与 Instruct 变体的训练构成及生态集成方式，方便对照选型。
Hugging Face Blog精选AI 评分6161 用 TRL 的 DPO 方法微调 Llama 2
Hugging Face 的 TRL 库现已支持 Direct Preference Optimization（DPO），可直接用偏好数据优化语言模型，省去奖励模型和 RL 优化两步。
推荐理由：TRL 官方给出 DPO 原理与可复用代码，读者可照着在自有偏好数据上完成对齐训练。
Hugging Face Blog精选AI 评分7979 Meta 发布 Llama 2，Hugging Face 全面集成
Meta 发布开源大语言模型家族 Llama 2，包含 7B、13B、70B 参数规模，以宽松社区许可开放并允许商用，代码、预训练模型和微调模型同日放出。
推荐理由：文章给出了 Llama 2 的模型规格、商用许可和完整部署与微调路径，便于读者评估落地成本。
Hugging Face BlogAI 评分4444 Open LLM Leaderboard 的 MMLU 分数为何与 LLaMA 论文对不上
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文报告值。原因是同一 MMLU 基准存在 EleutherAI LM Evaluation Harness、Stanford HELM 和 UC Berkeley 原始实现三套代码，对同一批模型给出的分数差异很大，甚至改变模型排名顺序。
Hugging Face BlogAI 评分4040 微调 MMS Adapter 模型实现低资源 ASR
Hugging Face 发布博客，介绍如何用 Meta AI 的 MMS Adapter 训练低资源语音识别：仅微调约 2.5M 权重、10-20 分钟即可获得极低词错误率，比微调整个模型更省内存、更稳健。MMS 在 1400 多种语言、50 万小时以上音频上预训练，已放出 300M 和 1B 检查点，以及 102、1107、1162 种语言的 ASR adapter。
Hugging Face BlogAI 评分4848 Hugging Face 研究：大语言模型能像人类一样标注数据吗？
Hugging Face 用 327 条提示词（含 25 条编程类）对 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 四个开源指令模型做盲测，由 Scale AI 标注者按 1-8 Likert 量表打分并生成 Elo 排名，Vicuna-13B 以 1140 居首，Dolly-12B 以 802 垫底。
Hugging Face BlogAI 评分2626 fastText 正式上线 Hugging Face Hub
Meta AI 开源的文本表示与分类库 fastText 现已上线 Hugging Face Hub，官方托管全部 157 种语言的词向量以及最新语言识别模型。用户可通过几行命令下载使用，并支持文本分类与特征提取 widget。
Hugging Face Blog精选AI 评分6161 StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 模型及完整训练流程，用 SFT、奖励模型和 RLHF 三步训练 LLaMA 在 Stack Exchange 上答题，并开源了基于 TRL 库的全部训练管线。
推荐理由：原文完整披露了 RLHF 三步训练流程和踩坑细节，读者可据此复现或在单卡上跑起自己的对齐实验。
Hugging Face BlogAI 评分3030 Hugging Face 解读大语言模型的红队测试（Red-Teaming）
Hugging Face 发文解读大语言模型的红队测试（Red-Teaming）：通过构造自然语言提示词诱导 LLM 暴露有害输出，并对模型进行修正，与人类难以理解的对抗攻击不同。文章指出人类或 LM 均可充当红队，对经 RLHF 或 SFT 对齐的模型需用角色扮演等方式越狱；Tay、Sydney 是缺乏红队评估的真实教训，Meta、Anthropic、AI2 已开源相关数据集。
Hugging Face BlogAI 评分3434 对话式 AI 智能体如何变得有用？解析 RLHF、IFT、CoT 等关键技术
Hugging Face 梳理了让对话式 AI 智能体真正有用的关键技术，包括 RLHF、IFT、SFT、CoT 与红队测试，并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 与 Anthropic Assistant 的架构、训练数据与评估标准。
Hugging Face BlogAI 评分3636 用 Mask2Former 和 OneFormer 实现通用图像分割
Mask2Former 和 OneFormer 两个 SOTA 图像分割神经网络现已加入开源库 🤗 transformers。OneFormer 只需在 panoptic 版本数据集上训练一次，即可在实例、语义和全景分割三项任务上取得 SOTA，并已支持 Swin Transformer 或 DiNAT 作为 backbone，但额外的文本编码器带来更高延迟。
Hugging Face BlogAI 评分3535 Hugging Face 扩散模型课程 11 月 28 日上线，11 月 30 日举办直播社区活动
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日免费发布，讲解扩散模型的理论与应用。
Hugging Face BlogAI 评分3838 如何在 🤗 Transformers 中用 Wav2Vec2 对超长音频做语音识别
Hugging Face 介绍了利用 Wav2Vec2 的 CTC 结构在 Transformers 中对任意长音频做语音识别的方法，通过在 pipeline 中设置 chunk_length_s 和 stride_length_s 实现带步长的重叠分块推理，避免长文件直接推理时显存溢出，同时保留 chunk 边界的上下文。
Hugging Face BlogAI 评分3636 在 🤗 Transformers 中用 n-gram 语言模型提升 Wav2Vec2 识别效果
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode，可将 n-gram 语言模型与已微调的 Wav2Vec2 检查点结合做语音解码。
Hugging Face BlogAI 评分5050 用 🤗 Transformers 微调 XLSR-Wav2Vec2 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 将 Wav2Vec2-XLS-R-300M 微调为低资源 ASR 模型，并在仅约 4 小时验证训练数据的 Common Voice 土耳其语数据集上采用 CTC 训练。
Hugging Face BlogAI 评分5757 HF Mirror 支持用 PyTorch/XLA 在 Cloud TPU 上训练 Transformer
HF Mirror 与 PyTorch/XLA 团队合作，将 Cloud TPU 训练支持集成进 HF Mirror 库，用户可在保持原有 Trainer 接口不变的情况下把模型跑在 Cloud TPU 上。
Hugging Face BlogAI 评分5252 用 DeepSpeed 和 FairScale 的 ZeRO 装下更大模型并加快训练
Hugging Face 的 transformers v4.2.0 起通过 Trainer 新增的 --sharded_ddp 和 --deepspeed 参数，实验性支持 FairScale 和 DeepSpeed 的 ZeRO 功能。
Hugging Face BlogAI 评分3333 将 fairseq wmt19 翻译系统移植到 transformers
Hugging Face 博客记录了将 Facebook FAIR 的 fairseq wmt19 翻译系统移植到 transformers 的过程，作者 Stas Bekman 在 Sam Shleifer 建议下完成移植，并新增 configuration_fsmt.py、modeling_fsmt.py、tokenization_fsmt.py 及转换脚本等文件。