Google 发布 Gemma 2 开源大模型，9B 与 27B 双尺寸
Google 发布 Gemma 2 系列开源大语言模型，包含 9B 和 27B 两个尺寸的基础版与指令微调版，共 4 个开放权重模型，上下文长度 8K token。
推荐理由：详细拆解 Gemma 2 的滑动窗口注意力、软上限与蒸馏等改动，可作为理解这代开源模型训练思路的参考。
#开源生态
#开源生态
今日 2 条Hugging Face Blog精选AI 评分7979
Hugging Face BlogAI 评分1616 XLSCOUT 推出专利与 IP 专用嵌入模型 ParaEmbed 2.0，获 HF Mirror 专家支持
XLSCOUT 发布面向专利与 IP 领域的专有嵌入模型 ParaEmbed 2.0，基于人工专家整理的多领域专利数据微调，准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face BlogAI 评分4343 BigCodeBench：下一代 HumanEval 基准发布
Hugging Face 发布 BigCodeBench，包含 1,140 个函数级任务，需组合 139 个库中的多次函数调用，用于评测 LLM 在无污染的真实编程任务上的能力。每个任务平均配 5.6 个测试用例，分支覆盖率平均 99%，并另设更难、面向指令微调模型的 BigCodeBench-Instruct 变体。
Hugging Face BlogAI 评分3131 HF Mirror Accelerate 如何打通 DeepSpeed 与 FSDP：混合精度差异与 0.30.0 新模式
HF Mirror Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐，并新增"混合精度"与低精度两种 FSDP 模式。
Hugging Face BlogAI 评分2222 Hugging Face 将重新设计 Transformers 文档
Hugging Face 宣布重新设计 Transformers 文档，解决内容分散、导航困难、结构过时的问题。新文档将更面向开发者，采用代码优先和解决方案导向的呈现方式，并放弃此前严格套用 Diátaxis 四分类的僵硬结构，让文档能自然生长。
Hugging Face BlogAI 评分2323 Hugging Face 为 Intel Gaudi 优化辅助生成，加速文本生成
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，对大型 Transformer 模型通常可获得约 2x 加速，同时保持与自回归采样相同的采样质量。
Hugging Face BlogAI 评分5050 用 Sentence Transformers 训练和微调嵌入模型
Hugging Face 发布博客，介绍如何用 Sentence Transformers 训练和微调嵌入模型，也可从零训练新模型。训练流程涵盖数据集、损失函数、训练参数、评估器和 Trainer 五个组件，数据可来自 HF Hub 或本地 CSV、JSON、Parquet、Arrow、SQL；数据集列顺序须与所选损失函数匹配，且 "label" 或 "score" 列用于提供标签。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2 系列：11B 预训练语言模型与视觉语言模型
TII 发布 Falcon 2 系列模型，包括 11B 基础 LLM 和 11B 视觉语言模型（VLM），后者在 LLM 之上接入预训练 CLIP ViT-L/14 视觉编码器并支持图像问答。
推荐理由：官方给出 11B LLM 与 VLM 的训练细节和基准对比，可据此判断小尺寸开源多模态模型的性能位置。
Hugging Face BlogAI 评分4040 HF Mirror 支持从 Hub 直接部署模型到 AWS Inferentia2
HF Mirror 将 AWS Inferentia2 部署能力开放给 Hub 用户，覆盖超过 100,000 个公开模型，新增 albert、bert、roberta、vit、xlm-roberta 等 14 种模型架构和 text-classification、text-generation、question-answering 等 6 类任务。
Hugging Face BlogAI 评分3636 HF Mirror 与微软深化合作：Azure 上开放模型 1 键部署与 Spaces Dev Mode
HF Mirror 与微软在 Microsoft Build 上宣布深化合作，Azure Model Catalog 的 HF Mirror Collection 新增 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等开放模型，支持 1 键部署。
Hugging Face BlogAI 评分4747 HF Mirror 在 AMD Instinct MI300 GPU 上实现一等公民集成
Hugging Face 与 AMD 合作，使 AMD Instinct MI300 GPU 在 HF Mirror 平台获得一等公民集成，用户无需改动代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 上部署模型。
Hugging Face BlogAI 评分3535 Hugging Face 与 Dell 推出 Dell Enterprise Hub，本地训练部署开源模型
Hugging Face 发布 Dell Enterprise Hub，可在 Dell 平台上本地训练和部署开源模型，把数周的工程工作缩短到几分钟。该 Hub 汇集 Llama 3、Mixtral、Gemma 等模型，用户凭 HF 账号即可访问并按许可证或模型规模筛选，选定 Dell 平台和 GPU 数量后粘贴脚本即可部署为 API endpoint，微调同样在本地完成。
Hugging Face BlogAI 评分4343 Hugging Face 为 Transformers 推出 KV Cache 量化，支持更长文本生成
Hugging Face 为 Transformers 推出 KV Cache Quantization，通过降低 KV cache 精度减少长上下文生成的内存占用，质量损失很小，并可在内存效率与生成速度间自定义权衡。
Hugging Face BlogAI 评分3131 Hugging Face 推出 Open Arabic LLM Leaderboard 阿拉伯语大模型评测榜
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），专为评估和对比阿拉伯语 LLM 性能而设，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face Blog精选AI 评分7070 Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型系列 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像和文本并输出文本。
推荐理由：梳理了 PaliGemma 的架构、三种权重类型与分辨率选择建议，方便判断是否适合自身微调任务。
Hugging Face BlogAI 评分2626 HF Mirror 与 LangChain 推出合作包 langchain_huggingface
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface，可通过 pip install langchain-huggingface 安装。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 Transformers Agents 2.0
Hugging Face 发布 Transformers Agents 2.0，在原有 agent 类型外新增可基于历史观测迭代的 agent，并将代码与常用属性设计得清晰、模块化，同时加入 agent 分享功能。
推荐理由：官方给出新 Agent 框架的模块设计与 GAIA 榜单实测，读者可据此比较不同 LLM 引擎的 agent 表现。
Hugging Face BlogAI 评分2626 用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 展示了基于 OPEA（Open Platform for Enterprise AI）的企业级 RAG 方案，使用 LangChain 的 rag-redis 模板、BAAI/bge-base-en-v1.5 嵌入模型与 Redis 向量数据库，嵌入模型跑在 Intel Granite Rapids CPU 上、LLM 跑在 Gaudi 2 加速器上。
Hugging Face BlogAI 评分1818 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布面向希伯来语的开放 LLM 排行榜，用于评测和提升希伯来语语言模型。榜上包含四个基准：希伯来语问答（HeQ 测试子集）、情感准确率、Winograd Schema Challenge 希伯来语翻译版和英希互译，均采用 few-shot 提示格式。
Hugging Face BlogAI 评分4444 Hugging Face Inference Endpoints 自定义处理器实现 Whisper ASR、说话人分离与投机解码
Hugging Face 发布自定义推理处理器方案，可在 Inference Endpoints 上组合 Whisper ASR、Pyannote 说话人分离（diarization）与投机解码，并通过单一 API 端点对外提供服务。
Hugging Face Blog精选AI 评分6262 StarCoder2-15B-Instruct 发布：完全透明可许可的自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个用完全可许可且透明的管线自对齐训练的代码大语言模型。它用 StarCoder2-15B 自行生成数千条指令-响应对再微调自身，不使用人工标注或大型闭源模型的蒸馏数据，在 HumanEval 上取得 72.6 分，超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由：原文公开了完全透明的自对齐数据管线，读者可据此了解不依赖 GPT-4 蒸馏也能训练代码指令模型。
Hugging Face Blog精选AI 评分7878 Meta 发布 Llama 3 开源大模型，8B 与 70B 双规格上线 Hugging Face
Meta 发布 Llama 3，包含 8B 和 70B 两种参数规模，各有 base 与 instruct 微调版本，并同步推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2，共 5 个开放权重模型上线 Hugging Face。
推荐理由：梳理 Llama 3 四款模型的规格、tokenizer 变化与 Hugging Face 生态集成方式，便于评估其部署与微调成本。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Idefics2：8B 视觉语言模型，Apache 2.0 开源
Hugging Face 发布 Idefics2，一个 8B 参数、Apache 2.0 开源许可的多模态模型，可接收任意文本与图像序列并生成文本回复。它在视觉问答基准上表现处于同等规模领先水平，可与 LLaVa-NeXT-34B、MM1-30B-chat 等更大模型竞争，并已集成进 Transformers。
推荐理由：8B 开源多模态模型在视觉问答基准上对标更大模型，并附指令微调数据集，可据此判断社区多模态微调的起点。
Hugging Face BlogAI 评分3535 Hugging Face 详解视觉语言模型：开源模型全景、评测榜单与 trl 微调实践
Hugging Face 发布视觉语言模型入门指南，梳理其图像编码器、嵌入投影器与文本解码器的核心结构，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型及各自分辨率与能力差异。文章还介绍 Vision Arena、Open VLM Leaderboard 与 MMMU、MMBench 等评测基准，并演示如何用当日发布的新版 trl 进行推理与微调。
Hugging Face BlogAI 评分4141 Hugging Face 与 Google Cloud 合作：数千个开源 LLM 可直接部署到 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud 集成，可将数千个开源模型通过 Vertex AI 或 GKE 部署为自有 Google Cloud 账户内的 API 端点，底层推理由 Text Generation Inference 驱动。
Hugging Face Blog精选AI 评分6262 Google 发布 CodeGemma 代码模型系列
Google 发布开源代码模型系列 CodeGemma，基于预训练的 2B 和 7B Gemma checkpoint 进一步用 5000 亿 token 的英文、数学和代码数据训练，包含专注代码填充的 2B 基础模型、混合代码与自然语言的 7B 基础模型和面向对话的 7B Instruct 三个版本，上下文长度均为 8K。
推荐理由：原文给出三个规格的 CodeGemma 及其在 HumanEval 等基准上的对比数据和 FIM 提示词格式，便于评估其在代码补全场景的定位。
Hugging Face BlogAI 评分2727 Hugging Face 与 Wiz 合作提升 AI 平台安全，并回应 pickle 文件风险
Hugging Face 宣布与云安全公司 Wiz 合作提升平台与 AI/ML 生态安全，并已接入 Wiz 的漏洞管理和云安全态势管理（CSPM）能力。Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码，发现相关缺陷，Hugging Face 表示已修复全部相关漏洞。双方还强调应避免在生产环境使用 pickle 文件，改用 Safetensors。
Hugging Face BlogAI 评分3636 HF Mirror 联手 Cloudflare Workers AI 推出无服务器 GPU 推理
HF Mirror Hub 上线 Deploy on Cloudflare Workers AI 集成，开发者可直接把 Llama、Gemma、Mistral 等热门开源模型当无服务器 API 调用，无需自管 GPU，按请求付费。
Hugging Face BlogAI 评分5151 GaLore 如何用消费级硬件训练大模型
Hugging Face 介绍 GaLore 的显存优化训练方法，可将优化器状态显存降低 82.5% 以上，在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 70 亿参数的 Llama 架构模型。
Hugging Face Blog精选AI 评分6262 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件和 250 亿 token，目标是复现 Phi-1.5 的训练数据。
推荐理由：Hugging Face 公开了复现 Phi 合成预训练数据的完整流程、数据集与 1B 模型，读者可据此理解大规模合成数据的提示词设计与工程细节。
Hugging Face BlogAI 评分4848 Hugging Face 在 NVIDIA DGX Cloud 上推出 Train on DGX Cloud 服务
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，用户可在 Hub 内通过 AutoTrain 用 NVIDIA H100 GPU 一键微调 Llama、Mistral、Stable Diffusion 等模型。该服务按 GPU 分钟计费，H100 每小时 8.25 美元、L40S 每小时 2.75 美元，并提供免代码训练作业创建体验。
Hugging Face BlogAI 评分4141 Hugging Face 推出 Quanto：面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重及 int8、float8 激活，可在 CUDA 与 MPS 等任意设备上运行。
Hugging Face BlogAI 评分3333 Hugging Face 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 发布博客，展示如何用 Optimum Intel 与 fastRAG 在基于 Xeon 的 CPU 上加速嵌入模型，并将其集成进现有 RAG 流水线。
Hugging Face BlogAI 评分3232 Argilla 与 Hugging Face 发起 Data is Better Together，共建偏好数据集并招募首批社区
Argilla 与 Hugging Face 联合发起 Data is Better Together 实验，几天内汇集 350 名社区贡献者完成超 11,000 条 prompt 评分，并发布含 10,000 条 prompt 用户评分的 10k_prompts_ranked 数据集。
Hugging Face Blog精选AI 评分6767 BigCode 发布 StarCoder2 代码模型，并推出 The Stack v2 数据集
BigCode 发布透明训练的开放代码大模型 StarCoder2，含 3B、7B、15B 三个参数版本，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由：BigCode 同时放出 3B/7B/15B 三档代码模型与 67.5TB 数据集，可据此判断开源代码模型的当前水位。
Hugging Face BlogAI 评分3232 Hugging Face 详解 AI 水印：工具、技术与局限性
Hugging Face 发布 AI 水印入门指南，介绍在生成时嵌入和生成后添加两类水印方法，前者需访问模型但更稳健，后者可用于闭源模型。文中还介绍了 Glaze、Photoguard、Nightshade、Fawkes 等图像防护与投毒工具，以及按 C2PA 标准嵌入元数据的 Truepic。
Hugging Face BlogAI 评分4040 Hugging Face 详解 Matryoshka 嵌入模型：可截断的多维嵌入
Matryoshka 嵌入模型能在同一个模型下产出多种维度的可用嵌入，对 768 维向量截断到 512、256、128 或 64 维后仍可保持下游任务性能。其思路源自 Kusupati 等人 2022 年的 Matryoshka Representation Learning，把各维度的损失相加训练，让重要信息集中在前面的维度。
Hugging Face BlogAI 评分3131 如何在 HF Mirror 上微调 Gemma 模型
Google DeepMind 的开源模型 Gemma 已在 HF Mirror 上线，提供 2B 和 7B 两种参数规模及预训练、指令微调版本，并支持 TGI、Vertex Model Garden 与 GKE 部署。
Hugging Face Blog精选AI 评分7070 Hugging Face 发文欢迎 Google 开源 LLM 家族 Gemma
Google 发布开源 LLM 家族 Gemma，包含 2B 和 7B 两个尺寸，各有基础版与指令微调版共 4 个模型，基于 Gemini 打造，上下文长度 8K tokens，可在消费级 GPU、TPU 甚至 CPU 与端侧设备上运行。
推荐理由：Google 开源 Gemma 2B 与 7B 双尺寸模型，本文给出 8K 上下文、消费级硬件运行及与 Transformers 生态的完整集成路径。
Hugging Face BlogAI 评分3232 Hugging Face 推出 Open Ko-LLM Leaderboard：韩语大模型评测生态
Hugging Face 上线 Open Ko-LLM Leaderboard，专门评测韩语大模型，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务。该榜使用不公开的私有测试集以防数据污染，上线五个月已有超 1000 个模型提交，KT 的 Mi:dm 7B 在 7B 及以下参数模型中排名第一并已开放公众使用。