HF Mirror 在 AMD Instinct MI300 GPU 上实现一等公民集成
Hugging Face 与 AMD 合作，使 AMD Instinct MI300 GPU 在 HF Mirror 平台获得一等公民集成，用户无需改动代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 上部署模型。
#开源生态
#开源生态
今日 4 条Hugging Face BlogAI 评分4747 Hugging Face BlogAI 评分3535 Hugging Face 与 Dell 推出 Dell Enterprise Hub，本地训练部署开源模型
Hugging Face 发布 Dell Enterprise Hub，可在 Dell 平台上本地训练和部署开源模型，把数周的工程工作缩短到几分钟。该 Hub 汇集 Llama 3、Mixtral、Gemma 等模型，用户凭 HF 账号即可访问并按许可证或模型规模筛选，选定 Dell 平台和 GPU 数量后粘贴脚本即可部署为 API endpoint，微调同样在本地完成。
Hugging Face BlogAI 评分4343 Hugging Face 为 Transformers 推出 KV Cache 量化，支持更长文本生成
Hugging Face 为 Transformers 推出 KV Cache Quantization，通过降低 KV cache 精度减少长上下文生成的内存占用，质量损失很小，并可在内存效率与生成速度间自定义权衡。
Hugging Face BlogAI 评分3131 Hugging Face 推出 Open Arabic LLM Leaderboard 阿拉伯语大模型评测榜
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），专为评估和对比阿拉伯语 LLM 性能而设，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face Blog精选AI 评分7070 Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型系列 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像和文本并输出文本。
推荐理由：梳理了 PaliGemma 的架构、三种权重类型与分辨率选择建议，方便判断是否适合自身微调任务。
Hugging Face BlogAI 评分2626 HF Mirror 与 LangChain 推出合作包 langchain_huggingface
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface，可通过 pip install langchain-huggingface 安装。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 Transformers Agents 2.0
Hugging Face 发布 Transformers Agents 2.0，在原有 agent 类型外新增可基于历史观测迭代的 agent，并将代码与常用属性设计得清晰、模块化，同时加入 agent 分享功能。
推荐理由：官方给出新 Agent 框架的模块设计与 GAIA 榜单实测，读者可据此比较不同 LLM 引擎的 agent 表现。
Hugging Face BlogAI 评分2626 用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 展示了基于 OPEA（Open Platform for Enterprise AI）的企业级 RAG 方案，使用 LangChain 的 rag-redis 模板、BAAI/bge-base-en-v1.5 嵌入模型与 Redis 向量数据库，嵌入模型跑在 Intel Granite Rapids CPU 上、LLM 跑在 Gaudi 2 加速器上。
Hugging Face BlogAI 评分1818 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布面向希伯来语的开放 LLM 排行榜，用于评测和提升希伯来语语言模型。榜上包含四个基准：希伯来语问答（HeQ 测试子集）、情感准确率、Winograd Schema Challenge 希伯来语翻译版和英希互译，均采用 few-shot 提示格式。
Hugging Face BlogAI 评分4444 Hugging Face Inference Endpoints 自定义处理器实现 Whisper ASR、说话人分离与投机解码
Hugging Face 发布自定义推理处理器方案，可在 Inference Endpoints 上组合 Whisper ASR、Pyannote 说话人分离（diarization）与投机解码，并通过单一 API 端点对外提供服务。
Hugging Face Blog精选AI 评分6262 StarCoder2-15B-Instruct 发布：完全透明可许可的自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个用完全可许可且透明的管线自对齐训练的代码大语言模型。它用 StarCoder2-15B 自行生成数千条指令-响应对再微调自身，不使用人工标注或大型闭源模型的蒸馏数据，在 HumanEval 上取得 72.6 分，超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由：原文公开了完全透明的自对齐数据管线，读者可据此了解不依赖 GPT-4 蒸馏也能训练代码指令模型。
Hugging Face Blog精选AI 评分7878 Meta 发布 Llama 3 开源大模型，8B 与 70B 双规格上线 Hugging Face
Meta 发布 Llama 3，包含 8B 和 70B 两种参数规模，各有 base 与 instruct 微调版本，并同步推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2，共 5 个开放权重模型上线 Hugging Face。
推荐理由：梳理 Llama 3 四款模型的规格、tokenizer 变化与 Hugging Face 生态集成方式，便于评估其部署与微调成本。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Idefics2：8B 视觉语言模型，Apache 2.0 开源
Hugging Face 发布 Idefics2，一个 8B 参数、Apache 2.0 开源许可的多模态模型，可接收任意文本与图像序列并生成文本回复。它在视觉问答基准上表现处于同等规模领先水平，可与 LLaVa-NeXT-34B、MM1-30B-chat 等更大模型竞争，并已集成进 Transformers。
推荐理由：8B 开源多模态模型在视觉问答基准上对标更大模型，并附指令微调数据集，可据此判断社区多模态微调的起点。
Hugging Face BlogAI 评分3535 Hugging Face 详解视觉语言模型：开源模型全景、评测榜单与 trl 微调实践
Hugging Face 发布视觉语言模型入门指南，梳理其图像编码器、嵌入投影器与文本解码器的核心结构，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型及各自分辨率与能力差异。文章还介绍 Vision Arena、Open VLM Leaderboard 与 MMMU、MMBench 等评测基准，并演示如何用当日发布的新版 trl 进行推理与微调。
Hugging Face BlogAI 评分4141 Hugging Face 与 Google Cloud 合作：数千个开源 LLM 可直接部署到 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud 集成，可将数千个开源模型通过 Vertex AI 或 GKE 部署为自有 Google Cloud 账户内的 API 端点，底层推理由 Text Generation Inference 驱动。
Hugging Face Blog精选AI 评分6262 Google 发布 CodeGemma 代码模型系列
Google 发布开源代码模型系列 CodeGemma，基于预训练的 2B 和 7B Gemma checkpoint 进一步用 5000 亿 token 的英文、数学和代码数据训练，包含专注代码填充的 2B 基础模型、混合代码与自然语言的 7B 基础模型和面向对话的 7B Instruct 三个版本，上下文长度均为 8K。
推荐理由：原文给出三个规格的 CodeGemma 及其在 HumanEval 等基准上的对比数据和 FIM 提示词格式，便于评估其在代码补全场景的定位。
Hugging Face BlogAI 评分2727 Hugging Face 与 Wiz 合作提升 AI 平台安全，并回应 pickle 文件风险
Hugging Face 宣布与云安全公司 Wiz 合作提升平台与 AI/ML 生态安全，并已接入 Wiz 的漏洞管理和云安全态势管理（CSPM）能力。Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码，发现相关缺陷，Hugging Face 表示已修复全部相关漏洞。双方还强调应避免在生产环境使用 pickle 文件，改用 Safetensors。
Hugging Face BlogAI 评分3636 HF Mirror 联手 Cloudflare Workers AI 推出无服务器 GPU 推理
HF Mirror Hub 上线 Deploy on Cloudflare Workers AI 集成，开发者可直接把 Llama、Gemma、Mistral 等热门开源模型当无服务器 API 调用，无需自管 GPU，按请求付费。
Hugging Face BlogAI 评分5151 GaLore 如何用消费级硬件训练大模型
Hugging Face 介绍 GaLore 的显存优化训练方法，可将优化器状态显存降低 82.5% 以上，在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 70 亿参数的 Llama 架构模型。
Hugging Face Blog精选AI 评分6262 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件和 250 亿 token，目标是复现 Phi-1.5 的训练数据。
推荐理由：Hugging Face 公开了复现 Phi 合成预训练数据的完整流程、数据集与 1B 模型，读者可据此理解大规模合成数据的提示词设计与工程细节。
Hugging Face BlogAI 评分4848 Hugging Face 在 NVIDIA DGX Cloud 上推出 Train on DGX Cloud 服务
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，用户可在 Hub 内通过 AutoTrain 用 NVIDIA H100 GPU 一键微调 Llama、Mistral、Stable Diffusion 等模型。该服务按 GPU 分钟计费，H100 每小时 8.25 美元、L40S 每小时 2.75 美元，并提供免代码训练作业创建体验。
Hugging Face BlogAI 评分4141 Hugging Face 推出 Quanto：面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重及 int8、float8 激活，可在 CUDA 与 MPS 等任意设备上运行。
Hugging Face BlogAI 评分3333 Hugging Face 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 发布博客，展示如何用 Optimum Intel 与 fastRAG 在基于 Xeon 的 CPU 上加速嵌入模型，并将其集成进现有 RAG 流水线。
Hugging Face BlogAI 评分3232 Argilla 与 Hugging Face 发起 Data is Better Together，共建偏好数据集并招募首批社区
Argilla 与 Hugging Face 联合发起 Data is Better Together 实验，几天内汇集 350 名社区贡献者完成超 11,000 条 prompt 评分，并发布含 10,000 条 prompt 用户评分的 10k_prompts_ranked 数据集。
Hugging Face Blog精选AI 评分6767 BigCode 发布 StarCoder2 代码模型，并推出 The Stack v2 数据集
BigCode 发布透明训练的开放代码大模型 StarCoder2，含 3B、7B、15B 三个参数版本，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由：BigCode 同时放出 3B/7B/15B 三档代码模型与 67.5TB 数据集，可据此判断开源代码模型的当前水位。
Hugging Face BlogAI 评分3232 Hugging Face 详解 AI 水印：工具、技术与局限性
Hugging Face 发布 AI 水印入门指南，介绍在生成时嵌入和生成后添加两类水印方法，前者需访问模型但更稳健，后者可用于闭源模型。文中还介绍了 Glaze、Photoguard、Nightshade、Fawkes 等图像防护与投毒工具，以及按 C2PA 标准嵌入元数据的 Truepic。
Hugging Face BlogAI 评分4040 Hugging Face 详解 Matryoshka 嵌入模型：可截断的多维嵌入
Matryoshka 嵌入模型能在同一个模型下产出多种维度的可用嵌入，对 768 维向量截断到 512、256、128 或 64 维后仍可保持下游任务性能。其思路源自 Kusupati 等人 2022 年的 Matryoshka Representation Learning，把各维度的损失相加训练，让重要信息集中在前面的维度。
Hugging Face BlogAI 评分3131 如何在 HF Mirror 上微调 Gemma 模型
Google DeepMind 的开源模型 Gemma 已在 HF Mirror 上线，提供 2B 和 7B 两种参数规模及预训练、指令微调版本，并支持 TGI、Vertex Model Garden 与 GKE 部署。
Hugging Face Blog精选AI 评分7070 Hugging Face 发文欢迎 Google 开源 LLM 家族 Gemma
Google 发布开源 LLM 家族 Gemma，包含 2B 和 7B 两个尺寸，各有基础版与指令微调版共 4 个模型，基于 Gemini 打造，上下文长度 8K tokens，可在消费级 GPU、TPU 甚至 CPU 与端侧设备上运行。
推荐理由：Google 开源 Gemma 2B 与 7B 双尺寸模型，本文给出 8K 上下文、消费级硬件运行及与 Transformers 生态的完整集成路径。
Hugging Face BlogAI 评分3232 Hugging Face 推出 Open Ko-LLM Leaderboard：韩语大模型评测生态
Hugging Face 上线 Open Ko-LLM Leaderboard，专门评测韩语大模型，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务。该榜使用不公开的私有测试集以防数据污染，上线五个月已有超 1000 个模型提交，KT 的 Mi:dm 7B 在 7B 及以下参数模型中排名第一并已开放公众使用。
Hugging Face Blog精选AI 评分6767 Hugging Face：用开源合成数据低成本训练定制模型
Hugging Face 博客以金融新闻投资者情绪识别为例，展示用开源 Mixtral-8x7B-Instruct-v0.1 生成合成数据、再用 AutoTrain 蒸馏出约 0.13B 参数的 RoBERTa 分类模型的流程。
推荐理由：以金融情绪识别为例，给出用开源 LLM 生成合成数据再蒸馏小模型的可复用流程与成本对比。
Hugging Face BlogAI 评分1515 AMD 与 Hugging Face 联合启动 Pervasive AI 开发者大赛，总奖金 16 万美元
AMD 联合 Hugging Face 启动 Pervasive AI 开发者大赛，设 Generative AI、Robotics AI、PC AI 三个赛道，总奖金 16 万美元，单项最高 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
Hugging Face Blog精选AI 评分6060 HF Mirror 为 TGI 与 Inference Endpoints 推出 Messages API，兼容 OpenAI Chat Completion
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API。
推荐理由：TGI 1.4.0 起提供 OpenAI 兼容的 Messages API，读者可据此评估把现有 OpenAI 代码迁移到开源模型的成本。
Hugging Face Blog精选AI 评分6060 Segmind 发布 SegMoE 扩散专家混合框架
Segmind 发布 SegMoE 框架，可从零构建混合专家（MoE）扩散模型，并已集成 diffusers，同时开源 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型及建模代码（Apache 2.0）。
推荐理由：原文给出了从配置到生产的完整流程和显存占用数据，读者可以据此判断是否用 MoE 方式拼装扩散模型。
Hugging Face BlogAI 评分4444 Hugging Face TGI 正式支持 AWS Inferentia2 与 Amazon SageMaker
Hugging Face 的 Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，通过 Tensor Parallelism 与连续批处理服务 Llama、Mistral 等开源 LLM。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布开源大模型 Constitutional AI 端到端配方
Hugging Face 公开了一套用开源模型做 Constitutional AI 的端到端配方，覆盖自我批判、修订、SFT 与 DPO 全流程，并发布了 Anthropic constitution 与 Grok 风格两个版本的 CAI 数据集，以及基于 Mistral-7B 的 DPO/SFT 模型。
推荐理由：Hugging Face 公开了一套在开源模型上做 Constitutional AI 的完整配方，包括数据集、模型与集群推理工具，便于复现细粒度对齐。
Hugging Face BlogAI 评分3232 在 Intel Xeon 上用 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
借助 8bit、4bit 量化与辅助生成（assisted generation），StarCoder-15B 在第四代 Intel Xeon 上实现超过 7 倍推理加速。
Hugging Face BlogAI 评分5252 Hugging Face 与 Google Cloud 达成战略合作
Hugging Face 与 Google Cloud 宣布战略合作，在开放科学、开源、云与硬件层面协作，让企业用开源模型构建自己的 AI。
Hugging Face Blog精选AI 评分6363 开源 LLM 作为 LangChain 智能体评测
Hugging Face 在 LangChain 中集成 ChatHuggingFace 封装，让开源模型可构建 ReAct 智能体，并对比了多个开源模型与 GPT-3.5、GPT-4 的表现。
推荐理由：对比多个开源模型在 ReAct 智能体上的评测结果，并给出 LangChain 接入代码示例。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 做低资源 ASR
Hugging Face 发布教程，介绍如何用 🤗 Transformers 基于 facebook/w2v-bert-2.0 检查点在低资源 ASR 任务上微调 Wav2Vec2-BERT。