Artificial Analysis LLM 性能排行榜上线 HF Mirror
Artificial Analysis 的 LLM Performance Leaderboard 现已上线 HF Mirror，覆盖 100 多个 serverless LLM API endpoint，可按质量、上下文窗口、价格、吞吐和延迟（TTFT）横向对比开源与闭源模型。
#Hugging Face
#Hugging Face
今日 2 条Hugging Face BlogAI 评分3030
Hugging Face BlogAI 评分4444 Hugging Face Inference Endpoints 自定义处理器实现 Whisper ASR、说话人分离与投机解码
Hugging Face 发布自定义推理处理器方案，可在 Inference Endpoints 上组合 Whisper ASR、Pyannote 说话人分离（diarization）与投机解码，并通过单一 API 端点对外提供服务。
Hugging Face BlogAI 评分3939 Hugging Face 与 Dottxt 用结构化生成提升 Prompt 一致性
Hugging Face 排行榜与评测团队发现，MMLU 等任务的评测结果对 prompt 格式极为敏感，同一模型在不同格式下准确率可相差约 10 分，Qwen1.5-7B 甚至从 51.2% 跌至 22.9%。为此他们与 Dottxt 合作，用 Outlines 库通过正则表达式或上下文无关文法约束模型输出结构，希望从输出端而非输入端减少 prompt 格式带来的方差。
Hugging Face Blog精选AI 评分6262 StarCoder2-15B-Instruct 发布：完全透明可许可的自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个用完全可许可且透明的管线自对齐训练的代码大语言模型。它用 StarCoder2-15B 自行生成数千条指令-响应对再微调自身，不使用人工标注或大型闭源模型的蒸馏数据，在 HumanEval 上取得 72.6 分，超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由：原文公开了完全透明的自对齐数据管线，读者可据此了解不依赖 GPT-4 蒸馏也能训练代码指令模型。
Hugging Face BlogAI 评分4040 Hugging Face 推出 Open Chain of Thought Leaderboard，按 CoT 准确率增益评测 LLM
Hugging Face 发布 Open Chain of Thought Leaderboard，不评测模型绝对准确率，而是衡量启用与不启用 chain-of-thought 提示后的准确率差值 Δ。榜单覆盖 LogiQA、LSAT 及 AGIEval 中的推理任务，均以多选题形式呈现，CoT 生成采用模块化提示链，已实现 Classic 与 Reflect 两种策略。
Hugging Face BlogAI 评分4444 Hugging Face 开源通用智能体 JAT：一个 Transformer 玩转 157 项任务
Hugging Face 发布通用智能体项目 Jack of All Trades（JAT），基于 GPT-Neo 的 Transformer 架构，用单一网络在 Atari、BabyAI、Meta-World、MuJoCo 四个领域的 157 项任务上达到专家平均性能的 65.8%。
Hugging Face BlogAI 评分5151 Hugging Face 推出 Open Medical-LLM Leaderboard，评测医疗场景大语言模型
Open Life Science AI 在 Hugging Face 发布 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标。
Hugging Face Blog精选AI 评分7878 Meta 发布 Llama 3 开源大模型，8B 与 70B 双规格上线 Hugging Face
Meta 发布 Llama 3，包含 8B 和 70B 两种参数规模，各有 base 与 instruct 微调版本，并同步推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2，共 5 个开放权重模型上线 Hugging Face。
推荐理由：梳理 Llama 3 四款模型的规格、tokenizer 变化与 Hugging Face 生态集成方式，便于评估其部署与微调成本。
Hugging Face BlogAI 评分3737 Gradio 的 reload 模式如何快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的情况下拉取源码改动。
Hugging Face BlogAI 评分4444 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，通过按发布时间标注 LeetCode、AtCoder、CodeForces 题目，支持按时间窗口滚动评估以检测和防止数据污染。
Hugging Face BlogAI 评分2626 Zama 在 HF Mirror Endpoints 上运行隐私保护推理
开源密码学公司 Zama 基于 Concrete ML 与全同态加密（FHE），在 HF Mirror Endpoints 上部署可一键上线的隐私保护推理服务，支持在加密数据上直接计算而无需私钥。
Hugging Face BlogAI 评分1212 Ryght 借力 HF Mirror Expert Support 推出医疗与生命科学生成式 AI 平台 Ryght Preview
Ryght 正式公开发布面向医疗与生命科学领域的生成式 AI 平台 Ryght Preview，免费向生命科学知识工作者开放，支持无缝上手。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Idefics2：8B 视觉语言模型，Apache 2.0 开源
Hugging Face 发布 Idefics2，一个 8B 参数、Apache 2.0 开源许可的多模态模型，可接收任意文本与图像序列并生成文本回复。它在视觉问答基准上表现处于同等规模领先水平，可与 LLaVa-NeXT-34B、MM1-30B-chat 等更大模型竞争，并已集成进 Transformers。
推荐理由：8B 开源多模态模型在视觉问答基准上对标更大模型，并附指令微调数据集，可据此判断社区多模态微调的起点。
Hugging Face BlogAI 评分3535 Hugging Face 详解视觉语言模型：开源模型全景、评测榜单与 trl 微调实践
Hugging Face 发布视觉语言模型入门指南，梳理其图像编码器、嵌入投影器与文本解码器的核心结构，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型及各自分辨率与能力差异。文章还介绍 Vision Arena、Open VLM Leaderboard 与 MMMU、MMBench 等评测基准，并演示如何用当日发布的新版 trl 进行推理与微调。
Hugging Face BlogAI 评分4141 Hugging Face 与 Google Cloud 合作：数千个开源 LLM 可直接部署到 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud 集成，可将数千个开源模型通过 Vertex AI 或 GKE 部署为自有 Google Cloud 账户内的 API 端点，底层推理由 Text Generation Inference 驱动。
Hugging Face Blog精选AI 评分6262 Google 发布 CodeGemma 代码模型系列
Google 发布开源代码模型系列 CodeGemma，基于预训练的 2B 和 7B Gemma checkpoint 进一步用 5000 亿 token 的英文、数学和代码数据训练，包含专注代码填充的 2B 基础模型、混合代码与自然语言的 7B 基础模型和面向对话的 7B Instruct 三个版本，上下文长度均为 8K。
推荐理由：原文给出三个规格的 CodeGemma 及其在 HumanEval 等基准上的对比数据和 FIM 提示词格式，便于评估其在代码补全场景的定位。
Hugging Face BlogAI 评分2727 Hugging Face 与 Wiz 合作提升 AI 平台安全，并回应 pickle 文件风险
Hugging Face 宣布与云安全公司 Wiz 合作提升平台与 AI/ML 生态安全，并已接入 Wiz 的漏洞管理和云安全态势管理（CSPM）能力。Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码，发现相关缺陷，Hugging Face 表示已修复全部相关漏洞。双方还强调应避免在生产环境使用 pickle 文件，改用 Safetensors。
Hugging Face BlogAI 评分2222 用 HF Mirror Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出的 DuckDB-NSQL-7B 是基于 Meta Llama-2-7b 微调、专为 DuckDB SQL 设计的 LLM，可生成包括 SELECT 在内的多种有效 DuckDB SQL 语句。
Hugging Face BlogAI 评分3030 在 Intel Xeon 上用 Optimum Intel 将 SetFit 推理加速 7.8 倍
Hugging Face 与 Intel Labs 联合开发的 SetFit 框架，通过 Optimum Intel 对模型主体做静态训练后量化（PTQ），在 Intel Xeon CPU 上实现最高 7.8 倍的推理加速。
Hugging Face BlogAI 评分3636 HF Mirror 联手 Cloudflare Workers AI 推出无服务器 GPU 推理
HF Mirror Hub 上线 Deploy on Cloudflare Workers AI 集成，开发者可直接把 Llama、Gemma、Mistral 等热门开源模型当无服务器 API 调用，无需自管 GPU，按请求付费。
Hugging Face BlogAI 评分3232 Pollen Robotics 开源 pollen-vision：面向机器人的零样本视觉模型统一接口
Pollen Robotics 开源 pollen-vision 库，将 OWL-ViT、Mobile Sam、RAM 等零样本视觉模型整合为可组合模块，搭建 3D 物体检测流程，无需训练即可输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face BlogAI 评分4242 Hugging Face 推出二值与标量嵌入量化，检索速度提升 32 倍、存储降低 32 倍
Hugging Face 提出嵌入量化方案：二值量化把 float32 嵌入压成 1-bit，内存与磁盘占用降低 32 倍、检索速度最高提升 32 倍，配合 float32 查询重打分的 rescore 步骤可保留约 96% 的检索性能，不做重打分则约 92.5%。标量（int8）量化可将嵌入维度精度降至 8 位。团队还演示了 4100 万条 Wikipedia 文本的真实检索场景。
Hugging Face BlogAI 评分2525 Hugging Face Transformers 零基础入门指南：在 Space 上运行 Phi-2
Hugging Face 发布面向非技术读者的 Transformers 入门指南，从零解释开源 Python 库 Transformers、模型与数据集托管平台 Hub 和部署 ML 应用的 Spaces，并演示在 Space 上运行微软 Phi-2 LLM。
Hugging Face BlogAI 评分4040 Hugging Face 与 Lighthouz AI 推出 Chatbot Guardrails Arena，压力测试 LLM 隐私护栏
Lighthouz AI 联合 Hugging Face 上线 Chatbot Guardrails Arena，让用户以对抗方式诱导匿名聊天机器人泄露虚构银行 XYZ001 客户的姓名、SSN、账号与余额等敏感信息，再投票选出隐私保护更强的模型。
Hugging Face BlogAI 评分5151 GaLore 如何用消费级硬件训练大模型
Hugging Face 介绍 GaLore 的显存优化训练方法，可将优化器状态显存降低 82.5% 以上，在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 70 亿参数的 Llama 架构模型。
Hugging Face Blog精选AI 评分6262 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件和 250 亿 token，目标是复现 Phi-1.5 的训练数据。
推荐理由：Hugging Face 公开了复现 Phi 合成预训练数据的完整流程、数据集与 1B 模型，读者可据此理解大规模合成数据的提示词设计与工程细节。
Hugging Face BlogAI 评分4848 Hugging Face 在 NVIDIA DGX Cloud 上推出 Train on DGX Cloud 服务
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，用户可在 Hub 内通过 AutoTrain 用 NVIDIA H100 GPU 一键微调 Llama、Mistral、Stable Diffusion 等模型。该服务按 GPU 分钟计费，H100 每小时 8.25 美元、L40S 每小时 2.75 美元，并提供免代码训练作业创建体验。
Hugging Face BlogAI 评分4141 Hugging Face 推出 Quanto：面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重及 int8、float8 激活，可在 CUDA 与 MPS 等任意设备上运行。
Hugging Face BlogAI 评分4242 Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 开源 WebSight 数据集，用于训练 AI 模型将网页截图转换为 HTML 代码。该数据集已从 2024 年 1 月的 v0.1 版 823,000 对样本迭代至 v0.2 版，采用真实图片截图并换用 Tailwind CSS，规模扩展至 200 万对样本。
Hugging Face BlogAI 评分3333 Hugging Face 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 发布博客，展示如何用 Optimum Intel 与 fastRAG 在基于 Xeon 的 CPU 上加速嵌入模型，并将其集成进现有 RAG 流水线。
Hugging Face BlogAI 评分3232 Argilla 与 Hugging Face 发起 Data is Better Together，共建偏好数据集并招募首批社区
Argilla 与 Hugging Face 联合发起 Data is Better Together 实验，几天内汇集 350 名社区贡献者完成超 11,000 条 prompt 评分，并发布含 10,000 条 prompt 用户评分的 10k_prompts_ranked 数据集。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 发布基于 Optimum Habana 的自定义 pipeline 类，可在 Intel Gaudi 2 AI 加速器上用几行代码运行 Llama 2（7b、13b、70b）文本生成，并支持 DeepSpeed 分布式推理与 LangChain 集成。
Hugging Face Blog精选AI 评分6767 BigCode 发布 StarCoder2 代码模型，并推出 The Stack v2 数据集
BigCode 发布透明训练的开放代码大模型 StarCoder2，含 3B、7B、15B 三个参数版本，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由：BigCode 同时放出 3B/7B/15B 三档代码模型与 67.5TB 数据集，可据此判断开源代码模型的当前水位。
Hugging Face BlogAI 评分5555 Hugging Face 推出 TTS Arena，用人类投票评测语音合成模型
Hugging Face 推出 TTS Arena，参考 LMSys 的 Chatbot Arena，让用户输入文本后对比两个模型的合成语音并投票选出更自然的一个。
Hugging Face BlogAI 评分3232 Hugging Face 详解 AI 水印：工具、技术与局限性
Hugging Face 发布 AI 水印入门指南，介绍在生成时嵌入和生成后添加两类水印方法，前者需访问模型但更稳健，后者可用于闭源模型。文中还介绍了 Glaze、Photoguard、Nightshade、Fawkes 等图像防护与投毒工具，以及按 C2PA 标准嵌入元数据的 Truepic。
Hugging Face BlogAI 评分4040 Hugging Face 详解 Matryoshka 嵌入模型：可截断的多维嵌入
Matryoshka 嵌入模型能在同一个模型下产出多种维度的可用嵌入，对 768 维向量截断到 512、256、128 或 64 维后仍可保持下游任务性能。其思路源自 Kusupati 等人 2022 年的 Matryoshka Representation Learning，把各维度的损失相加训练，让重要信息集中在前面的维度。
Hugging Face BlogAI 评分3131 如何在 HF Mirror 上微调 Gemma 模型
Google DeepMind 的开源模型 Gemma 已在 HF Mirror 上线，提供 2B 和 7B 两种参数规模及预训练、指令微调版本，并支持 TGI、Vertex Model Garden 与 GKE 部署。
Hugging Face BlogAI 评分3535 Hugging Face 与 Haize Labs 推出红队抵抗排行榜
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark，用人类越狱提示词测试前沿模型的安全鲁棒性，得分是判定为 Safe 的提示词百分比。
Hugging Face Blog精选AI 评分7070 Hugging Face 发文欢迎 Google 开源 LLM 家族 Gemma
Google 发布开源 LLM 家族 Gemma，包含 2B 和 7B 两个尺寸，各有基础版与指令微调版共 4 个模型，基于 Gemini 打造，上下文长度 8K tokens，可在消费级 GPU、TPU 甚至 CPU 与端侧设备上运行。
推荐理由：Google 开源 Gemma 2B 与 7B 双尺寸模型，本文给出 8K 上下文、消费级硬件运行及与 Transformers 生态的完整集成路径。
Hugging Face BlogAI 评分3232 Hugging Face 推出 Open Ko-LLM Leaderboard：韩语大模型评测生态
Hugging Face 上线 Open Ko-LLM Leaderboard，专门评测韩语大模型，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务。该榜使用不公开的私有测试集以防数据污染，上线五个月已有超 1000 个模型提交，KT 的 Mi:dm 7B 在 7B 及以下参数模型中排名第一并已开放公众使用。