Hugging Face 为 Text Generation Inference 引入多后端支持（TRT-LLM、vLLM）
Hugging Face 为 Text Generation Inference（TGI）引入多后端架构，通过统一的 TGI 前端层接入 vLLM、llama.cpp、TensorRT-LLM 等推理引擎，用户可按模型、硬件和性能需求切换后端。
#Hugging Face
#Hugging Face
今日 2 条Hugging Face BlogAI 评分4747
Hugging Face BlogAI 评分5555 Hugging Face 发布静态嵌入模型，训练与推理速度最高提升 400 倍
Hugging Face 发布两个静态嵌入模型 sentence-transformers/static-retrieval-mrl-en-v1（英文检索）和 static-similarity-mrl-multilingual-v1（多语言相似度）。
Hugging Face BlogAI 评分2424 Hugging Face 分析：AI 智能体已来，全自主智能体不应被开发
Hugging Face 发布分析指出，AI 智能体的风险随自主性提升而增加，用户让渡的控制权越多、风险越大，因此建议不要开发可自行编写并执行代码的全自主 AI 智能体。文中将智能体自主性划分为从模型不影响程序流程到模型自行编写执行代码的多个等级，认为半自主智能体在自主程度、可用任务和用户控制方式合适时，收益可能大于风险。
Hugging Face BlogAI 评分4242 Hugging Face 推出 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型
Hugging Face 发布 vdr-2b-multi-v1 多语言嵌入模型，可将文档页面截图直接编码为稠密单向量，无需 OCR 或分块即可检索意、西、英、法、德五种语言的视觉文档。
Hugging Face BlogAI 评分3434 Hugging Face：Open LLM Leaderboard 加入 CO₂ 排放评估，社区微调模型更省碳
Hugging Face 为 Open LLM Leaderboard 加入模型推理的 CO₂ 排放估算，覆盖 3,000 多个模型的评测。数据显示模型越大排放越高但分数收益递减，MoE 模型的分数-排放比普遍偏低，而社区微调或合并模型往往比其官方基座更省碳。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 smolagents：用代码编写动作的轻量智能体库
Hugging Face 发布 smolagents 库，让语言模型具备智能体能力，核心是 CodeAgent——智能体用代码而非 JSON 编写动作，并支持通过 E2B 在沙箱环境执行。
推荐理由：Hugging Face 官方介绍 smolagents 库的 CodeAgent 设计与上手方式，可作为编写代码动作智能体的参考。
Hugging Face Blog精选AI 评分6060 如何在 PyTorch 中可视化和理解 GPU 显存占用
Hugging Face 博客给出用 PyTorch 的 torch.cuda.memory 记录并可视化 GPU 显存占用的完整方法，把 profile.pkl 拖入 pytorch.org/memory_viz 即可看到显存随时间变化的图形。
推荐理由：用 PyTorch 自带的内存快照工具逐步拆解训练显存构成，并给出可套用的估算公式。
Hugging Face BlogAI 评分4444 NVIDIA LogitsProcessorZoo 如何用 logits 处理器控制语言模型生成
NVIDIA 的 LogitsProcessorZoo 是一套模块化 logits 处理器，可控制语言模型生成时的序列长度、强制关键短语或引导多选题答案，并与 Hugging Face Transformers 的 generate 方法完全兼容。
Hugging Face Blog精选AI 评分7575 Answer.AI 与 LightOn 发布 ModernBERT：取代 BERT 的编码器模型系列
Answer.AI 与 LightOn 发布 ModernBERT，一个仅编码器模型系列，包含 base（149M 参数）和 large（395M 参数）两个规模，作为任何 BERT 类模型的即插即用替代。
推荐理由：从架构到训练的完整技术拆解，并附论文、预训练 checkpoint 与微调路径，便于判断能否替换现有 BERT 类编码器。
Hugging Face BlogAI 评分4949 IBM 联合普林斯顿、CMU、UIUC 发布混合 Mamba2 模型 Bamba-9B
IBM 联合普林斯顿、CMU、UIUC 发布推理高效的混合 Mamba2 模型 Bamba-9B，基于 2.2T tokens 完全开放数据训练，在 vLLM 中吞吐量提升 2.5 倍、延迟加速 2 倍。
Hugging Face BlogAI 评分5656 TII 发布 Falcon3 开源模型系列，含 1B 至 10B 参数及 Mamba-7B
阿布扎比技术创新研究院（TII）发布 Falcon3 开源模型系列，包含 Falcon3-1B-Base、Falcon3-3B-Base、Falcon3-Mamba-7B-Base、Falcon3-7B-Base 和 Falcon3-10B-Base 五个基础模型，全部在 100 亿参数以下。
Hugging Face BlogAI 评分2727 在 GCP 第 5 代 Xeon 上基准测试语言模型性能
Hugging Face 用 optimum-benchmark 在 Google Cloud 的 C4（第 5 代 Intel Xeon，Emerald Rapids，带 AMX）和 N2（第 3 代 Xeon，Ice Lake，仅 AVX-512）上对比测试文本嵌入与文本生成。
Hugging Face BlogAI 评分5656 Hugging Face 推出 Synthetic Data Generator，用自然语言无代码构建数据集
Hugging Face 发布 Synthetic Data Generator，让用户用自然语言描述需求，经三步流程生成自定义数据集，目前支持文本分类和对话两类任务。
Hugging Face BlogAI 评分4545 Hugging Face 与 Entalpic 联合发布开源材料发现项目 LeMaterial，首推 LeMat-Bulk 数据集
Hugging Face 与 Entalpic 联合推出开源协作项目 LeMaterial，并首发 LeMat-Bulk 数据集，将 Materials Project、Alexandria 和 OQMD 三大材料数据库统一清洗标准化为 670 万条条目、7 项材料属性的单一格式，采用 CC-BY-4.0 许可。
Hugging Face BlogAI 评分2525 Hugging Face 模型上架 Amazon Bedrock Marketplace，83 个开源模型可部署
Hugging Face 上的 83 个开源模型现已通过 Amazon Bedrock Marketplace 提供，AWS 客户可直接部署用于生成式 AI 应用，底层由 Amazon SageMaker JumpStart 托管端点。
Hugging Face BlogAI 评分3636 Hugging Face 社区发布文本到图像生成开放偏好数据集
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集，覆盖常见图像生成类别并混合不同模型家族与提示词复杂度。数据集基于 Flux 和 Stable Diffusion 模型生成图像，配套提供 flux-dev-lora-finetune。
Hugging Face BlogAI 评分2929 LLM 有多擅长修正自己的错误？用 Keras 和 TPU 做的 chatbot arena 实验
一项基于 Keras、JAX 和 TPU 的 chatbot arena 实验测试了 LLM 修正自身错误的能力。
Hugging Face BlogAI 评分2626 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式基准与排行榜
Hugging Face 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与排行榜，采用基于 LLM-as-judge 的新评估指标 3C3H，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度打分。AraGen 同时覆盖开源与闭源模型，采用动态评估策略：数据集与评估代码先保密三个月进行盲测，期满后公开并替换为新私有基准，以缓解数据污染。
Hugging Face BlogAI 评分3636 CFM 案例：用 LLM 辅助标注微调小模型，NER 准确率提升 6.4%、成本降低 80 倍
Capital Fund Management（CFM）用 Llama 3.1 辅助标注金融新闻命名实体识别数据，再微调 GLiNER 与 SpanMarker 小模型，F1 分别从 87.0% 和 47.0% 提升至 93.4% 和 90.1%。
Hugging Face BlogAI 评分3535 开源开发者指南：EU AI Act 要点解读
EU AI Act 已正式生效，可能适用于开源 AI 模型与系统，义务取决于模型类型和发布方式，多数情况下只需清晰文档、部署时披露模型信息并遵守现有版权与隐私规则。
Hugging Face BlogAI 评分3535 Hugging Face 重新设计 Hub 上传下载架构，引入内容寻址存储
Hugging Face 的 Xet 团队正在重新设计 Hub 的上传与下载架构，计划引入内容寻址存储（CAS）并自建传输协议，按字节级分析文件以加速模型与数据集仓库的大文件传输，该协议还能将 Safetensors 张量文件的上传速度提升 10-25%。
Hugging Face BlogAI 评分4848 Hugging Face 发布 SmolVLM：2B 参数的开源视觉语言模型
Hugging Face 发布 SmolVLM，一个 2B 参数、面向低内存占用的开源视觉语言模型，模型权重、数据集、训练配方和工具均以 Apache 2.0 许可开放。
Hugging Face BlogAI 评分3838 Hugging Face 用内容定义分块（CDC）提升 Hub 存储效率
Hugging Face 的 Xet 团队改用内容定义分块（CDC）存储文件，只传输和保存被修改的 chunk。对 CORD-19 数据集的测试显示，平均下载时间从 51 分钟降至 19 分钟，上传从 47 分钟降至 24 分钟，存储占用从 8.9 GB 降至 3.52 GB。
Hugging Face BlogAI 评分4444 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型直接对辩，目前支持中文、英文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义参数与实时调试能力，以解决静态评测和 Chatbot Arena 等现有平台缺乏区分度、模型各自生成不真正交互、投票存在风格偏好的问题。
Hugging Face BlogAI 评分3232 Hugging Face 与 LLM-jp 联合发布日语 LLM 开放排行榜
Hugging Face 与跨机构项目 LLM-jp 合作推出 Open Japanese LLM Leaderboard，用于公开评测日语大语言模型。该排行榜基于超 20 个数据集、覆盖 16 项任务（从自然语言推理、机器翻译到代码生成与数学推理），采用 4-shot 设置，由 llm-jp-eval 评测套件驱动。
Hugging Face BlogAI 评分3232 Hugging Face 详解 LayerSkip 自推测解码：用早期层草稿加速文本生成
Hugging Face 博客介绍了源自 LayerSkip 论文的自推测解码（self-speculative decoding）：用同一 LLM 的浅层生成草稿 token、深层负责验证，无需额外草稿模型即可同时提升速度并节省显存。
Hugging Face BlogAI 评分5353 Judge Arena 上线：用众包对战给 LLM 裁判模型排名
Hugging Face 博客介绍 Judge Arena 平台上线，用户可让两个 LLM 裁判对同一段模型输出打分并给出理由，再投票选出更认同的一方，投票结果按 Elo 分数汇总成公开榜单并每小时更新。
Hugging Face BlogAI 评分2727 Hugging Face 教你如何在 HF Mirror Hub 上分享开放 ML 数据集
HF Mirror Hub 支持托管 TB 级数据集并配备 Dataset Viewer、全文搜索、排序与浏览器内 SQL Console，用户无需下载即可在线浏览和查询数据。
Hugging Face BlogAI 评分3434 PyCharm 集成 Hugging Face：在 IDE 内直接插入和调用模型
PyCharm 现已集成 Hugging Face，开发者可在 IDE 内右键 "Insert HF Model" 选择模型（如 microsoft/Phi-3.5-vision-instruct）并自动粘贴示例代码。
Hugging Face BlogAI 评分3838 Argilla 2.4 发布：无需代码，在 Hub 上轻松构建微调与评估数据集
Argilla 2.4 推出无需代码的数据集构建功能，可直接从 Hugging Face Hub 导入数据集，通过 UI 定义问题并收集人工反馈。该功能支持从 Hub 上 230k 数据集中导入公开数据集，用于微调、评估和众包标注，部署在 Spaces 上默认启用 Hugging Face OAuth，便于社区协作。这是 Argilla 加入 Hugging Face 以来最具影响力的功能更新。
Hugging Face BlogAI 评分5858 Hugging Face 与 Intel Labs 提出 Universal Assisted Generation：任意辅助模型加速解码
Hugging Face 与 Intel Labs 提出 Universal Assisted Generation（UAG），通过双向 tokenizer 转换，让目标模型可以搭配任意模型家族的更小辅助模型，对任意 decoder 或 MoE 模型实现 1.5x-2.0x 推理加速。
Hugging Face BlogAI 评分2222 Hugging Face 专家支持案例：用 LLM-as-a-Judge 强化 Farmer.chat 的 RAG 应用
Digital Green 与 CGIAR、Hugging Face 专家支持计划合作开发农业问答机器人 Farmer.chat，基于 RAG 和 GPT-4o 规划智能体回答农户提问，知识库涵盖近 46000 篇农业研究论文。过去一年该机器人已服务超 2 万名农户、处理逾 34 万次查询。为评估回答质量，团队搭建了 LLM-as-a-Judge 评测体系。
Hugging Face Blog精选AI 评分6060 Cohere For AI 发布 Aya Expanse 8B 与 32B 多语言模型
Cohere 研究实验室 Cohere For AI 发布 Aya Expanse 系列多语言模型，包含 8B 和 32B 两个参数规模，并以开放权重形式发布。
推荐理由：原文给出 Aya Expanse 8B/32B 的对比胜率与技术管线细节，可了解多语言训练中数据套利与模型合并的具体做法。
Hugging Face Blog精选AI 评分6969 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 发布 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本添加水印，并用分类器检测。
推荐理由：SynthID Text 集成进 Transformers 后，给出了水印配置、生成与检测的完整接入方式及已知局限。
Hugging Face BlogAI 评分2828 CinePile 2.0：用对抗式精炼打造更强的数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，并开源一种名为对抗式精炼的新方法。初版 CinePile 于 2024 年 5 月推出，含约 30 万训练样本和 5000 测试样本，人类在该基准上比最强商业视觉模型高出 25%、比开源模型高出 65%；2.0 版本由 HF Mirror 参与，针对退化问题和视觉依赖等缺陷做改进，该方法可直接用于强化现有数据集。
Hugging Face BlogAI 评分5757 Hugging Face 发布 HUGS 生成式 AI 推理微服务
Hugging Face 发布 HUGS（Hugging Face Generative AI Services），一套零配置、经过优化的推理微服务，用于在自有基础设施中部署开源模型。
Hugging Face Blog精选AI 评分6868 Transformers.js v3 发布：支持 WebGPU、新模型与量化格式
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称推理速度最高比 WASM 快 100 倍，只需在加载模型时设置 device: 'webgpu'。
推荐理由：官方发布浏览器端推理库大版本，WebGPU 与量化格式的变化直接影响前端模型部署方式。
Hugging Face BlogAI 评分3939 如何在 HF Mirror Inference Endpoints 上部署 Speech-to-Speech
HF Mirror 的 Speech-to-Speech（S2S）项目通过 VAD、语音转文本、语言模型和文本转语音组成的级联管道实现语音对话，支持英语、法语、西班牙语、中文、日语和韩语。由于运行 S2S 需要大量算力，即使高端笔记本也可能出现延迟，官方给出用自定义 Docker 镜像将其部署到 HF Mirror Inference Endpoints 的分步教程。
Hugging Face BlogAI 评分4444 dottxt 与 Hugging Face 发布 outlines-core 0.1.0：Rust 重写的结构化生成核心库
dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0，这是 outlines 结构化生成核心算法的 Rust 移植版，Python 绑定已开源并集成进 outlines。该版本带来约 2 倍的索引编译速度提升，并消除了 Numba JIT 首次运行的延迟，同时凭借 Rust 的内存安全与轻量化设计支持 Python 之外的更多语言绑定。
Hugging Face BlogAI 评分2727 Hugging Face 与 Protect AI 合作，用 Guardian 扫描模型安全
Hugging Face 宣布与 Protect AI 合作，将后者旗下安全工具 Guardian 作为第三方扫描器集成进 Hub 的扫描套件，用于识别 pickle、Keras Lambda 层等格式中的任意代码执行漏洞。所有公开模型仓库在推送文件后会自动扫描，无需额外操作，目前平台已扫描数亿个文件，但超 100 万个模型仓库的覆盖仍需时间。