Hugging Face 推出 RTEB：面向真实场景的检索嵌入评测基准
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评测嵌入模型的真实检索准确率。RTEB 覆盖 20 种语言及法律、医疗、代码、金融等领域，每个数据集至少 1k 文档和 50 queries，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测。
#评测/基准
#评测/基准
今日 0 条Hugging Face BlogAI 评分4242
Hugging Face BlogAI 评分4242 Hugging Face 推出 RiskRubric.ai：为模型生态提供标准化风险评估
Cloud Security Alliance 与 Noma Security 牵头，Haize Labs 和 Harmonic Security 参与，推出 RiskRubric.ai，对模型按透明度、可靠性、安全、隐私、安全和声誉六大维度打分并给出 A-F 等级。
Hugging Face BlogAI 评分2929 Hugging Face 推出 TextQuests：LLM 玩文字冒险游戏能有多强？
Hugging Face 发布 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏评测 LLM 的智能体能力，每局最多执行 500 步，分带官方提示与无提示两轮运行，并用游戏进度和 Harm 两项指标打分。
Hugging Face BlogAI 评分2626 Hugging Face 发布 FilBench：评估 LLM 的菲律宾语能力
Hugging Face 推出 FilBench，一个覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言的评测套件，含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务，并基于 Lighteval 构建，已作为社区任务上线官方 Lighteval 仓库。
OpenAI News精选AI 评分8484 OpenAI 演示 GPT-5 在办公场景中的应用
OpenAI 发布 GPT-5 办公场景演示，展示该模型如何分析反馈、制定产品计划与原型，并总结后续步骤。
Hugging Face BlogAI 评分3333 NVIDIA AI-Q Blueprint 基于 Llama Nemotron 登顶 DeepResearch Bench 开源榜首
NVIDIA AI-Q Blueprint 在 DeepResearch Bench 的"LLM with Search"榜单上以 40.52 分登顶，成为得分最高的完全开源许可方案。
Hugging Face BlogAI 评分2626 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم），首个专门评估阿拉伯语 LLM 在 STEM 与代码生成能力的多组件基准，包含 865 道真实 STEM 选择题、1744 道合成高难度题，以及译成阿拉伯语的 HumanEval+ 和 MBPP+ 代码任务。
Hugging Face BlogAI 评分4646 Hugging Face 发布 TimeScope：视频大模型能处理多长视频？
Hugging Face 开源基准 TimeScope，通过在 1 分钟至 8 小时的长视频中插入 5-10 秒"针"片段，评测视频大模型的定位检索、信息综合与细粒度时序感知三项能力。测试显示，即便 Gemini 2.5-Pro 等领先模型在真正的长视频时序理解上仍显吃力，且视频越长性能下滑越明显。
Hugging Face BlogAI 评分3737 Hugging Face 推出 FutureBench：用预测未来事件评测 AI 智能体
Hugging Face 发布 FutureBench，通过让 AI 智能体预测真实未来事件来评测其推理能力，避免传统基准的数据污染问题。该基准用基于 smolagents 的智能体抓取新闻生成预测问题，并接入 Polymarket 预测市场，每周分别产出约 5 个新闻问题和 8 个市场问题，答案可随时间验证。
Hugging Face BlogAI 评分4848 Kimina-Prover：在大规模形式推理模型上应用测试时 RL 搜索
Numina 与 Kimi 团队发布定理证明模型 Kimina-Prover-72B，基于 Qwen2.5-72B 并用 Kimi k1.5 的 RL 流程训练，在 miniF2F 基准上以 TTRL 搜索框架达到 92.2% 的 SOTA 通过率。
Hugging Face BlogAI 评分2323 Hugging Face 宣布 NeurIPS 2025 E2LM 竞赛：评测大语言模型训练早期阶段
Hugging Face 宣布举办 NeurIPS 2025 E2LM 竞赛，面向科学知识领域构建能在 LLM 训练早期（约 200B tokens 前）捕捉有效信号的新基准。
Hugging Face BlogAI 评分4141 Hugging Face 推出 HELMET：全面评估长上下文语言模型
Hugging Face 发布 HELMET 长上下文语言模型评估基准，已评估 59 个近期 LCLM，主张跨多样下游任务评估才能真正区分模型能力。
Hugging Face BlogAI 评分2525 Hugging Face 与 MBZUAI 推出 Arabic-Leaderboards，新增阿拉伯语指令遵循榜单并更新 AraGen
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards Space，将阿拉伯语 AI 评测集中到一处，目前上线 AraGen-03-25 和阿拉伯语指令遵循两个榜单。
Hugging Face Blog精选AI 评分6161 Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型
Hugging Face 用新数学评测器 Math-Verify 重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型，替换旧评测器只需改 3 行代码。
推荐理由：原文给出数学评测器替换后的全量重评数据，可据此理解旧榜评分偏差与榜单变动幅度。
Hugging Face BlogAI 评分3333 Hugging Face 发布 Open Arabic LLM Leaderboard 2：阿拉伯语大模型评测榜升级
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2，升级阿拉伯语大模型评测榜。首版 OALL 上线不到 7 个月吸引超 46,000 名访客，收到 700 多个模型提交，参数从 1B 到 70B 以上，来自 180 多个机构，其中超 70% 为 chat 和微调模型，11% 为预训练模型，超半数模型小于 7B。
Hugging Face BlogAI 评分5050 Adyen 与 Hugging Face 发布 DABstep：多步推理数据智能体基准
Adyen 和 Hugging Face 联合推出 DABstep，一个包含 450+ 真实数据分析任务的多步推理数据智能体基准，最强推理型智能体准确率仅 16%。
Hugging Face BlogAI 评分3434 Hugging Face：Open LLM Leaderboard 加入 CO₂ 排放评估，社区微调模型更省碳
Hugging Face 为 Open LLM Leaderboard 加入模型推理的 CO₂ 排放估算，覆盖 3,000 多个模型的评测。数据显示模型越大排放越高但分数收益递减，MoE 模型的分数-排放比普遍偏低，而社区微调或合并模型往往比其官方基座更省碳。
Hugging Face BlogAI 评分5353 Artificial Analysis 发布 Big Bench Audio 音频推理基准
Artificial Analysis 发布 Big Bench Audio 评测数据集，将 Big Bench Hard 的 1000 道题改编为音频形式，用于评估音频语言模型的推理能力。
Hugging Face BlogAI 评分2929 LLM 有多擅长修正自己的错误？用 Keras 和 TPU 做的 chatbot arena 实验
一项基于 Keras、JAX 和 TPU 的 chatbot arena 实验测试了 LLM 修正自身错误的能力。
Hugging Face BlogAI 评分2626 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式基准与排行榜
Hugging Face 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与排行榜，采用基于 LLM-as-judge 的新评估指标 3C3H，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度打分。AraGen 同时覆盖开源与闭源模型，采用动态评估策略：数据集与评估代码先保密三个月进行盲测，期满后公开并替换为新私有基准，以缓解数据污染。
Hugging Face BlogAI 评分4444 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型直接对辩，目前支持中文、英文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义参数与实时调试能力，以解决静态评测和 Chatbot Arena 等现有平台缺乏区分度、模型各自生成不真正交互、投票存在风格偏好的问题。
Hugging Face BlogAI 评分3232 Hugging Face 与 LLM-jp 联合发布日语 LLM 开放排行榜
Hugging Face 与跨机构项目 LLM-jp 合作推出 Open Japanese LLM Leaderboard，用于公开评测日语大语言模型。该排行榜基于超 20 个数据集、覆盖 16 项任务（从自然语言推理、机器翻译到代码生成与数学推理），采用 4-shot 设置，由 llm-jp-eval 评测套件驱动。
Hugging Face BlogAI 评分5353 Judge Arena 上线：用众包对战给 LLM 裁判模型排名
Hugging Face 博客介绍 Judge Arena 平台上线，用户可让两个 LLM 裁判对同一段模型输出打分并给出理由，再投票选出更认同的一方，投票结果按 Elo 分数汇总成公开榜单并每小时更新。
Hugging Face BlogAI 评分2222 Hugging Face 专家支持案例：用 LLM-as-a-Judge 强化 Farmer.chat 的 RAG 应用
Digital Green 与 CGIAR、Hugging Face 专家支持计划合作开发农业问答机器人 Farmer.chat，基于 RAG 和 GPT-4o 规划智能体回答农户提问，知识库涵盖近 46000 篇农业研究论文。过去一年该机器人已服务超 2 万名农户、处理逾 34 万次查询。为评估回答质量，团队搭建了 LLM-as-a-Judge 评测体系。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open FinLLM Leaderboard，专注金融大模型评测
Hugging Face 发布 Open FinLLM Leaderboard，一个面向金融领域的专用大模型评测榜单，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务，采用零样本评估且无需微调。评测指标包括 Accuracy、F1 Score、ROUGE Score 和 MCC，任务数据集来自 FinQA、TATQA、ECTSum、EDTSum 等真实金融场景。
Hugging Face BlogAI 评分2121 Hugging Face 发布 BenCzechMark：首个捷克语 LLM 综合评测基准
Hugging Face 发布 BenCzechMark，称其为首个也是最全面的捷克语 LLM 评测套件，含 50 项任务、9 个类别，90% 任务为原生非翻译内容。配套排行榜已收录 25 个以上不同规模的开源模型，覆盖阅读理解、事实知识、语言建模、数学推理等维度，评测指标包括 Acc、EM、AUROC 和词级困惑度。
Hugging Face BlogAI 评分3232 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation），将 VQA 评测重构为 LLM 的答案评分任务，用 Llama-2-Chat-7b 对 Docmatix 200 张图像的零样本生成答案按 1-3 分打分并映射到 [0,1]。
Hugging Face BlogAI 评分5656 Hugging Face Transformers Code Agent 登顶 GAIA 基准
Hugging Face 用 Transformers Agents 库构建的 Code Agent 在 GAIA 基准验证集上取得 44.2%，排名第一，比第二名高 4 个百分点；测试集成绩为 33.3%，排名第二，并在最难的 Level 3 问题上取得最佳平均分。
Hugging Face BlogAI 评分4343 BigCodeBench：下一代 HumanEval 基准发布
Hugging Face 发布 BigCodeBench，包含 1,140 个函数级任务，需组合 139 个库中的多次函数调用，用于评测 LLM 在无污染的真实编程任务上的能力。每个任务平均配 5.6 个测试用例，分支覆盖率平均 99%，并另设更难、面向指令微调模型的 BigCodeBench-Instruct 变体。
Hugging Face BlogAI 评分4040 Artificial Analysis 发布文生图排行榜与竞技场，用4.5万人类偏好投票给图像模型排名
Artificial Analysis 推出文生图排行榜与 Image Arena，基于超 45,000 条人类图像偏好投票、以类似 Chatbot Arena 的 ELO 回归为各模型打分，每个模型生成超 700 张覆盖人像、动物、自然、艺术等类别的图像。
Hugging Face BlogAI 评分3737 Meta 发布 CyberSecEval 2：评估 LLM 网络安全风险与能力的评测框架
Meta 推出 CyberSecEval 2，用于评估 LLM 生成不安全代码、抵抗提示词注入、配合网络攻击、滥用代码解释器以及自动化攻击性网络安全能力。相比 2023 年 12 月的首版，LLM 配合网络攻击请求的平均合规率从 52% 降至 28%。所有代码已开源，可接入排行榜。
Hugging Face BlogAI 评分3131 Hugging Face 推出 Open Arabic LLM Leaderboard 阿拉伯语大模型评测榜
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），专为评估和对比阿拉伯语 LLM 性能而设，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face BlogAI 评分1818 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布面向希伯来语的开放 LLM 排行榜，用于评测和提升希伯来语语言模型。榜上包含四个基准：希伯来语问答（HeQ 测试子集）、情感准确率、Winograd Schema Challenge 希伯来语翻译版和英希互译，均采用 few-shot 提示格式。
Hugging Face BlogAI 评分3030 Artificial Analysis LLM 性能排行榜上线 HF Mirror
Artificial Analysis 的 LLM Performance Leaderboard 现已上线 HF Mirror，覆盖 100 多个 serverless LLM API endpoint，可按质量、上下文窗口、价格、吞吐和延迟（TTFT）横向对比开源与闭源模型。
Hugging Face BlogAI 评分3939 Hugging Face 与 Dottxt 用结构化生成提升 Prompt 一致性
Hugging Face 排行榜与评测团队发现，MMLU 等任务的评测结果对 prompt 格式极为敏感，同一模型在不同格式下准确率可相差约 10 分，Qwen1.5-7B 甚至从 51.2% 跌至 22.9%。为此他们与 Dottxt 合作，用 Outlines 库通过正则表达式或上下文无关文法约束模型输出结构，希望从输出端而非输入端减少 prompt 格式带来的方差。
Hugging Face BlogAI 评分4040 Hugging Face 推出 Open Chain of Thought Leaderboard，按 CoT 准确率增益评测 LLM
Hugging Face 发布 Open Chain of Thought Leaderboard，不评测模型绝对准确率，而是衡量启用与不启用 chain-of-thought 提示后的准确率差值 Δ。榜单覆盖 LogiQA、LSAT 及 AGIEval 中的推理任务，均以多选题形式呈现，CoT 生成采用模块化提示链，已实现 Classic 与 Reflect 两种策略。
Hugging Face BlogAI 评分5151 Hugging Face 推出 Open Medical-LLM Leaderboard，评测医疗场景大语言模型
Open Life Science AI 在 Hugging Face 发布 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标。
Hugging Face BlogAI 评分4444 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，通过按发布时间标注 LeetCode、AtCoder、CodeForces 题目，支持按时间窗口滚动评估以检测和防止数据污染。
Hugging Face BlogAI 评分4040 Hugging Face 与 Lighthouz AI 推出 Chatbot Guardrails Arena，压力测试 LLM 隐私护栏
Lighthouz AI 联合 Hugging Face 上线 Chatbot Guardrails Arena，让用户以对抗方式诱导匿名聊天机器人泄露虚构银行 XYZ001 客户的姓名、SSN、账号与余额等敏感信息，再投票选出隐私保护更强的模型。
Hugging Face BlogAI 评分3030 UCLA 推出 ConTextual：评估多模态模型在文本丰富场景中的图文联合推理能力
UCLA 研究者发布 ConTextual，一个含 506 条指令的上下文敏感文本丰富视觉推理数据集，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并附排行榜与验证集。首轮评测 13 个模型，GPT-4V 表现最佳，但在时间相关任务上不及人类；开源模型仅在抽象与自然场景达到可接受水平。