Hugging Face 推出 TTS Arena，用人类投票评测语音合成模型
Hugging Face 推出 TTS Arena，参考 LMSys 的 Chatbot Arena，让用户输入文本后对比两个模型的合成语音并投票选出更自然的一个。
#评测/基准
#评测/基准
今日 0 条Hugging Face BlogAI 评分5555
Hugging Face BlogAI 评分3535 Hugging Face 与 Haize Labs 推出红队抵抗排行榜
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark，用人类越狱提示词测试前沿模型的安全鲁棒性，得分是判定为 Safe 的提示词百分比。
Hugging Face BlogAI 评分3232 Hugging Face 推出 Open Ko-LLM Leaderboard：韩语大模型评测生态
Hugging Face 上线 Open Ko-LLM Leaderboard，专门评测韩语大模型，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务。该榜使用不公开的私有测试集以防数据污染，上线五个月已有超 1000 个模型提交，KT 的 Mi:dm 7B 在 7B 及以下参数模型中排名第一并已开放公众使用。
Hugging Face BlogAI 评分2828 Hugging Face 上线 NPHardEval 排行榜：用复杂度类评测 LLM 推理能力
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，通过计算复杂度类量化评估 LLM 推理能力。
Hugging Face BlogAI 评分3030 Patronus 推出 Enterprise Scenarios Leaderboard：面向真实企业用例的 LLM 榜单
Patronus 团队基于 HF Mirror Leaderboard Template 发布 Enterprise Scenarios Leaderboard。
Hugging Face BlogAI 评分3232 Hugging Face 推出幻觉排行榜，开放评估大语言模型幻觉问题
Hugging Face 发布 Hallucinations Leaderboard，用 NQ Open、TriviaQA、TruthfulQA、XSum、CNN/DM、RACE、SQuADv2、FEVER 等基准评估 LLM 的幻觉表现，分数归一化到 [0,1]。
Hugging Face BlogAI 评分3737 Hugging Face 推出 AI Secure LLM Safety 排行榜
Hugging Face 发布 LLM Safety Leaderboard，基于其排行榜模板，聚焦大语言模型的安全评测。该榜单依托 DecodingTrust 平台，覆盖毒性、刻板印象偏见、对抗鲁棒性、隐私、机器伦理与公平性等八项可信度维度，并为每个维度提供红队测试算法。
Hugging Face Blog精选AI 评分6363 开源 LLM 作为 LangChain 智能体评测
Hugging Face 在 LangChain 中集成 ChatHuggingFace 封装，让开源模型可构建 ReAct 智能体，并对比了多个开源模型与 GPT-3.5、GPT-4 的表现。
推荐理由：对比多个开源模型在 ReAct 智能体上的评测结果，并给出 LangChain 接入代码示例。
Hugging Face BlogAI 评分3030 如何用 HF leaderboard 模板搭建自己的评测榜：以 Vectara 幻觉评测榜为例
Vectara 基于 HF 的 leaderboard 模板开源了 HHEM 幻觉评测榜，用于衡量 LLM 生成文档摘要时的幻觉频率，覆盖 GPT-4、Gemini、Llama 2、Mistral 7B 等模型。
Hugging Face BlogAI 评分2727 Open LLM Leaderboard 深度排查：DROP 基准为何集体低分
Hugging Face 对 Open LLM Leaderboard 新增的 DROP 基准做深度排查，发现绝大多数模型 f1-score 低于 10。原因是归一化在数字后跟非空格空白符时失效，且用 "." 作为停止词会截断浮点答案、拖累长回答模型；改用 \n 切分后分数与整体表现的相关性明显提升。
Hugging Face BlogAI 评分3131 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上配合 HF Mirror LLM Inference Container 的部署做了覆盖 60 种配置的基准测试，评测 7B、13B、70B 三种规模，分别测试 1/5/10/20 并发请求和 GPTQ 4-bit 量化。
Hugging Face BlogAI 评分3030 Hugging Face 发布目标检测排行榜：IoU、AP、AR 指标全解读
Hugging Face 推出目标检测排行榜（Object Detection Leaderboard），对 Hub 上可用的目标检测模型按指标进行排名。文章详解 IoU、Average Precision（AP）与 Average Recall（AR）及其变体的计算方式，并说明这些指标为何会导致同一模型在不同报告中出现结果差异。该排行榜旨在帮助开发者与研究者挑选适合自身应用的开源检测模型。
Hugging Face BlogAI 评分2222 Hugging Face 伦理与社会通讯第4期：文本到图像模型中的偏见
文本到图像（TTI）生成模型正大量上传至 Hugging Face Hub，其偏见来源多样。Hugging Face 梳理了训练数据（如 LAION-5B、MS-COCO、VQA v2.0）、预训练数据过滤、推理（CLIP 的年龄、性别、种族偏见）、模型潜在空间及事后过滤等偏见来源，并列举了 Stable Bias 等检测工具与红队评估方法。
Hugging Face BlogAI 评分4444 Open LLM Leaderboard 的 MMLU 分数为何与 LLaMA 论文对不上
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文报告值。原因是同一 MMLU 基准存在 EleutherAI LM Evaluation Harness、Stanford HELM 和 UC Berkeley 原始实现三套代码，对同一批模型给出的分数差异很大，甚至改变模型排名顺序。
Hugging Face BlogAI 评分4848 Hugging Face 研究：大语言模型能像人类一样标注数据吗？
Hugging Face 用 327 条提示词（含 25 条编程类）对 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 四个开源指令模型做盲测，由 Scale AI 标注者按 1-8 Likert 量表打分并生成 Elo 排名，Vicuna-13B 以 1140 居首，Dolly-12B 以 802 垫底。
Hugging Face BlogAI 评分2626 Hugging Face 推出 AI vs. AI：深度强化学习多智能体竞赛系统
Hugging Face 发布开源工具 AI vs. AI，在 Spaces 上托管多智能体竞赛，用 ELO 评分系统对提交到 Hub 的强化学习模型进行相对排名，新模型起始分为 1200。
Hugging Face BlogAI 评分1515 Habana Gaudi2 对比 Nvidia A100 80GB：训练与推理速度实测
Hugging Face 用 Optimum Habana 在 BERT 预训练、Stable Diffusion 推理和 T5-3B 微调上对比了 Habana Gaudi2 与 Nvidia A100 80GB，Gaudi2 训练和推理均约为 A100 的两倍。
Hugging Face BlogAI 评分4242 Hugging Face 在 Evaluate 库中加入语言模型偏见指标
Hugging Face 为 Evaluate 库新增偏见指标与测量方法，可评估 GPT-2、BLOOM 等因果语言模型的偏见。流程分两步：用 🤗 Datasets 上的预定义提示词提示模型，再用 Evaluate 的指标评估生成文本，示例覆盖毒性、语言极性和伤害性三类任务，其中毒性指标调用 R4 Target 模型作仇恨言论分类器。
Hugging Face BlogAI 评分4343 Hugging Face 发布 MTEB：大规模文本嵌入基准
Hugging Face 推出 MTEB（Massive Text Embedding Benchmark），覆盖 8 类任务、56 个数据集、最多 112 种语言，目前排行榜已汇总超 2000 条结果。
Hugging Face BlogAI 评分5252 Hugging Face 在 Hub 上线零样本评测功能
Hugging Face 在 Evaluation on the Hub 上线零样本分类评测，任何 Hub 上的因果语言模型都能在无需编写代码的情况下进行零样本评测，目前支持最高 66B 参数的模型。
Hugging Face BlogAI 评分5050 Hugging Face 发布 Evaluation on the Hub，无需写代码即可评测任意模型
Hugging Face 推出由 AutoTrain 驱动的 Evaluation on the Hub，让用户不用写一行代码就能在 Hub 上对任意模型和任意数据集进行评测。