从词袋到 Jev：Sebastian Raschka 梳理文本分类技术史并实测 Jev
Sebastian Raschka 撰文梳理文本分类从词袋模型、朴素贝叶斯、RNN、CNN 到 BERT、GPT、T5 的演进，并实测了 TypeSafe AI 新发布的分类模型 Jev。
#评测/基准
#评测/基准
今日 0 条Ahead of AI · Sebastian RaschkaAI 评分5656 爱范儿AI 评分6969 AI 圈新顶流 Space Bunny 实测：涂鸦能生成可交互 3D 网页
爱范儿实测了近日在海外 AI 圈走红的匿名模型 Space Bunny Alpha，其可在 OpenRouter 和 OpenCode 免费调用，模型 ID 分别为 stealth/space-bunny-alpha 和 space-bunny-free。
NVIDIA Developer BlogAI 评分3636 SWE-Serve 如何揭示本地测试与线上服务之间的鸿沟
NVIDIA 发布 SWE-Serve，用于评估推理服务软件改动——AI 编程智能体的补丁能通过测试，却可能在服务器加载真实模型并处理请求时失败。该基准由 SGLang 团队参与开发，包含 53 个任务，检查系统能否通过公开接口返回正确结果。
Hugging Face BlogAI 评分3535 英国 AISI 与 EvalEval 如何让 benchmark 结果可复现
英国 AI Security Institute（AISI）通过 EvalEval 的 Evaluation Cards 公开分享评测方法与结果，覆盖 HealthBench。
NVIDIA Developer BlogAI 评分3939 NVIDIA 如何评估 AI 智能体：从工具调用到任务完成
NVIDIA 发布文章阐述 AI 智能体评估方法，指出上线智能体的关键问题是能否在真实环境中连续完成数十次顺序工具调用并在某步失败后恢复，而仅评估模型回答是否"听起来对"无法反映任务是否真正完成。因此智能体评估正从为单次函数调用打分，转向为整个任务打分。
Interconnects · Nathan LambertAI 评分4747 开放模型的力量天平：中美开放权重模型竞争现状
中国开放权重模型已明显领先美国，Hugging Face 下载量约为美国的 2 倍（3.2B 对 1.6B），Artificial Analysis 智能指数上 GLM-5.3、GLM-5.3-Flash 和 Kimi K3 分别得分 45、42、44，而美国最高的 Inkling 仅 26。
NVIDIA Developer BlogAI 评分1919 NVIDIA 用 AIPerf 对大规模 LLM 推理进行基准测试
NVIDIA 发布 AIPerf，用于规模化 LLM 推理的基准测试。文章指出用 curl 命令、手写 asyncio 脚本或临时负载生成器测性能都存在同样问题：单进程性能受限、Python GIL 限制并发。
NVIDIA BlogAI 评分4848 NVIDIA Vera Rubin NVL72 首秀 MLPerf Inference v6.1，性能领先
NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1，在 Qwen3-VL 上吞吐量最高达 GB300 NVL72 的 3.7 倍，DeepSeek-R1 上最高 2.5 倍。
IEEE Spectrum · AIAI 评分5151 Andon Labs 为何让 AI 智能体管理真实生意
Andon Labs 让 AI 智能体管理旧金山的实体商店 Andon Market 和斯德哥尔摩的 Andon Café，用真实经营场景测试智能体能承担多少现实责任。
Hugging Face BlogAI 评分3838 Hugging Face 推出 BenchMIRT：审计 LLM 基准到底测了什么
Hugging Face 发布 BenchMIRT，一种在单条题目层面审计 LLM 基准的方法，基于多维 IRT 从 100 个 LLM、16 个基准、超 34K 道题的评测结果中自动分离出安全与通用推理两个维度。
Hugging Face BlogAI 评分4949 Open ASR Leaderboard 首次加入全球南方语言：Monsoon 印地语与印度英语评测集
Hugging Face 的 Open ASR Leaderboard 新增 Monsoon en-IN 与 Monsoon hi-IN 两个评测集，印地语由此成为该多语言榜单上的首个印度语言。
Hugging Face Blog精选AI 评分6767 Hugging Face 研究量化语音识别中的基准优化问题
Hugging Face 发布研究，提出三项测试量化语音识别中的基准优化现象。研究评估 11 个开源 ASR 模型，发现部分高分模型在音频与参考文本矛盾时仍复现 VoxPopuli 和 LibriSpeech 的错误转写，被静音的年份甚至被补全为 2011。
推荐理由：文章用三类探针量化 ASR 模型对基准本身的过拟合，并给出可复用的检出方法。
NVIDIA Developer BlogAI 评分2222 NVIDIA 用 SkillEvaluator 评测 AI 智能体技能表现
NVIDIA 推出 SkillEvaluator，用于评估 AI 智能体技能（Skills）的实际表现。技能包将指令、示例与工具指引打包，帮助智能体更快从意图走向解决方案，避免多余步骤、token 浪费和难以处理专门任务。
Import AIAI 评分2626 Import AI 469：Science AI、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 第 469 期介绍了 DiG-bench（Discovery in Games）基准，包含 70 款规则与目标均隐藏的手工游戏，其中 21 款已公开，Opus 5 和 Fable 5 搭配 Claude Code 表现最佳，但仅能在 Tier 7 取得 0.2 分。
Hugging Face BlogAI 评分3737 Hugging Face 复现 ICML 2026 的 2,200 篇论文，我们学到了什么
Hugging Face 举办 ICML 2026 开放复现挑战赛，1,221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体在 19 天内发布 6,816 份 Trackio logbook，覆盖 2,226 篇论文、约占大会 34%。
Microsoft ResearchAI 评分4343 MindTopo：新基准揭示多模态大模型的空间拓扑推理短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大模型对连通性、封闭、顺序、分离与打结等拓扑关系的理解，同时考察静态识别与交互规划。当前模型在静态推理上明显强于交互规划，且均远低于人类水平，失败多发生在规划阶段而非感知阶段。图像与视频生成仅在有助保持结构约束时才有效。
Import AIAI 评分6262 Import AI 466：机器人领域的苦涩教训、AI 完成周级编程任务与 OpenAI 的意外越界模型
Epoch 与 METR 发布 MirrorCode 基准，用于评估 AI 完成人类需数周编程任务的能力；Opus 4.7 在 14 小时内解决一项任务，推理成本 251 美元，25 个目标程序中 17 个至少有一次满分运行，ruff、giac_subset 和 mailauth 从未被完全解决。
NVIDIA Developer BlogAI 评分4747 NVIDIA Nemotron 3 Ultra 在智能体 RTL 编码中精度与效率领先开源模型
NVIDIA Nemotron 3 Ultra 在智能体 RTL 编码任务上于精度与效率两项指标领先开源模型。RTL 开发与验证需要专业硬件知识和精确推理，并需反复与 EDA 工具交互。LLM 已加速代码生成，AI 智能体则借助验证反馈迭代纠错，进一步扩大其作用。
Import AIAI 评分5454 Import AI 465：开源与闭源网络安全差距缩小、Kimi K3 发布、Demis 的 AGI 监管方案
英国 AI Security Institute 分析发现，开源权重模型与闭源前沿模型在网络安全能力上的差距正在缩小，GLM-5.2 和 DeepSeek V4-Pro 的表现接近 4 至 7 个月前发布的闭源前沿模型，比 2025 年大部分时间测得的 6 至 10 个月差距更窄。
Hugging Face BlogAI 评分2626 新模型登场，优势依旧：DharmaOCR 在巴西葡萄牙语 OCR 基准上领先 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在专为葡萄牙语设计的 OCR 基准上得分 0.925，超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。
Hugging Face BlogAI 评分5959 Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质感
Hume 推出 Real World VoiceEQ 语音 AI 基准，覆盖 40 多个主流闭源与开源语音模型，横跨 ASR、TTS、S2S 与语音理解四类共 15+ 维度、60+ 指标。
MIT News · AIAI 评分5757 MIT JARVIS Challenge 测试 AI 副驾能否加速喷气发动机设计
MIT 航空航天系在 2026 春季学期举办 JARVIS Challenge，让 31 名本科生分成 7 队，用四周时间借助 AI 设计、制造、组装并测试一台推力 50–100 磅、使用 Jet-A 燃料的小型单轴喷气发动机。
Hugging Face BlogAI 评分4747 ScarfBench：面向企业 Java 框架迁移的 AI 智能体基准
Hugging Face 发布开源基准 ScarfBench，用于评测 AI 智能体在企业 Java 跨框架迁移中的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态。
Hugging Face BlogAI 评分4141 Hugging Face 模型页支持展示 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，评测结果可跨平台交叉发布并回链到完整 EEE 记录。
Hugging Face BlogAI 评分4141 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 基准榜单
Hugging Face 与 Treble Technologies 上线首个开放的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并按近场、远场高/中/低 SNR 等条件评估模型。
Hugging Face BlogAI 评分5050 Hugging Face 用 transformers 打造智能体工具基准测试，开放模型自己跑
Hugging Face 发布了一套面向工具的智能体基准测试框架，以 transformers 为案例，衡量智能体完成任务所耗的 token、成本与失败次数，而非只看最终答案。测试在 pi coding agent 上驱动开放模型，按模型 × 版本 × 任务展开并跑在 HF Jobs 上以保证硬件一致，结果存入 HF Bucket。
Google DeepMind精选AI 评分6060 Google DeepMind 的 WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加
Google DeepMind 与 Google Research 的 AI 天气模型 WeatherNext 帮助美国国家飓风中心（NHC）提前五天以 80% 置信度预测飓风 Melissa 将在牙买加以 Category 5 强度登陆，三天的置信度接近 100%，这是首次从 Category 1 风速起步预测风暴达到 Category 5 强度。
推荐理由：Google DeepMind 披露 WeatherNext 在飓风 Melissa 预警中的实战表现，读者可看到 AI 气象模型对路径与强度的同时预测能力。
Hugging Face BlogAI 评分3030 Hugging Face 为 Open ASR Leaderboard 引入私有数据集防刷榜
Hugging Face 与 Appen Inc.、DataoceanAI 合作，为 Open ASR Leaderboard 引入高质量英语 ASR 私有数据集，涵盖多口音的朗读与对话语音，以防止 benchmaxxing 或测试集污染。排行榜默认平均 WER 仍仅基于公开数据集计算，用户可手动开启开关查看私有数据集的影响。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。
Hugging Face BlogAI 评分2626 QIMMA：首个先验证基准质量的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA，一个先对基准本身做质量验证、再评测模型的阿拉伯语 LLM 排行榜，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 个领域，其中 99% 为原生阿拉伯语内容。
Hugging Face BlogAI 评分3737 VAKRA 基准解析：AI 智能体的推理、工具调用与失败模式
Hugging Face 发布 VAKRA，一个基于工具的可执行基准，用于评估 AI 智能体在类企业环境中的推理与行动能力。VAKRA 提供 8000+ 本地托管 API 与覆盖 62 个领域的真实数据库，包含 API 链式调用、工具选择、多跳推理等四类任务，推理链需 3-7 步，且模型整体表现较差。
Hugging Face BlogAI 评分4646 Hugging Face 发布语音智能体评测框架 EVA，首次联合打分准确率与体验
Hugging Face 推出端到端语音智能体评测框架 EVA，首次同时评估任务成功率与对话体验，输出 EVA-A（准确率）和 EVA-X（体验）两项分数，并基于 bot-to-bot 实时音频架构模拟多轮完整通话。首批发布含 50 个航司场景数据集（覆盖航班改签、取消、代金券等），并对 20 个级联与音频原生系统（如 S2S 模型、LALM）给出基准结果，发现准确率与体验之间存在一致的权衡。
Google DeepMindAI 评分4848 Google DeepMind 发布 AGI 认知框架与评估论文，并联合 Kaggle 举办黑客松
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出包含感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决、社会认知 10 项认知能力的分类体系，并配套三阶段评估协议，将 AI 表现对照人类基线分布。
Hugging Face BlogAI 评分5757 Hugging Face 推出 Community Evals，数据集仓库可直接托管榜单
Hugging Face 上线 Community Evals，基准数据集仓库现在可以注册为 benchmark 并在数据集卡片显示榜单，首批包含 MMLU-Pro、GPQA、HLE。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Alyah 基准，评估阿拉伯语 LLM 的阿联酋方言能力
Hugging Face 团队推出 Alyah（الياه，阿联酋语意为"北极星"）基准，用于评估阿拉伯语 LLM 对阿联酋方言的语言、文化与语用理解能力。该基准包含 1,173 条由阿联酋母语者人工采集的样本，均为四选一多选题，正确选项位置随机分布以避免位置偏差。
Hugging Face BlogAI 评分4545 AssetOpsBench：连接 AI 智能体基准测试与工业现实的桥梁
Hugging Face 发布 AssetOpsBench，一个面向工业资产管理场景的智能体评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式。
Hugging Face BlogAI 评分3939 NVIDIA 开源 Nemotron 3 Nano 30B A3B 完整评测配方，基于 NeMo Evaluator
NVIDIA 发布 Nemotron 3 Nano 30B A3B，并公开用 NeMo Evaluator 库生成的完整评测配方，任何人都能复跑评测流程、检查产物并独立分析结果。
Google DeepMindAI 评分4141 Google DeepMind 联合 Kaggle 推出 FACTS Benchmark Suite，系统评测大语言模型事实性
Google DeepMind 与 Kaggle 联合发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共含 3,513 个示例。
Hugging Face BlogAI 评分2828 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 60+ 模型趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，并发布了一份基于 60+ 个开源与闭源模型的趋势预印本。
Hugging Face BlogAI 评分4141 Hugging Face 推出 BigCodeArena：通过执行代码来评测代码生成模型
Hugging Face 发布 BigCodeArena，首个通过实际执行代码来评估代码生成模型的人类参与平台，任何人都可让两个模型同题生成代码、在沙箱中运行后投票，结果汇总进排行榜。
Ahead of AI · Sebastian RaschkaAI 评分4949 详解 LLM 评估的 4 种主要方法（附从零实现代码）
LLM 评估实践中主要有四种方法：选择题基准、验证器、排行榜和 LLM 评委，可归为基于基准与基于判断两类。选择题基准以 MMLU 为代表，覆盖 57 个学科、约 1.6 万道题，按准确率计分，如 16000 题答对 14000 题即 87.5%。文中用纯 PyTorch 从零实现的 Qwen3 0.6B（约需 1.5 GB 内存）演示了 MMLU 评分流程。