Microsoft 与 Hugging Face 发布 ThinkingBox:按数据库终态评测 AI 智能体
Microsoft Copilot Studio 团队联合 Hugging Face 发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,按终端数据库状态和副作用评分,而非最终回复,每个任务重复 20 次。
推荐理由:通过 507 个有状态业务工作流的 20 次重复运行,揭示模型单次成功率与稳定完成率之间的差距。
模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
Microsoft Copilot Studio 团队联合 Hugging Face 发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,按终端数据库状态和副作用评分,而非最终回复,每个任务重复 20 次。
推荐理由:通过 507 个有状态业务工作流的 20 次重复运行,揭示模型单次成功率与稳定完成率之间的差距。
Hugging Face 发布研究,提出三项测试量化语音识别中的基准优化现象。研究评估 11 个开源 ASR 模型,发现部分高分模型在音频与参考文本矛盾时仍复现 VoxPopuli 和 LibriSpeech 的错误转写,被静音的年份甚至被补全为 2011。
推荐理由:文章用三类探针量化 ASR 模型对基准本身的过拟合,并给出可复用的检出方法。
Google DeepMind 与 Google Research 的 AI 天气模型 WeatherNext 帮助美国国家飓风中心(NHC)提前五天以 80% 置信度预测飓风 Melissa 将在牙买加以 Category 5 强度登陆,三天的置信度接近 100%,这是首次从 Category 1 风速起步预测风暴达到 Category 5 强度。
推荐理由:Google DeepMind 披露 WeatherNext 在飓风 Melissa 预警中的实战表现,读者可看到 AI 气象模型对路径与强度的同时预测能力。
OpenAI 发布 GPT-5 办公场景演示,展示该模型如何分析反馈、制定产品计划与原型,并总结后续步骤。
Hugging Face 用新数学评测器 Math-Verify 重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型,替换旧评测器只需改 3 行代码。
推荐理由:原文给出数学评测器替换后的全量重评数据,可据此理解旧榜评分偏差与榜单变动幅度。
Hugging Face 在 LangChain 中集成 ChatHuggingFace 封装,让开源模型可构建 ReAct 智能体,并对比了多个开源模型与 GPT-3.5、GPT-4 的表现。
推荐理由:对比多个开源模型在 ReAct 智能体上的评测结果,并给出 LangChain 接入代码示例。