Microsoft 与 Hugging Face 发布 ThinkingBox:按数据库终态评测 AI 智能体
Microsoft Copilot Studio 团队联合 Hugging Face 发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,按终端数据库状态和副作用评分,而非最终回复,每个任务重复 20 次。
推荐理由:通过 507 个有状态业务工作流的 20 次重复运行,揭示模型单次成功率与稳定完成率之间的差距。
Microsoft Copilot Studio 团队联合 Hugging Face 发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,按终端数据库状态和副作用评分,而非最终回复,每个任务重复 20 次。
推荐理由:通过 507 个有状态业务工作流的 20 次重复运行,揭示模型单次成功率与稳定完成率之间的差距。
Hugging Face 发布论文 ProvenanceGuard,一种面向基于 MCP 的 LLM 智能体的来源感知事实性验证层,用于捕捉"跨来源混淆"——即某个说法在证据池中为真、却被归因到错误来源。
Stanford 计算机科学家 James Zou 团队发布开源框架 Paper2Agent,输入论文及其代码、数据等补充材料后,系统自动提取核心流程并生成经过测试、可运行的工具体系,相关成果 9 月 16 日发表在 Nature。
Hugging Face 发布 VAKRA,一个基于工具的可执行基准,用于评估 AI 智能体在类企业环境中的推理与行动能力。VAKRA 提供 8000+ 本地托管 API 与覆盖 62 个领域的真实数据库,包含 API 链式调用、工具选择、多跳推理等四类任务,推理链需 3-7 步,且模型整体表现较差。
Hugging Face 推出端到端语音智能体评测框架 EVA,首次同时评估任务成功率与对话体验,输出 EVA-A(准确率)和 EVA-X(体验)两项分数,并基于 bot-to-bot 实时音频架构模拟多轮完整通话。首批发布含 50 个航司场景数据集(覆盖航班改签、取消、代金券等),并对 20 个级联与音频原生系统(如 S2S 模型、LALM)给出基准结果,发现准确率与体验之间存在一致的权衡。
Meta 发布 GAIA 的后续基准 Gaia2 以及开源框架 Meta Agents Research Environments(ARE),用于运行、调试和评测智能体。
推荐理由:Meta 发布 Gaia2 基准与 ARE 环境源码,给出多模型在模糊、噪声与时间推理任务上的实测结果,便于对照自身智能体能力。
Hugging Face 分享研究,提出让 CodeAgent 以结构化 JSON 同时输出 thoughts 和可执行 code,在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均提升 2-7 个百分点。