Meta 发布 Gaia2 基准与 ARE 智能体评测环境

在理想的世界中，AI 智能体应是可靠的助手。给定一个查询后，它们能轻松应对指令中的歧义，构建逐步计划，正确识别所需资源，执行这些计划而不偏离方向，并适应突发情况，同时保持准确性、避免幻觉。然而，开发智能体并测试这些行为绝非易事：如果你曾尝试调试自己的智能体，可能已经体会到这有多么繁琐和令人沮丧。现有的评估环境与其评估的任务紧密耦合，缺乏真实世界的灵活性，也无法反映开放世界智能体的混乱现实：模拟页面从不会加载失败，事件不会自发出现，异步混乱也不存在。

因此我们非常高兴地推出 Gaia2，这是智能体基准测试 GAIA 的后续之作，能够分析复杂得多的行为。Gaia2 随开放的 Meta Agents Research Environments（ARE）框架一同发布，用于运行、调试和评估智能体。ARE 模拟复杂的类真实世界条件，并可通过定制来进一步研究智能体行为。Gaia2 数据集以 CC by 4.0 许可发布，ARE 以 MIT 许可发布。

Gaia2：真实生活助手任务上的智能体评估

GAIA 是 2023 年发布的智能体基准测试，包含 3 个级别的信息检索问题，需要工具、网页浏览和推理来解决。两年间，最简单的级别对模型而言已过于简单，社区也即将解决最难的问题，因此是时候推出一个全新且更难的智能体基准测试了！

Gaia2 来了，它是 GAIA 的后续之作，在能力研究的范围上远超前者！

GAIA 是只读的，而 Gaia2 现在是读写的基准测试，聚焦交互行为和复杂性管理。智能体现在不仅在搜索和检索上被评估，还在含歧义或时间敏感的查询上进行指令遵循评估，环境嘈杂且带有受控故障——比其他任何模拟环境都更贴近真实世界条件。我们希望测试智能体如何应对有时无法工作的工具或 API，如何在非常特定的时间范围内规划一系列动作，以及如何适应新事件——这是全新范围的复杂性！

为此，我们使用以下任务组（得益于 1000 个全新的人工创建场景）：

执行：多步指令遵循与工具使用（例如联系人更新）
搜索：跨来源信息收集（例如从 WhatsApp 获取朋友所在城市）
歧义处理：澄清冲突请求（例如日程冲突）
适应性：对模拟中变化的响应（例如使用后续信息更新电子邮件）
时间/时序推理：时间敏感动作（例如延迟 3 分钟后叫车）
智能体间协作：没有直接 API 访问的智能体之间的通信
噪声容忍：对 API 故障和环境不稳定性的鲁棒性

秉承 GAIA 的精神，场景不要求专业知识：人类原则上应能获得 100% 的成绩，这便于模型开发者轻松调试。

想探索该基准测试？请查看我们的数据集，你可以在我们的演示中更好地查看它，点这里。

Gaia2 如何运行？

Gaia2 与 ARE 一同运行，这是一个执行环境，您选择的代理可以在其中访问一组应用程序及其相关的预填充数据。

对于 Gaia2，我们创建了一个智能手机模拟环境，模拟人类日常生活中会使用的内容。它包含真实世界的应用程序，如消息（Email）、实用工具（Calendar、Contacts、Shopping、一个 FileSystem……），以及一个与代理对话的聊天界面。所有应用程序也都可以通过工具调用供代理访问。最后但同样重要的是，该演示还包含一个模拟人物的对话历史和应用程序交互历史。

所有代理交互都会在执行期间自动记录为结构化追踪，以便深入分析：它们包括工具调用、API 响应、模型思考、时间指标（例如响应延迟）、用户交互等等——并且都可以导出为 JSON。

结果

作为参考，我们比较了一系列大型开源和闭源模型：Llama 3.3-70B Instruct、Llama-4-Maverick、GPT-4o、Qwen3-235B-MoE、Grok-4、Kimi K2、Gemini 2.5 Pro、Claude 4 Sonnet，以及所有推理模式下的 GPT-5。

所有模型都使用相同的设置进行评估（为保持一致性采用统一的 ReAct 循环，temperature 为 0.5，生成上限为 16K tokens），并根据具体任务结合使用模型即评审（Llama 3.3 Instruct 70B）和精确匹配评估。所有 101 个工具（以及总体环境描述）都在系统提示中提供。

在已评估的模型中，截至 2025 年 9 月，总体得分最高的模型是高推理模式下的 GPT-5，而最佳开源模型是 Kimi K2。

一些能力似乎已经被最好的模型接近解决：简单工具调用的执行和指令遵循（execution），以及总体 search（这点从当前在 GAIA 上的结果中也可以猜到）。歧义、适应性和噪声部分目前对所有模型来说仍然具有挑战性，而且有趣的是，那些曾被认为复杂的代理任务（指令遵循和搜索）上的表现，并不能很好地代表在更接近真实世界的任务上的表现。最后但同样重要的是，目前对所有模型来说最困难的部分是 time：目前模型很难正确处理时间敏感的操作（尽管这很可能可以通过使用专门工具和更好的时间推理来缓解）。对这些结果的详细分析可在论文中找到。

然而，我们认为重要的是将报告推进到原始分数之外：如果模型是正确的，但花费了数千个 tokens 才得到正确解决方案，或者运行了数小时，那么它“就不如”一个以快几个数量级成功的模型。因此，我们还按成本对分数进行归一化，量化为平均 LLM 调用次数和输出 tokens 数（二者共同定义了成本-性能帕累托前沿）。在论文中，您会找到分数与货币成本和时间的关系。

与您最喜欢的模型比较！在 Gaia2 上评估

如果您想在 Gaia2 上评估您的模型，可以按照以下步骤操作：

首先，在您选择的 Python 环境（uv、conda、virtualenv……）中安装 Meta 的 Agent Research Environment

pip install meta-agents-research-environments

然后，为所有配置运行基准测试：执行、搜索、适应性、时间和歧义。别忘了用 hf_upload 参数将所有结果上传到 hub！

are-benchmark run --hf meta-agents-research-environments/Gaia2     --split validation --config CONFIGURATION     --model YOUR_MODEL --model_provider YOUR_PROVIDER     --agent default     --max_concurrent_scenarios 2     --scenario_timeout 300     --output_dir ./monitored_test_results     --hf_upload YOUR_HUB_DATASET_TO_SAVE_RESULTS

运行 oracle 以获取你的聚合评分文件

are-benchmark judge --hf meta-agents-research-environments/Gaia2     --split validation --config CONFIGURATION     --agent default     --max_concurrent_scenarios 2     --scenario_timeout 300     --output_dir ./monitored_test_results --hf_upload YOUR_HUB_DATASET_TO_SAVE_RESULTS

最后，在 README 中添加关于你模型的所有相关信息，并在排行榜上分享，以便将 Gaia2 的 trace 集中到这里！

超越 Gaia2：用 ARE 研究你的 agent

除了基准测试场景之外，你还可以在 ARE 中使用 Gaia2 的应用和内容，看看模型是否能够正确解决那些较难验证的任务，比如加载邮件、撰写跟进邮件、向日历添加事件或预订会议——总之，这提供了完美的设置来通过交互评估你的 AI 助手！

你还可以轻松自定义环境，方法如下：1）连接你的工具（通过 MCP 或直接连接）来在其上测试你的 agent；2）实现你自己的场景，包括定义触发器或定时事件（例如：2 分钟后，Mail 应用将收到一封来自 Contact 的新邮件），以观察 agent 如何适应不断变化的环境

（由于 agent 默认是 json agents，它们不会搞乱你的机器，当然，除非你将它们连接到具有不安全权限的外部应用。因此，在添加你自己的应用或使用不受信任的 MCP 时要谨慎操作）

以下是我们使用 ARE 的几个用例：

对任何 agent 进行 vibe-check，在真实或模拟数据上研究各种设置，这些设置各有自己的规则、工具、内容和验证方式
测试 agent 的工具调用和编排能力，可以使用本地应用或 MCP 工具
生成你自己的工具调用 trace，以微调工具调用模型
在统一框架中轻松收集并复现现有的 agentic 基准测试
在用户界面中即时调试和研究 agent 与 agent 之间的交互
研究模型在嘈杂环境中的局限性（包括 API 超时和歧义）

我们录制了 3 个视频，供你查看其中一些用例（当然，我们希望社区能在 ARE 上发挥创意 :hugging_face:）。在这些视频中，我们使用了上述默认演示，其中包含 Linda Renne 的模拟生活，她是一名机器学习博士生。

1）在简单任务上测试 agent：事件组织

为了测试默认模型在事件组织方面的表现，让我们来策划一场生日派对！

我们首先让 agent 给 Renne 家族的所有人发短信，告知用户将于 11 月 7 日举办 30 岁生日派对。默认宇宙的联系人列表中有 21 个联系人，其中包括 5 名 Renne 家族成员——模拟“所有者”Linda、她的父母 George 和 Stephie、她的姐妹 Anna 以及她的祖父 Morgan。agent 成功遍历了联系人列表，找到了这四名家庭成员，并给他们发了短信。

接下来，我们让 agent 创建日历邀请并将他们添加为受邀者。agent 记住了上述上下文！它在正确的日期创建了日历邀请，并正确地将家庭成员添加进去。

2）理解 agent：深入探究 trace

ARE 还允许我们查看智能体所采取行动背后的轨迹。打开左侧的 Agent logs 工具后，我们可以看到系统提示、思维链、借助所调用工具采取的多步行动，以及整齐组织成日志的结果。如果你想离线查阅，所有内容都可以导出为 json！

3) 动手尝试并扩展 demo：将智能体连接到自己的 MCP

在最后一个示例中，我们通过 MCP 将 ARE 连接到远程机械臂，这样它就能向我们做手势，然后让智能体通过挥动机械臂来回答我们的 yes 或 no 问题！它看起来是这样的。

但这些示例只是非常简单的起点，我们真正期待的是你会构建出什么！（对于更高级的用户，你甚至可以直接在这里安装并编辑 Meta-ARE 代码。）

结论

Gaia2 和 ARE 是新的研究工具，我们希望它们能让任何人都能轻松构建更可靠、更具适应性的 AI 智能体——通过支持简单的实验、让真实世界评估对所有人都触手可及，以及通过透明、可复现的基准和可调试的轨迹来提升信任。

我们很期待看到你会用这个项目做些什么！