Cohere For AI 发布 Aya Expanse 8B 与 32B 多语言模型

这是 Cohere For AI 团队的客座博客文章。Cohere For AI 是 Cohere 的研究实验室，致力于解决复杂的机器学习问题。

随着 Aya Expanse 系列的发布，包括 8B 和 32B 参数模型，我们正在解决 AI 领域最紧迫的挑战之一：缺乏能够与单语言模型能力相媲美的高性能多语言模型。尽管 AI 取得了巨大进步，但模型在多种语言上的性能仍存在明显差距。Aya Expanse 是 C4AI 多年专注研究的成果——包括数据套利、多语言偏好训练、安全微调和模型合并。

这些综合突破在多语言领域创造了新的最先进性能。我们在一系列评估上对我们的模型进行了评测，包括 Arena-Hard-Auto 数据集（论文），该数据集已被翻译为我们发布供他人使用的23 种语言。在成对比较中，Aya Expanse 32B 的表现优于 Gemma 2 27B、Mistral 8x22B 和 Llama 3.1 70B——一个规模超过其两倍的模型，创下了多语言性能的新最先进水平。我们还发布了 Aya Expanse 8B，其表现优于同参数级别中领先的开放权重模型，如 Gemma 2 9B、Llama 3.1 8B 以及最近发布的 Ministral 8B，胜率从 60.4% 到 70.6% 不等。在难度较低的评估中，我们观察到更大的提升。

我们将两个模型作为开放权重发布给研究社区，希望它能进一步加速多语言领域的进展。在这篇博客文章中，我们分享了训练流程中每个关键算法组件背后的技术细节。

避免合成数据中的模型崩溃

合成数据——由专家或“教师”模型生成以训练另一个模型的数据——的使用在 LLM 开发中变得越来越核心，尤其是在模型训练已耗尽当前数据源的情况下。然而，对于多语言数据，尤其是低资源语言，很少有好的教师模型示例，这为利用合成数据带来了额外的挑战。此外，最近的研究表明，过度依赖合成数据会导致模型崩溃。

在我们最近的工作中，我们证明了这些局限性可以通过“数据套利”来解决——即策略性地从教师模型池中采样。这种方法具有重要意义，因为它挑战了传统上依赖单一教师模型生成合成数据的做法。相反，数据套利利用了模型池中不同模型的性能差异。尽管这种技术适用于任何领域，但它特别适合多语言场景，因为在创建高质量合成多语言数据集时，缺乏一个在所有语言中都表现出色的通用有效教师模型带来了重大挑战。多语言套利通过利用多样化的模型池来策略性地采样数据分布的不同部分，从而改善多语言生成，证明了其价值。

我们首先为各组语言训练一个模型池，并采用一个Arbiter来评估并选择最优生成结果。这里的 Arbiter 是一个内部奖励模型（RM），用于对模型生成结果进行打分。在基于奖励的路由中，对于给定语言中的每个提示，我们从池中的所有模型生成补全，并使用奖励模型对它们进行打分。得分最高的补全被选为该提示的最终补全。我们的 8B 模型，即便是在使用 Multilingual Arbitrage 训练的 SFT 阶段，与之前的 Aya 23 模型相比，在对阵 Gemma 2 9B 时胜率提升超过 9.1%，证明了这种方法在利用不同语言中多样化模型优势方面的有效性。

通过全局偏好进行迭代改进

在监督微调之后，与人类偏好对齐是训练当今最先进 LLM 的关键步骤。尽管被广泛采用，但众所周知，偏好训练在单语言环境下就已经颇具挑战。在多语言环境下从偏好训练中最大化收益会带来更多挑战。绝大多数现有偏好数据集都是纯英文的，而少数现有的多语言偏好数据集往往质量较低。此外，同时建模多种不同语言被认为是一个困难的优化问题，朴素地针对某些语言的性能进行优化往往会导致其他语言性能的回退。

在LHF Can Speak Many Languages: Unlocking Multilingual Preference Optimization for LLMs中，我们利用一种新颖的合成数据生成技术，通过将一个高性能多语言 LLM 的语内补全与由较弱模型生成的、从英文翻译而来的较低质量补全进行对比，来构建高质量的多语言偏好数据对。这引导我们的模型避免生成低质量的多语言补全，这些补全通常包含不良伪影，例如由糟糕翻译引入的伪影。我们表明，这种方法在所有语言中都释放了显著的性能提升，并且往往也会为未包含在偏好训练数据中的语言带来收益。

虽然这项工作还表明，使用在线数据进行偏好训练优于其离线变体，但在训练 Aya Expanse 期间，我们发现先用离线数据进行偏好训练，再用在线数据进行偏好训练的组合，优于单独进行在线或离线训练。在第一个偏好训练阶段，我们使用从 Arbitrage 阶段取得最高和最低奖励的响应作为选中和拒绝的补全来整理数据，这使得 DPO 训练的第一阶段是离线的。

在离线偏好训练之后，我们进行在线迭代 DPO，其中我们从上次迭代训练得到的模型为每个提示采样多个在线生成结果，用奖励模型对这些生成结果进行排序，然后在这些偏好对上进行进一步训练。对于两个模型，我们都将这一过程重复 3 次迭代，因为我们发现超过 3 次迭代带来的收益极小，反而需要额外重新调整正则化系数（beta）等参数，有时还会引入奖励攻击行为。总体而言，对于 Aya Expanse 8B，在通过 arbitrage 训练的模型之上结合离线和在线偏好训练，使其相对于 Gemma 2 9B 的胜率额外提升了 7.1%。

通过模型合并最大化性能

在任何后训练（以及预训练）流程中，无论是像 SFT 这样的单阶段流程，还是像我们上面这样更复杂的多阶段优化流程，一个反复出现的问题是如何选择合适的数据混合。这一过程的复杂性要求在超参数微调和数据组合上投入大量精力。合并多个模型是一种替代方法，能够以更低的总体计算成本实现复杂的多任务处理。在 Aya Expanse 中，我们直接基于我们近期研究论文Mix Data or Merge Models? Optimizing for Diverse Multi-Task Learning的发现，并在 Arbitrage 阶段以及偏好训练的每次迭代中应用合并。

在训练多个独立模型以进行合并时，最大化检查点之间的多样性非常重要。然而，这需要与确保池中每个单独模型都达到高性能之间取得平衡。为了平衡这些目标，我们通过针对不同语系训练模型来最大化检查点之间的多样性。这利用了跨语言迁移，它通常能带来显著的性能收益，同时确保语言差异在检查点之间提供足够的区分度。

朴素的做法可以是为每种语言分别训练一个模型然后合并，但这无法获得我们从跨语言迁移中观察到的同样收益。为了提高合并的稳健性，我们在每个聚类中包含一些共享语言（此处为英语、西班牙语和法语）。在最终方案中，我们使用了多个阶段的合并，这些合并运行在不同数据聚类上训练的模型，以及同一运行内的检查点。

除了加权线性平均之外，我们还尝试了多种合并技术，即SLERP、TIES-merging和DARE-TIES。然而，我们发现加权平均是最一致的方法。因此，我们在整个流程中使用加权平均。有趣的是，我们观察到在 35B 规模下从合并中获得的收益显著大于 8B 规模——最高可达 3 倍。这与近期工作的结论一致，即合并在大规模下更有效。

将所有内容整合在一起

这些图表展示了我们的端到端后训练流水线，它带来了前面讨论的逐步增益。回顾 Aya 模型系列自其诞生以来的发展历程，确实令人感到特别：从伴随 Aya 101 而来的 Aya Collection——它拓展了开源协作的边界，到如今将关键开放基础研究问题上的稳步进展结合起来，为多语言性能树立了新标准。

致谢

如果没有核心 Aya Expanse 团队，这项工作不可能完成：Madeline Smith、Marzieh Fadaee、Ahmet Üstün、Beyza Ermis、Sara Hooker、John Dang、Shivalika Singh、Arash Ahmadian、Daniel D'souza、Alejandro Salamanca、Aidan Peppin、Arielle Bailey、Meor Amer、Sungjin Hong、Manoj Govindassamy、Sandra Kublik。

如果没有更广泛的 Cohere For AI 和 Cohere 团队，这项工作同样不可能完成。特别感谢 Acyr Locatelli、Adrien Morisot、Jon Ander Campos、Sara Elsharkawy、Eddie Kim、Julia Kreutzer、Nick Frosst、Aidan Gomez、Ivan Zhang。

还要衷心感谢我们的研究社区——来自世界各地、参与此次发布的 220 位语言大使。感谢 Sree Harsha Nelaturu、Bhavnick Minhas、Christopher Klamm、Isabella Bicalho Frazeto，他们贡献的 notebook 可在模型 HF Mirror 页面上访问。

特别感谢 HF Mirror 帮助促成了这项工作：Omar Sanseviero、Pedro Cuenca、Vaibhav Srivastav、Lysandre Debut、Aritra Roy Gosthipaty。

Cohere For AI 发布 Aya Expanse 8B 与 32B 多语言模型

避免合成数据中的模型崩溃

通过全局偏好进行迭代改进

通过模型合并最大化性能

将所有内容整合在一起

致谢

参考文献