Cohere For AI 发布 Aya Vision 多语言多模态模型 8B 与 32B

随着 Aya Vision 系列的发布，我们的全新 8B 和 32B 参数视觉语言模型（VLM），我们正在解决 AI 领域最大的挑战之一：将多语言性能带入多模态模型。

Aya Vision 是 Cohere For AI 最新的开放权重多语言多模态模型系列，旨在为跨 23 种语言的语言和视觉理解提供强大的基础。它建立在 Aya Expanse 的成功之上，后者是 state-of-the-art 的多语言语言模型，并通过一系列先进技术进行了扩展。这些技术包括合成标注、通过翻译和改写扩展多语言数据，以及多模态模型合并——这些关键方法在多语言环境中同时提升了语言和视觉理解能力。

因此，我们的模型在各种任务中表现出色，包括图像描述、视觉问答、文本生成，以及将文本和图像翻译成清晰、自然的语言文本。我们在多组数据集上评估了 Aya Vision 模型，包括我们新的开放式视觉语言基准 AyaVisionBench 以及翻译成 23 种语言的多语言版本 Wild Vision Bench（mWildVision），我们将两者都发布以供研究使用。

在成对比较中，Aya Vision 32B 在 AyaVisionBench 上以 50% 至 64% 的胜率、在 mWildVision 上跨 23 种语言平均胜率达到 52% 至 72%，超越了参数量超过其 2 倍的模型，如 Llama-3.2 90B Vision、Molmo 72B 和 Qwen2.5-VL 72B。

我们更紧凑、更高效的模型 Aya Vision 8B 在其参数级别中实现了多语言多模态的最佳性能，在 AyaVisionBench 上以高达 79% 的胜率、在 mWildBench 上以 81% 的胜率超越了 Qwen2.5-VL 7B、Pixtral 12B、Gemini Flash 1.5 8B、Llama-3.2 11B Vision、Molmo-D 7B 和 Pangea 7B 等领先模型。

我们将 8B 和 32B 两个模型作为开放权重发布给研究社区，以进一步加速多语言多模态的进展。在这篇博文中，我们分享 Aya Vision 模型背后的关键技术细节

Aya Vision 架构与训练

对于高性能视觉语言模型，处理任意分辨率的图像非常重要，尤其是高分辨率图像。为了在 Aya Vision 中实现这一能力，我们动态调整大小并将任何高分辨率图像分割成多个图块，以从图像编码器生成丰富的图像特征。在 Aya Vision 模型中，我们使用最近发布的 SigLIP2-patch14-384 模型作为视觉编码器的初始化。

虽然动态调整大小能够处理高分辨率图像，但也会导致更多图像 token 通过视觉语言连接器和 LLM 解码器。为了提高延迟和吞吐量，我们使用一种称为 Pixel Shuffle 的下采样方法，将图像 token 数量压缩 4 倍。下采样后，图像 token 通过视觉语言连接器与语言模型输入嵌入对齐，并传递到 LLM 解码器。

对于文本解码器，我们使用我们的多语言语言模型。对于 Aya Vision 8B，我们使用一个从 Cohere Command R7B 初始化的 LLM，以提升指令遵循和世界知识能力，并使用 Aya Expanse recipe 进一步进行后训练，该配方由多样化的多语言数据、模型合并和偏好训练组成。对于 Aya Vision 32B，我们基于其最先进的多语言性能，从 Aya Expanse 32B 初始化语言模型。

训练过程

我们分2 个阶段训练 Aya Vision 模型——视觉-语言对齐和监督微调（SFT）。在视觉-语言对齐阶段，仅训练视觉-语言连接器，而视觉编码器和语言模型权重保持冻结。这通过将图像编码器特征映射到语言模型嵌入空间，实现了基本的视觉-语言理解。在 SFT 阶段，我们在 23 种语言的多样化多模态任务上训练连接器和语言模型。

多模态数据增强与扩展语言覆盖范围

开发多语言视觉-语言模型的最大挑战之一是确保在代表性不足的语言中具有强劲性能。为了解决这个问题，我们首先使用多样化的高质量英语数据集池收集合成标注，这为我们的多语言多模态标注奠定了基础。在英语数据集的合成标注之后，我们将大量数据翻译成 23 种语言。为了避免翻译痕迹，并以高精度保持答案中流畅的文本特征，我们随后通过将翻译后的提示/生成对与原始高质量合成样本进行匹配来改写它们，在真实世界数据集稀缺的地方扩展语言覆盖范围。这提高了语言流畅度以及视觉与文本之间的对齐，使 Aya Vision 能够在多种语言中展现出卓越的图像理解能力。

我们的 8B 模型在仅使用原始学术数据集进行监督微调时，在 AyaVisionBench 中针对多语言 VLM Pangea 7B，在 23 种语言上达到 40.9% 的胜率，而合成标注和扩大多语言数据则带来 58.1% 的胜率，提升了 17.2%。这一显著改进展示了在多语言数据覆盖方面进行重大投入的影响。

多模态模型合并

最先进的视觉-语言模型不仅应擅长图像理解，还应擅长对话上下文，即模型应能针对图像和文本输入生成高质量响应。为了解决这个问题，受我们此前关于模型合并研究的启发，这是一种结合多个已训练模型的技术，我们将基础语言模型与微调后的视觉-语言模型合并。

模型合并增强了我们最终模型的生成能力，使其在 AyaVisionBench 中针对 Pangea 7B，在 23 种语言上达到 70% 的胜率，相比合并前的模型将多模态胜率提高了 11.9%。

与其他领先的视觉-语言模型相比，多模态模型合并还使我们的 Aya Vision 模型在 mArenaHard 数据集衡量的纯文本任务中表现出色。

Aya Vision 训练流程概览

扩展至 32B

最后，我们将配方从 8B 扩展到 32B，从而打造出最先进的开放权重多语言视觉语言模型——Aya Vision 32B。得益于更强的文本主干初始化，该模型在胜率上取得了显著提升，并且超越了规模超过其 2 倍的模型，例如 Llama-3.2 90B Vision、Molmo 72B 和 Qwen2.5-VL 72B，在 AyaVisionBench 上的胜率范围为 49% 到 63%，在 mWildVision 上跨 23 种语言的平均胜率范围为 52% 到 72%。

Aya Vision 基准 – 一个多语言评估数据集

与 Aya Vision 模型一同，我们还发布了一个高质量的多语言视觉语言基准，名为 AyaVisionBench，它基于真实世界应用构建，涵盖 23 种语言和 9 个不同的任务类别，每种语言包含 135 个图像-问题对。

我们将这个评估集提供给研究社区，以推动多语言多模态评估的发展。该数据集旨在评估模型执行多样化视觉语言任务的能力，包括图像描述、图表和图形理解、识别两张图像之间的差异、通用视觉问答、OCR、文档理解、文本转录、涉及逻辑和数学的推理，以及将屏幕截图转换为代码。通过整合多种语言和任务类型，该数据集为评估跨语言和多模态理解提供了一个广泛且具有挑战性的评估框架。

为了创建这个数据集，我们首先从 Cauldron 留出测试集中选择了图像，这是一个源自 50 个高质量数据集的大型集合，确保这些图像在训练期间未曾出现过。然后，我们为每张图像生成了一个相应的、明确需要视觉上下文才能回答的问题。这些问题以合成方式生成，并随后通过两阶段验证流程进行了改进。首先，人工标注者审查并验证了每个问题，以确保其清晰、相关，并且确实依赖于图像。这一严格的筛选和验证流程确保该数据集可作为在多语言和真实世界环境中评估视觉语言模型的稳健基准。

为真实世界应用而设计

沟通以多种形式和多种语言发生。凭借我们领先的研究与开发，我们发布了一个促进连接的模型，无论是文本还是视觉，如今都支持 23 种不同语言。

Aya Vision 具有广泛的实用应用，其中一个显著例子是它在 WhatsApp 上的可用性，这是世界上使用最广泛的通信平台之一。这使得讲多种语言的庞大全球用户群体能够在一个他们每天都用来沟通的平台上使用 Aya Vision 的能力。

开始使用 Aya

开始使用：

从 HF Mirror 上的 Aya Vision collection 下载权重和数据集。
使用我们的 HF Mirror Space 试用 Aya Vision，或在 Whatsapp 上向它发消息
使用我们的 colab example 在 Aya 上构建。

了解更多关于我们在多语言方面持续开展的工作。

致谢

如果没有 Aya Vision 核心技术团队，这项工作不可能完成：

Saurabh Dash、Oliver Nan、John Dang、Arash Ahmadian Dehkordi、Shivalika Singh、Alejandro Salamanca、Bharat Venkitesh、Vlad Shmyhlo、Walter Beller-Morales、Jeremy Pekmez、Jason Ozuzu、Madeline Smith、Marzieh Fadaee、Manoj Govindassamy、Sudip Roy、Matthias Gallé、Beyza Ermis、Ahmet Üstün、Sara Hooker。

如果没有更广泛的 Cohere For AI 和 Cohere 团队以多种方式提供支持，这一切也不可能实现。特别感谢 Sungjin Hong、Michael Kozakov、Pierre Richemond、Brittawnya Prince、Jim Payne、Kyle Lastovica、Jeff Colen、Jenna Cook、Viraat Aryabumi、Trent Fowler、Linus Chui、Meor Amer、Lucas Fayoux、Kyle Lastovica、Billy Trend、Acyr Locatelli、Morgan Norman、Florian Strub、Jon Ander Campos、Nick Frosst、Phil Blunsom、Aidan Gomez、Ivan Zhang。

特别感谢 HF Mirror 帮助促成此事：Yoni Gozlan、Arthur Zucker、Pedro Cuenca、Aritra Roy Gosthipaty、Merve Noyan、Vaibhav Srivastav。

参考文献

[1] Aya Expanse：结合研究突破，迈向新的多语言前沿
[2] Pangea：一个面向39种语言的完全开放多语言多模态LLM
[3] WildVision：基于人类偏好在真实环境中评估视觉语言模型
[4] SigLIP 2：具有改进的语义理解、定位和密集特征的多语言视觉语言编码器
[5] 构建视觉语言模型时，什么才是重要的？
[6] Molmo与PixMo：面向最先进视觉语言模型的开放权重与开放数据
[7] 我们距离GPT-4V还有多远？通过开源套件缩小与商业多模态模型的差距