Hugging Face 研究量化语音识别中的基准优化问题

公开的语音 AI 基准测试越来越表明，模型的表现已达到人类水平。然而，这些分数并不总能反映模型在现实世界中的实际表现。由于公开基准测试是开放且被广泛使用的，模型也可能针对测试本身进行优化。它们分数的提升，可能源于学会了基准测试特有的模式，而非在底层任务上变得更强。

原因之一在于，传统基准测试忽略了许多使语音系统在实践中可靠、自然、符合语境且高效的条件与特质。这正是我们近期在 Real World VoiceEQ、Open-ASR Leaderboard 和 Far-field ASR Leaderboard 中引入留出集的原因：以衡量更多在现实世界使用中真正重要的方面。

然而，仅靠更广泛的测量并不能解决问题。这种现象有时被称为基准优化或“benchmaxxing”，在机器学习领域常被讨论，但在语音识别中却一直难以衡量。

我们的最新研究引入了三项测试来帮助量化这一问题。我们评估了 11 个广泛使用的开源 ASR 模型，发现其中几个得分最高的系统会复现 VoxPopuli 英语和 LibriSpeech（clean、other）数据集的基准转录文本——即使音频与之矛盾、相关词语已被静音，或音频同样支持两种不同的书面形式。

在某些情况下，模型似乎不仅依赖于说了什么，还依赖于指示它们正在接受哪个基准测试的细微声学线索。结果，它们的分数高估了其更普遍的语音转录能力。

参考分歧（VoxPopuli 案例研究）

众所周知，VoxPopuli 包含大量转录错误（这也是 Artificial Analysis 发布清理版本的原因）。我们的共识分歧探针测试了当领先的 ASR 模型遇到这些错误时会发生什么：它们是准确转录音频所说的内容，还是复现基准测试中错误的参考转录文本？

为了大规模测试这一点，我们使用了一组独立模型的集成，这些模型因其低音素错误率（PER）而被选中。PER 衡量书面转录与音频中声音的匹配程度，使其成为衡量模型转录所听内容忠实度的有用指标。集成结果可用于标记出模型一致不同意基准测试参考转录文本的情况。随后，我们将这些被标记案例的样本与人工标注进行比较，以验证修正后的转录文本。

例如，一段 VoxPopuli 片段中可听到“Thank you, Mr. President”这句话，但参考转录文本省略了“Thank you”。在我们测试的 11 个模型中，有 6 个复现了基准测试的错误转录——给出了“预期”答案，尽管它与音频相矛盾。在真实片段上，格式也遵循同样的模式：省略“Thank you”的模型也复现了基准测试的标点风格，写作不带句点的“Mr”，而包含可听到短语的模型则倾向于写作带句点的“Mr.”。

当我们用从欧盟议会录音中新采集的声音或通用声音呈现相同内容时，这种行为往往会减弱或消失。在下面的样本中，除一个模型外，所有模型在克隆的新议会录音上都转回了忠实于音频的转录。这表明模型是在响应有助于它们识别基准成员身份的声学线索，从而即使与音频矛盾也会产生预期的转录。

这段片段的参考转录为“Mr President, I have another complaint about this procedure, which is that it is not secret.”下面三个片段中的音频实际上说的是同一句话，前面有一声可听见的“Thank you,”——克隆是那句真实句子的文本转语音再现，因此三者的客套语都清晰可闻。绿色高亮和 ✅ 表示转录包含可听见的“Thank you”；红色高亮和 ❌ 表示转录重现了基准中错误的省略。所有转录均为模型的原始输出，未经任何归一化——大小写和标点均按生成时的原样保留，包括某些模型输出的小写。

原始 VoxPopuli 录音

同一说话人的声音克隆

在每个模型训练截止时间之后录制的议会发言人的克隆

Parakeet 是唯一一个在真实片段上复现基准、而在同一说话人克隆上却表现正确的模型。Phi-4 是唯一一个在 ep-fresh 克隆上仍然丢掉客套语的模型。当我们改用与任何议会录音无关的通用 TTS 声音重新合成该句子时，全部十一个模型都恢复了客套语。

结果表明，这个问题既普遍存在又意义重大。我们的方法在我们分析的 VoxPopuli 测试片段中，有 40% 标记出了潜在的参考错误，影响了大约 3% 的全部参考词。

表现出基准优化行为的模型，有 18–30% 的情况下复现了错误的参考转录文本。下方的散点图将 VoxPopuli 词错误率（WER）作为 x 轴，与每个模型复现基准错误参考（而非共识修正）的比率进行对比。WER 最低——也就是所报告的基准表现最强——的模型，也最有可能复现这些错误。

掩码实体检索

为了在共识分歧探针的基础上进一步推进，我们故意将测试数据集音频样本中的数字静音，并要求模型转录它听到的内容。该数字在音频中完全不存在，因此模型不应输出任何数字，更不用说文本中的确切数字了。

其中一些数字是半可预测的（尽管对模型来说仍然不太可能预测到），而另一些则相当令人惊讶。以下片段结合了两个探针，展示了模型如何重现参考转录文本错误，包括一个错误的数字，甚至有一个模型在年份被静音的情况下自动补全了一个相当随机的年份（2011）。在下面每个模型的行中：

• 带有删除线的绿色高亮标记了模型正确未复现的参考转录词（忠实于音频）；
• 带有下划线的绿色高亮标记了替代参考错误措辞的正确、忠实于音频的插入内容；
• 红色高亮（纯文本）复现了参考转录文本中错误、无音频支持的内容：保留“Mr President”，在音频说的是“one thousand six hundred”的地方写成“more than 1 amendments”，补上被静音的年份“2011”，或结尾落在“plenary”。

2011 年预算草案（数字被掩蔽）

在公开基准测试上的恢复率最高，而在未见过的或新收集的音频（下方 ep-fresh 和 libri-fresh）上则较低。在 LibriSpeech 上，一些表现最强的基准模型在大约 30–40% 的示例中复现了掩码数字，即使数字本身已被移除。对于几个模型，这种效应在新收集的数据上减弱，这表明周围的与基准相关的音频——不仅仅是文本自动补全——帮助模型恢复了参照内容。

拼写切换

我们的拼写切换探测测试模型是否会复现基准参考转录中的确切拼写，尽管音频中并不清晰。拼写变体是指语义和语音相同但拼写方式不同的词（如 1 与 one、Mr. 与 mister、John 与 Jon、Honor 与 Honour 等）。理论上，模型应始终偏好一种拼写，或大致随机地交替使用它们。如果模型系统性地切换到与每个基准参考转录中的拼写相匹配，这表明模型正在捕捉测试预期的拼写方式。

转录：“我要求孩子们无论发生什么我们都不应该向任何人开枪”——使用“any one”的模型：6/11，使用“anyone”的模型：5/11

转录：“伪装这个词在船长或他那个时代的任何人那里都还不被理解”——使用“any one”的模型：2/11，使用“anyone”的模型：9/11

在 LibriSpeech 中，我们测试了一种涉及较旧空格惯例的数据集内切换：一些参考转录使用"any one"，而另一些使用"anyone"。我们测量给定变体的最低准确率，称之为"切换率"。如果模型只使用一种变体，其切换率将为 0%；随机选择的模型预期切换率为 50%。如果模型知道每个测试样本应使用哪种变体，则可获得 100% 的切换率。

我们的第二个探测测试的是数据集间切换，其中每个基准测试在其测试语料中一致地使用不同的拼写惯例。例如，VoxPopuli 使用缩写"Mr."，而 LibriSpeech 则拼写出"Mister"。

多个模型超过了 50% 的随机选择基线，有些甚至达到了约 90% 的切换准确率。这表明模型能够识别音频样本来自哪个数据集，并选择该基准测试所期望的拼写惯例，尽管两种形式听起来完全相同。

定位切换

为了测试这些行为是否能推广到公开基准测试之外，我们还从相同的源领域收集了模型训练截止日期之后的新数据：VoxPopuli 使用了近期的欧洲议会录音，LibriSpeech 则使用了新活跃的 LibriVox 朗读者的录音。然而，当面对来自同一领域的近期收集数据时，许多模型不再匹配参考转录，而是回归到更忠实于音频的转录。

其他干预措施也指向同一结论。音频中存在但参考转录中省略的短语，在模型被要求翻译音频或将其注意力限制在相关帧时，可能会重新出现。修剪掉周围的基准测试上下文，或附加普通的对话音频，也可以恢复忠实的转录。附加 VoxPopuli 音频则可能产生相反的效果，使原本忠实的合成或挖掘样本更有可能匹配基准测试参考。

综合来看，这些结果表明，模型能够忠实地转录字面所说的话语，但会利用周围的声学上下文来决定是遵循音频还是特定基准测试的转录策略。

结论

我们的发现表明，在两个主要的开源数据集上，一些模型能够检测到与数据集相关的声学线索，并相应地调整其转录行为。具体而言，模型可能会复现音频中不存在但参考转录中存在的词语，以更高的比率恢复被静音的号码，或利用周围的声学上下文来选择特定基准测试所期望的书面变体。

对于选择模型的人来说，这些发现强调了使用完全留出的评估集的重要性，正如 RW-Voice-EQ Bench 和 Open ASR Leaderboard 所做的那样，并且不应仅局限于单个公开基准测试上的词错误率。为此，Open ASR Leaderboard 增加了一个"基准测试拟合"标签页，其中包含上述两项针对所有模型的分析：量化 (1) 来自 VoxPopuli 的参考错误率，以及 (2) 所有公开数据集上的正字法切换。相关脚本已在 GitHub 上开源，同时还有未归一化的模型输出。

我们的发现还表明，基准开发者应避免简单独立的同分布测试划分，转而采用基于时间、说话人或其它元数据的分离方式。提高训练数据和模型选择流程的透明度，也有助于研究者理解这些行为是如何产生的。

公开基准仍然有价值：它们透明、可重复、易于运行，并且为研究界所熟知。但只有当我们能够区分真正的转录改进与无法泛化到新音频的基准特定增益时，它们才最为有用。

如需了解更多信息，我们建议您阅读我们的完整报告。