Hugging Face 为 Open ASR Leaderboard 引入私有数据集防刷榜
Hugging Face 与 Appen Inc.、DataoceanAI 合作，为 Open ASR Leaderboard 引入高质量英语 ASR 私有数据集，涵盖多口音的朗读与对话语音，以防止 benchmaxxing 或测试集污染。排行榜默认平均 WER 仍仅基于公开数据集计算，用户可手动开启开关查看私有数据集的影响。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。
#语音
#语音
今日 1 条Hugging Face BlogAI 评分3030
Google DeepMindAI 评分5757 Google DeepMind 发布 AI co-clinician 医疗 AI 研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗的「三元照护」模式。
Hugging Face Blog精选AI 评分7474 NVIDIA 发布 Nemotron 3 Nano Omni：面向文档、音频与视频智能体的长上下文全模态模型
NVIDIA 发布 Nemotron 3 Nano Omni 全模态理解模型，在文本、图像基础上加入原生音频与视频理解，覆盖文档分析、语音识别、长音视频理解、GUI 智能体和通用多模态推理五类任务。
推荐理由：原文给出了架构细节、多模态基准成绩与吞吐数据，读者可据此判断开源全模态模型在文档、音视频与 GUI 智能体场景的可用性。
Google DeepMind精选AI 评分6565 Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型
Google DeepMind 发布文本转语音模型 Gemini 3.1 Flash TTS，提升了可控性、表现力和语音质量，在 Artificial Analysis TTS 排行榜上取得 1,211 的 Elo 分数。
推荐理由：官方给出 Elo 1211 的排行榜成绩与音频标签控制方式，可据此判断语音生成的可控性进步。
Google DeepMind精选AI 评分7272 Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型
Google DeepMind 发布音频与语音模型 Gemini 3.1 Flash Live，称其精度更高、延迟更低，已在 Gemini Live API（Google AI Studio 预览）、Gemini Enterprise 客户体验版、Search Live 和 Gemini Live 上线。
推荐理由：官方给出语音模型在多项音频基准上的分数与覆盖入口，可据此判断语音智能体的可用度。
Google DeepMind精选AI 评分7272 Google DeepMind 发布 Lyria 3 Pro 音乐生成模型
Google DeepMind 发布 Lyria 3 Pro，可生成最长 3 分钟的音乐，并能识别前奏、主歌、副歌和桥段等结构性元素。
推荐理由：Lyria 3 Pro 把单次生成时长提升到 3 分钟并支持曲式分段提示，读者可了解音乐生成在结构与产品接入上的变化。
Hugging Face BlogAI 评分4646 Hugging Face 发布语音智能体评测框架 EVA，首次联合打分准确率与体验
Hugging Face 推出端到端语音智能体评测框架 EVA，首次同时评估任务成功率与对话体验，输出 EVA-A（准确率）和 EVA-X（体验）两项分数，并基于 bot-to-bot 实时音频架构模拟多轮完整通话。首批发布含 50 个航司场景数据集（覆盖航班改签、取消、代金券等），并对 20 个级联与音频原生系统（如 S2S 模型、LALM）给出基准结果，发现准确率与体验之间存在一致的权衡。
Google DeepMind精选AI 评分7373 Google DeepMind 更新 Gemini 2.5 Flash Native Audio
Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio，面向实时语音智能体，在复杂工作流、指令跟随和自然对话三项能力上做了改进。
推荐理由：官方给出了新版原生音频模型的三项能力提升与实测评测分数，可用于判断实时语音智能体的当前水位。
Hugging Face BlogAI 评分2828 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 60+ 模型趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，并发布了一份基于 60+ 个开源与闭源模型的趋势预印本。
Hugging Face BlogAI 评分4040 Hugging Face 提出「语音同意门」：让语音克隆必须先获得本人同意
Hugging Face 发布博客提出「voice consent gate」（语音同意门）方案，让语音克隆模型只有在说话人明确说出同意语句并被 ASR 识别后才启动。该方案由三部分组成：生成约 20 词、含同意短语和模型名的随机英文句子，用 ASR 识别同意语句，再由 TTS 语音克隆系统合成语音。团队同时放出示例 Space 和配套代码，并建议同意录音直接来自麦克风而非上传文件。
Hugging Face BlogAI 评分4141 HF Mirror 推出基于 vLLM 的极速 Whisper 转录端点，性能提升达 8 倍
HF Mirror 在 Inference Endpoints 上推出新的 OpenAI Whisper 部署方案，基于 vLLM 实现，推理性能较此前版本最高提升 8 倍。
Hugging Face BlogAI 评分3434 HF Mirror 与 Cloudflare 合作，让 FastRTC 实时语音与视频更顺滑
HF Mirror 与 Cloudflare 达成合作，FastRTC 开发者用一个 HF Mirror token 即可接入 Cloudflare 覆盖 335 个以上地点的全球 TURN 网络。
OpenAI NewsAI 评分3131 ChatGPT 的视觉与语音功能：多模态输入与更自然的沟通
ChatGPT 的视觉与语音功能可帮助团队处理多模态输入，并更自然地进行沟通。该内容展示了这两项能力在团队协作场景中的实际用法。
Hugging Face BlogAI 评分3838 Hugging Face 与 IISc 合作，推进印度多语言模型构建
Hugging Face 与印度科学研究所 IISc、ARTPARK 达成合作，提升印度多模态多语言数据集 Vaani 的可访问性与可用性。Vaani 于 2022 年由 IISc/ARTPARK 与 Google 发起，已开源第一阶段 80 个地区的数据，第二阶段将再覆盖 100 个地区，目标采集超 15 万小时语音和 1.5 万小时转写文本。
Hugging Face Blog精选AI 评分6464 Hugging Face 发布 Python 实时通信库 FastRTC
Hugging Face 发布开源 Python 库 FastRTC，用于构建实时音频和视频 AI 应用，内置语音检测与轮次切换、WebRTC 版 Gradio UI 以及 WebSocket 支持。
推荐理由：介绍了一个把 WebRTC 实时音视频通信封装成 Python 库的开源项目，读者可据此了解如何用少量代码搭建实时语音 AI 应用。
Hugging Face BlogAI 评分5353 Artificial Analysis 发布 Big Bench Audio 音频推理基准
Artificial Analysis 发布 Big Bench Audio 评测数据集，将 Big Bench Hard 的 1000 道题改编为音频形式，用于评估音频语言模型的推理能力。
Hugging Face BlogAI 评分3939 如何在 HF Mirror Inference Endpoints 上部署 Speech-to-Speech
HF Mirror 的 Speech-to-Speech（S2S）项目通过 VAD、语音转文本、语言模型和文本转语音组成的级联管道实现语音对话，支持英语、法语、西班牙语、中文、日语和韩语。由于运行 S2S 需要大量算力，即使高端笔记本也可能出现延迟，官方给出用自定义 Docker 镜像将其部署到 HF Mirror Inference Endpoints 的分步教程。
Hugging Face BlogAI 评分4444 Hugging Face Inference Endpoints 自定义处理器实现 Whisper ASR、说话人分离与投机解码
Hugging Face 发布自定义推理处理器方案，可在 Inference Endpoints 上组合 Whisper ASR、Pyannote 说话人分离（diarization）与投机解码，并通过单一 API 端点对外提供服务。
Hugging Face BlogAI 评分5555 Hugging Face 推出 TTS Arena，用人类投票评测语音合成模型
Hugging Face 推出 TTS Arena，参考 LMSys 的 Chatbot Arena，让用户输入文本后对比两个模型的合成语音并投票选出更自然的一个。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 做低资源 ASR
Hugging Face 发布教程，介绍如何用 🤗 Transformers 基于 facebook/w2v-bert-2.0 检查点在低资源 ASR 任务上微调 Wav2Vec2-BERT。
Hugging Face Blog精选AI 评分6565 Hugging Face 用推测解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用推测解码（assisted generation）为 Whisper 推理提速约 2 倍，同时数学上保证输出与单独使用主模型完全一致。
推荐理由：给出可复用的推测解码配置与实测数据，读者能据此在现有 Whisper 流程中获得约 2 倍加速。
Hugging Face BlogAI 评分3030 Hugging Face 用 Diffusers 加速 AudioLDM 2，推理提速超 10 倍
Hugging Face 在 🧨 Diffusers 中优化 AudioLDM 2 文本到音频生成，通过半精度、flash attention、编译以及调度器和负向提示词等优化，将推理时间缩短 10 倍以上，原需 30 秒以上的 10 秒音频样本现可 1 秒生成，音质下降极小。
Hugging Face BlogAI 评分3636 如何用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布实战教程，演示如何用 Transformers、Optimum 和 Accelerate 库优化 Suno AI 的文本转语音模型 Bark。基准测试中，未优化的 suno/bark-small 在 5 次生成迭代下平均耗时 9.38 秒，峰值显存占用 1.91 GB。教程涵盖 Bark 的 4 个核心模型架构解析、多种优化技术对比及 benchmark 结果展示。
Hugging Face BlogAI 评分4040 微调 MMS Adapter 模型实现低资源 ASR
Hugging Face 发布博客，介绍如何用 Meta AI 的 MMS Adapter 训练低资源语音识别：仅微调约 2.5M 权重、10-20 分钟即可获得极低词错误率，比微调整个模型更省内存、更稳健。MMS 在 1400 多种语言、50 万小时以上音频上预训练，已放出 300M 和 1B 检查点，以及 102、1107、1162 种语言的 ASR adapter。
Hugging Face BlogAI 评分3535 如何在 Unity 中用 HF Mirror Unity API 实现语音识别
Hugging Face 发布教程，讲解如何借助 HF Mirror Unity API 在 Unity 中实现语音识别，把玩家说的话转成文本，可用于下达指令、与 NPC 对话或提升无障碍体验。教程演示搭建含开始/停止按钮和 TextMeshPro 文本框的场景，用 Microphone.Start() 以 44100 Hz 录制最长 10 秒音频，再编码为 WAV 格式发送给 API 识别。
Hugging Face BlogAI 评分5858 Hugging Face 在 Transformers 中集成 SpeechT5 语音模型
Hugging Face 宣布 SpeechT5 正式集成进 Transformers，官方权重已发布在 HF Mirror Hub，并提供语音合成、音色转换和语音识别三个在线 demo。
Hugging Face BlogAI 评分3434 Hugging Face 音频数据集完全指南：用 🤗 Datasets 一行代码加载与处理
Hugging Face 发布音频数据集使用指南，介绍如何用 🤗 Datasets 的 load_dataset 一行代码下载并准备音频数据。加载 GigaSpeech 时只需指定 speechcolab/gigaspeech 与 xs 配置，即可得到已划分好的 train（9389 行）、validation（6750 行）和 test（25619 行）三个 split。
Hugging Face BlogAI 评分4444 用 🤗 Transformers 微调 Whisper 实现多语言 ASR
Hugging Face 发布教程，讲解如何用 🤗 Transformers 微调 OpenAI 的 Whisper 做多语言 ASR。
Hugging Face BlogAI 评分3838 如何在 🤗 Transformers 中用 Wav2Vec2 对超长音频做语音识别
Hugging Face 介绍了利用 Wav2Vec2 的 CTC 结构在 Transformers 中对任意长音频做语音识别的方法，通过在 pipeline 中设置 chunk_length_s 和 stride_length_s 实现带步长的重叠分块推理，避免长文件直接推理时显存溢出，同时保留 chunk 边界的上下文。
Hugging Face BlogAI 评分3636 在 🤗 Transformers 中用 n-gram 语言模型提升 Wav2Vec2 识别效果
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode，可将 n-gram 语言模型与已微调的 Wav2Vec2 检查点结合做语音解码。
Hugging Face BlogAI 评分5050 用 🤗 Transformers 微调 XLSR-Wav2Vec2 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 将 Wav2Vec2-XLS-R-300M 微调为低资源 ASR 模型，并在仅约 4 小时验证训练数据的 Common Voice 土耳其语数据集上采用 CTC 训练。
Hugging Face BlogAI 评分2222 在 Hugging Face 上用 🤗 Transformers 微调 Wav2Vec2 实现英语 ASR
Hugging Face 发布教程，讲解如何用 🤗 Transformers 在 Hugging Face 上微调 Wav2Vec2 预训练模型做英语 ASR，全程不使用语言模型。教程以仅含 5 小时训练数据的 Timit 数据集微调 base 版 checkpoint，采用 CTC 算法，并用 WER 评估。