Higgsfield 用 GPT-6 Astra 把 AI 视频从 1 分钟延长到 10 分钟以上
Higgsfield 借助 GPT-6 Astra 将 AI 视频生成时长从 1 分钟提升到 10 分钟以上。同时用 GPT-Image-2.5 提供更精准的画面，并借助 GPT-Live 探索语音驱动的电影制作路径。
#语音
#语音
今日 0 条OpenAI NewsAI 评分3434
Hugging Face BlogAI 评分4949 TII 推出 Falcon-ASR：1.6B 参数阿拉伯语语音识别模型，主打阿联酋方言
阿布扎比技术创新研究院（TII）发布 Falcon-ASR，这是一个 1.6B 参数的语音识别模型，重点支持阿联酋方言阿拉伯语，同时支持英语、法语、西班牙语和葡萄牙语，五种语言共用同一套权重。
AWS Machine Learning BlogAI 评分3636 用 Amazon Bedrock AgentCore、Managed Knowledge Base 与 Nova Sonic 构建语音旅行管家
亚马逊展示如何为航司应用加入语音旅行管家：基于 Amazon Bedrock AgentCore 托管智能体、Nova 2.5 Sonic 实现实时语音、Bedrock Knowledge Bases 支撑政策问答，通过 MCP 与 AgentCore Gateway 打通后端，可查行程、改座位、更新餐食偏好并转接人工客服。
NVIDIA Developer BlogAI 评分2727 微调 NVIDIA Nemotron 支持沙特阿拉伯语方言，并探索扩展至其他语言
NVIDIA 针对沙特阿拉伯语方言微调 Nemotron 模型，以解决区域方言和本地录音条件在预训练数据中代表性不足、导致多语言模型在真实部署中表现欠佳的问题。基础模型可能识别现代标准阿拉伯语，却在沙特方言场景下失准，该工作同时给出向其他语言扩展的路径。
Hugging Face BlogAI 评分4747 Hugging Face 推出 Open TTS Leaderboard：面向多语言 TTS 与语音克隆的可扩展评测
Hugging Face 发布 Open TTS Leaderboard，用 WER/CER、RTFx、TTFA 和 WavLM 说话人相似度等客观指标评测开源多语言 TTS 与语音克隆模型，把评测周期从数周投票压缩到数小时。
Google DeepMind精选AI 评分7171 Google DeepMind 推出 Gemini 3.8 Live with Live Avatar
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在原生实时对话模型上加入近实时视频生成，让企业智能体可以边听边看边说。
推荐理由：官方说明了实时视频形象与异步工具调用的组合方式，可据此判断企业客服等场景的交互形态变化。
Google DeepMind精选AI 评分7676 Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS
Google DeepMind 推出 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款语音生成模型，前者面向角色设计与逐行表演指导，后者面向高并发、低成本配音场景。
推荐理由：两个 TTS 模型把语音生成从固定预设转向自然语言定制，并给出 Hume AI 基准成绩与开放入口，便于判断创作与规模化配音的能力边界。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking
Google DeepMind 发布两款实时语音对话模型 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking，前者主打规模化与成本效率，后者面向高复杂度任务，支持边推理边说话。
推荐理由：官方给出两款语音模型的基准分数、价格定位与开放渠道，可据此判断语音智能体的选型与部署时机。
Hugging Face BlogAI 评分4949 Open ASR Leaderboard 首次加入全球南方语言：Monsoon 印地语与印度英语评测集
Hugging Face 的 Open ASR Leaderboard 新增 Monsoon en-IN 与 Monsoon hi-IN 两个评测集，印地语由此成为该多语言榜单上的首个印度语言。
Google DeepMind精选AI 评分6565 Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文字模型
Google DeepMind 发布 Gemini 3.5 Transcribe，一款面向实时转写的语音转文字模型，已在 Gemini API、Google AI Studio 和 Gemini Enterprise Agent Platform 开放公开预览。
推荐理由：官方给出 WER、延迟提升和两套 API 入口，读者可据此判断语音转写能否接入现有工程链路。
Hugging Face Blog精选AI 评分6767 Hugging Face 研究量化语音识别中的基准优化问题
Hugging Face 发布研究，提出三项测试量化语音识别中的基准优化现象。研究评估 11 个开源 ASR 模型，发现部分高分模型在音频与参考文本矛盾时仍复现 VoxPopuli 和 LibriSpeech 的错误转写，被静音的年份甚至被补全为 2011。
推荐理由：文章用三类探针量化 ASR 模型对基准本身的过拟合，并给出可复用的检出方法。
Hugging Face BlogAI 评分5656 NVIDIA 发布 Magpie TTS 多语言版，开放权重支持 12 种语言
NVIDIA 发布 Magpie TTS Multilingual，一个 364M 参数的开源权重语音合成模型，新增 Modern Standard Arabic、Korean 和 Brazilian Portuguese，共支持 12 种语言。
Google DeepMind精选AI 评分6161 Google DeepMind 在 Flow Music 发布音乐生成模型 Lyria 3.5
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5，并在 Google Flow Music 中上线。官方称其在音乐性、歌词、人声和创作控制上有提升，包括更复杂自然的主旋律结构、提示词遵循与结构感知更好的歌词、更具情感细节和发音更准的人声，以及更易控制输出tempo和时长。
推荐理由：官方给出 Lyria 3.5 在旋律、歌词、人声与节奏控制上的具体升级点，可据此判断音乐生成的可用边界。
Hugging Face BlogAI 评分5959 Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质感
Hume 推出 Real World VoiceEQ 语音 AI 基准，覆盖 40 多个主流闭源与开源语音模型，横跨 ASR、TTS、S2S 与语音理解四类共 15+ 维度、60+ 指标。
Hugging Face BlogAI 评分5454 HF Mirror 与 Cerebras 将 Gemma 4 用于实时语音 AI
Hugging Face 与 Cerebras 展示了基于 Gemma 4 的实时语音到语音管线，采用模块化的开源架构。流程为 Nvidia 的 Parakeet 做语音识别，Gemma 4 VLM 在 Cerebras 上推理，再由阿里 Qwen3TTS 做文本转语音。
Hugging Face BlogAI 评分4141 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 基准榜单
Hugging Face 与 Treble Technologies 上线首个开放的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并按近场、远场高/中/低 SNR 等条件评估模型。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini 3.5 Live Translate 语音翻译模型
Google DeepMind 发布音频模型 Gemini 3.5 Live Translate，支持 70 多种语言的近实时语音到语音翻译，能自动检测语言并保留说话人的语调、节奏和音高。
推荐理由：Gemini 3.5 Live Translate 把语音翻译从轮流应答改为连续输出，并给出开发者、企业与普通用户的接入路径。
Hugging Face BlogAI 评分5656 Reachy Mini 实现完全本地语音对话
Hugging Face 博客介绍如何让 Reachy Mini 的语音对话全流程本地运行，使用其 speech-to-speech 级联管线（VAD → STT → LLM → TTS），无需云端、API key 或数据外传。
Hugging Face BlogAI 评分3030 Hugging Face 为 Open ASR Leaderboard 引入私有数据集防刷榜
Hugging Face 与 Appen Inc.、DataoceanAI 合作，为 Open ASR Leaderboard 引入高质量英语 ASR 私有数据集，涵盖多口音的朗读与对话语音，以防止 benchmaxxing 或测试集污染。排行榜默认平均 WER 仍仅基于公开数据集计算，用户可手动开启开关查看私有数据集的影响。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。
Google DeepMindAI 评分5757 Google DeepMind 发布 AI co-clinician 医疗 AI 研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗的「三元照护」模式。
Hugging Face Blog精选AI 评分7474 NVIDIA 发布 Nemotron 3 Nano Omni：面向文档、音频与视频智能体的长上下文全模态模型
NVIDIA 发布 Nemotron 3 Nano Omni 全模态理解模型，在文本、图像基础上加入原生音频与视频理解，覆盖文档分析、语音识别、长音视频理解、GUI 智能体和通用多模态推理五类任务。
推荐理由：原文给出了架构细节、多模态基准成绩与吞吐数据，读者可据此判断开源全模态模型在文档、音视频与 GUI 智能体场景的可用性。
Google DeepMind精选AI 评分6565 Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型
Google DeepMind 发布文本转语音模型 Gemini 3.1 Flash TTS，提升了可控性、表现力和语音质量，在 Artificial Analysis TTS 排行榜上取得 1,211 的 Elo 分数。
推荐理由：官方给出 Elo 1211 的排行榜成绩与音频标签控制方式，可据此判断语音生成的可控性进步。
Google DeepMind精选AI 评分7272 Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型
Google DeepMind 发布音频与语音模型 Gemini 3.1 Flash Live，称其精度更高、延迟更低，已在 Gemini Live API（Google AI Studio 预览）、Gemini Enterprise 客户体验版、Search Live 和 Gemini Live 上线。
推荐理由：官方给出语音模型在多项音频基准上的分数与覆盖入口，可据此判断语音智能体的可用度。
Google DeepMind精选AI 评分7272 Google DeepMind 发布 Lyria 3 Pro 音乐生成模型
Google DeepMind 发布 Lyria 3 Pro，可生成最长 3 分钟的音乐，并能识别前奏、主歌、副歌和桥段等结构性元素。
推荐理由：Lyria 3 Pro 把单次生成时长提升到 3 分钟并支持曲式分段提示，读者可了解音乐生成在结构与产品接入上的变化。
Hugging Face BlogAI 评分4646 Hugging Face 发布语音智能体评测框架 EVA，首次联合打分准确率与体验
Hugging Face 推出端到端语音智能体评测框架 EVA，首次同时评估任务成功率与对话体验，输出 EVA-A（准确率）和 EVA-X（体验）两项分数，并基于 bot-to-bot 实时音频架构模拟多轮完整通话。首批发布含 50 个航司场景数据集（覆盖航班改签、取消、代金券等），并对 20 个级联与音频原生系统（如 S2S 模型、LALM）给出基准结果，发现准确率与体验之间存在一致的权衡。
Google DeepMind精选AI 评分7373 Google DeepMind 更新 Gemini 2.5 Flash Native Audio
Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio，面向实时语音智能体，在复杂工作流、指令跟随和自然对话三项能力上做了改进。
推荐理由：官方给出了新版原生音频模型的三项能力提升与实测评测分数，可用于判断实时语音智能体的当前水位。
Hugging Face BlogAI 评分2828 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 60+ 模型趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，并发布了一份基于 60+ 个开源与闭源模型的趋势预印本。
Hugging Face BlogAI 评分4040 Hugging Face 提出「语音同意门」：让语音克隆必须先获得本人同意
Hugging Face 发布博客提出「voice consent gate」（语音同意门）方案，让语音克隆模型只有在说话人明确说出同意语句并被 ASR 识别后才启动。该方案由三部分组成：生成约 20 词、含同意短语和模型名的随机英文句子，用 ASR 识别同意语句，再由 TTS 语音克隆系统合成语音。团队同时放出示例 Space 和配套代码，并建议同意录音直接来自麦克风而非上传文件。
Hugging Face BlogAI 评分4141 HF Mirror 推出基于 vLLM 的极速 Whisper 转录端点，性能提升达 8 倍
HF Mirror 在 Inference Endpoints 上推出新的 OpenAI Whisper 部署方案，基于 vLLM 实现，推理性能较此前版本最高提升 8 倍。
Hugging Face BlogAI 评分3434 HF Mirror 与 Cloudflare 合作，让 FastRTC 实时语音与视频更顺滑
HF Mirror 与 Cloudflare 达成合作，FastRTC 开发者用一个 HF Mirror token 即可接入 Cloudflare 覆盖 335 个以上地点的全球 TURN 网络。
OpenAI NewsAI 评分3131 ChatGPT 的视觉与语音功能：多模态输入与更自然的沟通
ChatGPT 的视觉与语音功能可帮助团队处理多模态输入，并更自然地进行沟通。该内容展示了这两项能力在团队协作场景中的实际用法。
Hugging Face BlogAI 评分3838 Hugging Face 与 IISc 合作，推进印度多语言模型构建
Hugging Face 与印度科学研究所 IISc、ARTPARK 达成合作，提升印度多模态多语言数据集 Vaani 的可访问性与可用性。Vaani 于 2022 年由 IISc/ARTPARK 与 Google 发起，已开源第一阶段 80 个地区的数据，第二阶段将再覆盖 100 个地区，目标采集超 15 万小时语音和 1.5 万小时转写文本。
Hugging Face Blog精选AI 评分6464 Hugging Face 发布 Python 实时通信库 FastRTC
Hugging Face 发布开源 Python 库 FastRTC，用于构建实时音频和视频 AI 应用，内置语音检测与轮次切换、WebRTC 版 Gradio UI 以及 WebSocket 支持。
推荐理由：介绍了一个把 WebRTC 实时音视频通信封装成 Python 库的开源项目，读者可据此了解如何用少量代码搭建实时语音 AI 应用。
Hugging Face BlogAI 评分5353 Artificial Analysis 发布 Big Bench Audio 音频推理基准
Artificial Analysis 发布 Big Bench Audio 评测数据集，将 Big Bench Hard 的 1000 道题改编为音频形式，用于评估音频语言模型的推理能力。
Hugging Face BlogAI 评分3939 如何在 HF Mirror Inference Endpoints 上部署 Speech-to-Speech
HF Mirror 的 Speech-to-Speech（S2S）项目通过 VAD、语音转文本、语言模型和文本转语音组成的级联管道实现语音对话，支持英语、法语、西班牙语、中文、日语和韩语。由于运行 S2S 需要大量算力，即使高端笔记本也可能出现延迟，官方给出用自定义 Docker 镜像将其部署到 HF Mirror Inference Endpoints 的分步教程。
Hugging Face BlogAI 评分4444 Hugging Face Inference Endpoints 自定义处理器实现 Whisper ASR、说话人分离与投机解码
Hugging Face 发布自定义推理处理器方案，可在 Inference Endpoints 上组合 Whisper ASR、Pyannote 说话人分离（diarization）与投机解码，并通过单一 API 端点对外提供服务。
Hugging Face BlogAI 评分5555 Hugging Face 推出 TTS Arena，用人类投票评测语音合成模型
Hugging Face 推出 TTS Arena，参考 LMSys 的 Chatbot Arena，让用户输入文本后对比两个模型的合成语音并投票选出更自然的一个。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 做低资源 ASR
Hugging Face 发布教程，介绍如何用 🤗 Transformers 基于 facebook/w2v-bert-2.0 检查点在低资源 ASR 任务上微调 Wav2Vec2-BERT。
Hugging Face Blog精选AI 评分6565 Hugging Face 用推测解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用推测解码（assisted generation）为 Whisper 推理提速约 2 倍，同时数学上保证输出与单独使用主模型完全一致。
推荐理由：给出可复用的推测解码配置与实测数据，读者能据此在现有 Whisper 流程中获得约 2 倍加速。
Hugging Face BlogAI 评分3030 Hugging Face 用 Diffusers 加速 AudioLDM 2，推理提速超 10 倍
Hugging Face 在 🧨 Diffusers 中优化 AudioLDM 2 文本到音频生成，通过半精度、flash attention、编译以及调度器和负向提示词等优化，将推理时间缩短 10 倍以上，原需 30 秒以上的 10 秒音频样本现可 1 秒生成，音质下降极小。