Google DeepMind 发布 Gemini 3.5 Live Translate 语音翻译模型
Fluid, natural voice translation with Gemini 3.5 Live Translate
Google DeepMind 发布音频模型 Gemini 3.5 Live Translate,支持 70 多种语言的近实时语音到语音翻译,能自动检测语言并保留说话人的语调、节奏和音高。
Gemini 3.5 Live Translate 把语音翻译从轮流应答改为连续输出,并给出开发者、企业与普通用户的接入路径。
2026年6月9日
|
Gemini 3.5 Live Translate 是我们最新的音频模型,可用超过70种语言提供近乎实时的语音到语音翻译。
Anuda Weerasinghe
产品经理
Tony Lu
高级主任软件工程师
收听文章
[[duration]] 分钟
此内容由 Google AI 生成。生成式 AI 仍处于实验阶段
二十年前,Google 的翻译最初是我们开创性的机器学习实验之一,旨在将语言科学转化为人类连接的魔力。那个实验已经走过了漫长的道路,每月为数十亿用户在我们的产品中翻译超过一万亿个单词。
今天,我们通过发布 Gemini 3.5 Live Translate 迈出了下一步,这是我们用于实时语音到语音翻译的最新音频模型。
该模型自动检测 70 多种语言,并生成流畅、自然的翻译语音,保留说话者的语调、节奏和音高。与等待说话者说完再回应的轮流系统不同,3.5 Live Translate 持续生成语音,在等待上下文以提高质量与立即翻译以保持与说话者同步之间取得平衡。它提供流畅的音频,没有尴尬的停顿,并在整个会话中仅比说话者落后几秒钟。
Gemini 3.5 Live Translate 从今天开始陆续在 Google 产品中推出:
- 面向开发者,通过 Gemini Live API 和 Google AI Studio 提供公开预览
- 面向企业,本月开始在 Google Meet 中提供私密预览
- 面向所有人,通过 Android 和 iOS 上的 Google 翻译提供
使用 3.5 Live Translate 进行构建
Gemini 3.5 Live Translate 在语音流式传输时进行处理,实现跨语言更无缝的连接。该模型无需手动配置设置即可处理多语言输入。同时,其噪声鲁棒性确保应用程序能够应对嘈杂、不可预测的环境。你可以利用其功能来帮助促进多语言通话、会议、课程、广播等的实时口译。
观看 Gemini Live API 的实际应用,实现配音和同步多语言翻译。深入了解 演示或 Gemini Cookbook 中的更多示例代码。
通过利用 Gemini Live API,Agora、Fishjam、LiveKit、Pipecat 和 Vision Agents 等开发者平台使开发者能够轻松构建和部署语音翻译应用。这些集成了复杂的实时媒体流基础设施,因此开发者可以专注于用户体验。
我们在 Grab 的合作伙伴正在测试该模型,以实现司机和乘客在接载时近乎实时的多语言交流。这些用户每月通过 Grab 进行超过 1000 万次语音通话。
阅读早期评价
除 Grab 外,CJ ENM、LiveKit 等公司也对 3.5 Live Translate 给予了积极反馈,强调其令人印象深刻的翻译质量、准确性和低延迟:
在视频会议中体验 3.5 Live Translate
Google Meet 中的语音翻译很快将使用 3.5 Live Translate,通过以下方式改善体验:
- 提供 70 多种语言,较之前仅五种语言的限制有所改进,
- 在一场会议中实现超过 2000 种语言组合的对话,从此前仅支持与英语互译的状态扩展而来,
- 更新界面,提供对语音翻译的即时访问。
我们本月开始面向部分 Google Workspace 商业客户推出此更新的私密预览版,随后将在今年晚些时候更广泛地推出。
在 Android 或 iOS 上的 Google 翻译应用中获取 3.5 Live Translate
该模型还将在全球范围内于 Google 翻译应用中推出,覆盖 Android 和 iOS。使用 Live translate 功能时,只需连接任意一副耳机,即可体验更无缝的翻译,在 70 多种语言中还原说话者的语气。
对于 Android 用户,我们还将开始推出带有 3.5 Live Translate 的新“聆听模式”,让你直接通过手机听筒听到翻译。只需像平常打电话一样将手机贴近耳边,翻译后的音频就会直接传输给你。当你希望快速听到翻译而不被他人听到,并且手边没有耳机时,这种新体验会很有帮助。
使用新的聆听模式,用户可以直接通过手机听筒听到西班牙语导览的近乎实时的英语翻译。
带有 SynthID 水印
我们的模型生成的所有音频均带有 SynthID 水印。这种不可感知的水印直接编织到音频输出中,确保 AI 生成的内容可被检测,以帮助防止错误信息传播。有关我们安全与责任方法的详细信息,请查看模型卡。
在您的收件箱中获取 Google 的最新消息
订阅我们的新闻通讯,获取产品更新、活动信息、特别优惠等更多内容。
您的信息将根据Google 隐私政策使用。您可以随时选择退出。
来源:Google DeepMind · deepmind.google