Google DeepMind 为 Gemini 推出智能体视频理解功能
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,通过动态检索帧、音频和转录文本,将 token 消耗降低最多 88%、分析成本降低最多 66%、准确率提升最多 7%。
推荐理由:Gemini 新功能给出 token 与成本下降幅度及启用方式,读者可据此评估长视频分析流程的改动空间。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,通过动态检索帧、音频和转录文本,将 token 消耗降低最多 88%、分析成本降低最多 66%、准确率提升最多 7%。
推荐理由:Gemini 新功能给出 token 与成本下降幅度及启用方式,读者可据此评估长视频分析流程的改动空间。
Google DeepMind 发布 Gemini Omni 1.1 Flash,面向开发者提供更可控的生成视频能力,通过 Gemini API 在 Google AI Studio 等平台开放。
推荐理由:原文列出场景延展、首尾帧指定、4K 放大等具体能力与开放入口,可据此评估生成视频在开发流程中的可控性。
NVIDIA 推出 Cosmos-H-Dreams,一个面向手术机器人的实时、动作条件生成式仿真器,将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 推理库在单张 NVIDIA RTX PRO 6000 GPU 上运行。
Google DeepMind 与 A24 宣布达成首个研究型合作伙伴关系,双方将围绕多个项目展开深度研发协作,让 A24 及旗下电影人参与塑造新技术。Google 同时对 A24 进行了投资。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)两款模型。
推荐理由:两款模型给出明确的延迟、单价与可用入口,读者可据此判断图像与视频生成流水线的成本变化。
Google DeepMind 发布 Gemini Omni 系列首个模型 Gemini Omni Flash,可组合图像、音频、视频和文本输入生成高质量视频,并通过自然语言对话编辑视频。
推荐理由:Gemini 首个 Omni 系列模型发布,多模态输入加对话式视频编辑的入口值得关注。
Overworld 发布新一代实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广泛消费级硬件的 360p 档位。
推荐理由:Waypoint-1.5 用 720p/360p 双档位和消费级硬件本地运行把实时世界模型从演示推向可用。
Google DeepMind 最新生成音乐模型 Lyria 3 以 beta 形式在 Gemini 应用上线,用户输入文字或上传图片、视频即可生成 30 秒带歌词或纯器乐的曲目,并配 Nano Banana 生成的封面图。
推荐理由:官方披露 Lyria 3 在 Gemini 中的三项能力改进与 SynthID 音频核验入口,可据此判断生成音乐的可用边界。
Overworld 发布实时交互视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已在 Hugging Face Hub 上线,Waypoint-1-Small 可用,Medium 版即将推出。
推荐理由:Waypoint-1 把交互式世界模型的训练重点放在零延迟控制上,并公布推理库与运行性能数据,可据此判断实时视频生成的落地条件。
Google DeepMind 发布 D4RT(Dynamic 4D Reconstruction and Tracking),用统一的编码器-解码器 Transformer 加查询机制,把点追踪、点云重建和相机位姿估计等 4D 任务收敛到单一框架。
推荐理由:官方给出的效率数据与统一查询架构,可用来对照此前需要多模型拼凑的 4D 重建流程。
Google DeepMind 更新 Veo 3.1 Ingredients to Video,即使提示词简短也能生成更生动、有对白和叙事的视频,并改善角色身份、背景与物体跨场景一致性。
推荐理由:官方披露 Veo 3.1 Ingredients to Video 的一致性、竖屏与 1080p/4K 升级及上线渠道,便于判断视频工作流怎么变。
Hugging Face 让 Gradio 应用添加可见水印只需一条命令:图像和视频传入 watermark 参数,文本则在 gr.Chatbot 中设置 watermark,用户复制 AI 回复时自动附加署名。水印支持文件名,图像还支持开放图片和 numpy 数组,并可用 QR 水印承载更多信息、匹配画面风格。官方提供了图像/视频与聊天机器人两个示例 Space 供试用。
Hugging Face 开源基准 TimeScope,通过在 1 分钟至 8 小时的长视频中插入 5-10 秒"针"片段,评测视频大模型的定位检索、信息综合与细粒度时序感知三项能力。测试显示,即便 Gemini 2.5-Pro 等领先模型在真正的长视频时序理解上仍显吃力,且视频越长性能下滑越明显。
Hugging Face Diffusers 团队试点 Remote VAE,将扩散模型的 VAE 解码交给远程 Inference Endpoints,缓解高分辨率图像和视频生成中解码器显存占用过高的问题,避免 offloading 的设备传输延迟和 tiling 的画质损失。
Hugging Face 发布 SmolVLM2 系列视频理解模型,包含 2.2B、500M 和 256M 三种参数规模,并同步支持 Transformers 与 MLX。
推荐理由:Hugging Face 发布三档小参数视频理解模型,并给出 iPhone、VLC 等端侧落地方式,可对照其内存与性能取舍。
Hugging Face 推出首期 AI 艺术工具通讯《The AI tools for Art Newsletter》,回顾 2024 年创意 AI 的关键进展,并预告 2025 年新动向及将启动月度汇总。
Hugging Face 发布 Diffusers 开源视频生成模型现状综述,梳理了 CogVideoX、Mochi-1、Hunyuan Video、Allegro、LTX Video 等模型,并对比 Meta MovieGen、OpenAI Sora、Google Veo 2 等闭源方案。
Hugging Face 推出 AI WebTV 实验性 Demo,用开源文生视频模型 Zeroscope 和音乐生成模型 MusicGen 合成内容并以直播形式播放。
文本到视频模型正沿文本到图像的技术路径演进:早期用 GAN 与 VAE 自回归生成帧,第二代转向 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 架构,当前第三代则以扩散模型为主。