跳到正文

#多模态

今日 1 条
7月1日周三
6月22日周一
6月9日周二
  1. Hugging Face Blog61

    作者如何让 Agent 串联两个 Hugging Face Space 搭建 3D 巴黎画廊

    作者让编程智能体调用两个 Hugging Face Space 搭建了一个展示巴黎地标的 3D 高斯泼溅画廊:ideogram4 负责由提示词生成图像,VAST-AI/TripoSplat 负责将单张图像重建成 .ply 格式的 3D 高斯泼溅。

    推荐理由:作者以一条可复现的智能体流水线,展示如何用 agents.md 串联两个 Space 完成图像与 3D 生成。

6月5日周五
5月18日周一
5月17日周日
  1. Google DeepMind74

    Google 将 SynthID 与 C2PA 内容验证扩展到 Search、Gemini 和 Chrome

    Google 宣布扩展内容透明度与验证工具,把 SynthID 的图片、视频、音频验证从 Gemini app 扩展到 Search,并将在未来几周进入 Chrome,Gemini 中该功能已被使用 5000 万次。

    推荐理由:Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini 和 Chrome,并开放云端检测 API,读者可了解内容溯源工具的实际入口与合作方。

5月16日周六
4月30日周四
4月28日周二
  1. Hugging Face Blog74

    NVIDIA 发布 Nemotron 3 Nano Omni:面向文档、音频与视频智能体的长上下文全模态模型

    NVIDIA 发布 Nemotron 3 Nano Omni 全模态理解模型,在文本、图像基础上加入原生音频与视频理解,覆盖文档分析、语音识别、长音视频理解、GUI 智能体和通用多模态推理五类任务。

    推荐理由:原文给出了架构细节、多模态基准成绩与吞吐数据,读者可据此判断开源全模态模型在文档、音视频与 GUI 智能体场景的可用性。

4月16日周四
4月13日周一
  1. Google DeepMind71

    Google DeepMind 发布 Gemini Robotics-ER 1.6

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人的推理优先模型的一次重大升级,增强了空间推理与多视角理解,并新增仪表读数能力。

    推荐理由:官方给出新版本在空间推理、成功检测与仪表读数上的能力变化,以及 API 与 AI Studio 的开放入口。

4月9日周四
4月3日周五
4月2日周四
  1. Hugging Face Blog86

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 在 HF 发布 Gemma 4 多模态模型家族,采用 Apache 2.0 许可,支持图像、文本和音频输入并生成文本。模型提供 E2B、E4B、12B Unified、31B 和 26B A4B 五个尺寸,最大上下文窗口 256K,其中 12B Unified 去掉独立视觉与音频编码器,直接把原始图像块和音频波形投影到 LLM 嵌入空间。

    推荐理由:Gemma 4 五档模型覆盖端侧到 MoE,附各推理引擎与微调工具链的接入方式,可据此判断本地部署路径。

4月1日周三
3月31日周二
  1. Hugging Face Blog60

    IBM 发布 Granite 4.0 3B Vision 文档理解多模态模型

    IBM 发布 Granite 4.0 3B Vision,一款面向企业文档理解的紧凑型视觉语言模型,以 LoRA 适配器形式挂载在 Granite 4.0 Micro 之上,在 Hugging Face 以 Apache 2.0 许可开放。

    推荐理由:IBM 以 LoRA 适配器形式发布 3B 文档视觉模型,并给出图表与表格抽取的对比基准,便于判断小模型在企业文档场景的可用性。

3月29日周日
3月26日周四
3月17日周二
3月4日周三
2月27日周五
  1. Google DeepMind82

    Google DeepMind 发布 Nano Banana 2(Gemini 3.1 Flash Image)图像模型

    Google DeepMind 发布 Nano Banana 2(Gemini 3.1 Flash Image),把 Nano Banana Pro 的先进世界知识、推理与画质带到 Flash 级速度,可调用 Gemini 知识库与网页搜索实时信息渲染特定主体,并支持图内文字渲染与翻译。

    推荐理由:官方给出 Nano Banana 2 相对前代的能力清单与全线产品入口,便于判断速度与保真度取舍。

2月19日周四
  1. Google DeepMind64

    Gemini 应用上线 Lyria 3,可用文字或图片生成 30 秒音乐

    Google DeepMind 最新生成音乐模型 Lyria 3 以 beta 形式在 Gemini 应用上线,用户输入文字或上传图片、视频即可生成 30 秒带歌词或纯器乐的曲目,并配 Nano Banana 生成的封面图。

    推荐理由:官方披露 Lyria 3 在 Gemini 中的三项能力改进与 SynthID 音频核验入口,可据此判断生成音乐的可用边界。

1月30日周五
1月16日周五
1月14日周三
  1. Google DeepMind71

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,新增竖屏输出与 1080p/4K 升采样

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,即使提示词简短也能生成更生动、有对白和叙事的视频,并改善角色身份、背景与物体跨场景一致性。

    推荐理由:官方披露 Veo 3.1 Ingredients to Video 的一致性、竖屏与 1080p/4K 升级及上线渠道,便于判断视频工作流怎么变。

1月6日周二
  1. Hugging Face Blog68

    NVIDIA 发布 Cosmos Reason 2,面向物理 AI 的开源推理视觉语言模型

    NVIDIA 发布面向物理 AI 的开源推理视觉语言模型 Cosmos Reason 2,提供 2B 和 8B 两种参数规模,在 Physical AI Bench 和 Physical Reasoning 榜单上位列开源模型第一。

    推荐理由:Cosmos Reason 2 给出 2B/8B 开源权重的具体升级项与评测数据,可据此判断物理 AI 推理模型的当前水位。

1月5日周一
12月24日周三
12月17日周三
  1. Google DeepMind84

    Google DeepMind 发布 Gemini 3 Flash 模型

    Google DeepMind 发布 Gemini 3 Flash,主打前沿智能与速度,在 GPQA Diamond 上得分 90.4%、Humanity's Last Exam 无工具得分 33.7%、MMMU Pro 上得分 81.2%、SWE-bench Verified 上得分 78%。

    推荐理由:Gemini 3 Flash 以 Pro 级推理配合 Flash 级延迟和价格,提供了速度与智能取舍的实测基准。

12月10日周三
12月9日周二
11月21日周五
11月20日周四
  1. Google DeepMind62

    Google 在 Gemini 应用中上线 AI 图片验证功能

    Google DeepMind 在 Gemini 应用中上线 AI 图片验证功能,用户上传图片并提问即可检测是否由 Google AI 生成或编辑,背后依据的是 2023 年推出的 SynthID 数字水印技术。

    推荐理由:Gemini 应用新增图片 AI 来源验证入口,并给出 SynthID 水印规模与 C2PA 扩展路径等关键细节。

  2. Google DeepMind76

    Google DeepMind 发布 Gemini 3 Pro Image(Nano Banana Pro)图像模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),这是基于 Gemini 3 Pro 的高保真图像生成与编辑模型,开始在 Google AI Studio 和 Vertex AI 上面向开发者付费预览。

    推荐理由:DeepMind 官方给出 Gemini 3 Pro Image 的付费预览入口与分辨率、参考图数量等规格,可据此判断是否接入生产流程。

  3. Google DeepMind85

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像生成与编辑模型

    Google DeepMind 发布新一代图像生成与编辑模型 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro,强调更强的推理与世界知识、图像内多语言文字的准确渲染,以及最高 14 张图像融合、最多 5 人一致性保持。

    推荐理由:Google DeepMind 官方介绍 Nano Banana Pro 的能力边界与全平台上线节奏,便于判断图像生成工作流的变化。

11月19日周三