Google DeepMind 发布 Gemma 4 多模态模型家族

Google DeepMind 的 Gemma 4 多模态模型系列已在 HF Mirror 上线，支持你常用的智能体、推理引擎和微调库 🤗

这些模型货真价实：采用 Apache 2 许可证的真正开放、在帕累托前沿竞技场分数上表现出的高质量、包含音频的多模态能力，以及随处可用的尺寸——包括端侧。Gemma 4 建立在之前系列的基础上，并将它们的进展融为一体。在我们使用预发布检查点进行的测试中，其能力令我们印象深刻，以至于我们很难找到合适的微调示例，因为它们开箱即用就如此出色。

我们与 Google 和社区合作，让它们随处可用：transformers、llama.cpp、MLX、WebGPU、Rust，应有尽有。这篇博客文章将展示如何用你最喜欢的工具进行构建，所以请告诉我们你的想法！

目录

• Gemma 4 有什么新变化？
• Overview of Capabilities and Architecture
  • 架构一览
  • 逐层嵌入 (PLE)
  • 共享 KV 缓存
• 多模态能力
• Deploy Anywhere
  • transformers
  • Llama.cpp
  • 接入你的本地智能体
  • transformers.js
  • MLX
  • Mistral.rs
• 多 token 预测草稿模型
• DiffusionGemma：通过扩散进行文本生成
• Fine-tuning & Demos
  • Fine-tuning with TRL
    • 在 Vertex AI 上使用 TRL 微调
  • 使用 Unsloth Studio 微调
• 试用 Gemma 4
• 基准测试结果
• 致谢

Gemma 4 有什么新变化？

与 Gemma-3n 类似，Gemma 4 支持图像、文本和音频输入，并生成文本回复。文本解码器基于 Gemma 模型，支持长上下文窗口。图像编码器与 Gemma 3 的类似，但有两个关键改进：可变纵横比，以及可配置的图像 token 输入数量，以便在速度、内存和质量之间找到最佳平衡点。所有模型都支持图像（或视频）和文本输入，而小型变体（E2B、E4B）和 12B Unified 模型还支持音频。

Gemma 4 有五种尺寸，均提供基础版和指令微调版：

能力与架构概览

Gemma 4 沿用了此前 Gemma 版本和其他开放模型中的若干架构组件，并去掉了复杂或没有定论的功能，例如 Altup。这种组合旨在实现跨库和跨设备的高度兼容性，能够高效支持长上下文和智能体用例，同时非常适合量化。

如上方基准测试所示，这种功能组合（结合训练数据和配方）使 31B 稠密模型达到约 1452 的 LMArena 得分（纯文本），而 26B MoE 仅用 4B 激活参数就达到 1441 🤯。我们还将看到，多模态操作至少在与文本生成相比的非正式和主观测试中表现相当。

这些是 Gemma 4 的主要架构特征：

• 交替的局部滑动窗口和全局全上下文注意力层。较小的稠密模型使用 512 token 的滑动窗口，而较大的模型使用 1024 token。
• 双 RoPE配置：滑动层使用标准 RoPE，全局层使用剪枝 RoPE，以支持更长的上下文。
• 逐层嵌入（PLE）：第二个嵌入表，向每个解码器层提供一个小型残差信号。
• 共享 KV 缓存：模型最后 N 层复用来自较早层的键值状态，消除了冗余的 KV 投影。
• 视觉编码器（12B 除外）：使用学习到的 2D 位置和多维 RoPE。保留原始宽高比，并可将图像编码为几种不同的 token 预算（70、140、280、560、1120）。
• 音频编码器（E2B、E4B）：USM 风格 conformer，其基础架构与 Gemma-3n 中的相同。
• 统一无编码器多模态（仅 12B）：12B Unified 变体去掉了单独的视觉和音频编码器，将原始图像块和音频波形直接投影到 LLM 的嵌入空间。参见 统一多模态（12B）。

逐层嵌入（PLE）

较小 Gemma 4 模型最独特的特征之一是逐层嵌入（PLE），该特征此前已在 Gemma-3n 中引入。在标准 transformer 中，每个 token 在输入时获得单个嵌入向量，并且这个相同的初始表示是所有层残差流构建的基础，迫使嵌入预先加载模型可能需要的一切。PLE 在主残差流之外增加了一条并行的、较低维度的条件路径。对于每个 token，它通过组合两个信号为每一层生成一个小型专用向量：一个 token 身份分量（来自嵌入查找）和一个上下文感知分量（来自主嵌入的学习投影）。每个解码器层随后在注意力和前馈之后，使用其对应的向量通过一个轻量级残差块来调制隐藏状态。这为每一层提供了自己的通道，仅在 token 特定信息变得相关时接收它，而不需要将所有内容都打包到一个预先嵌入中。由于 PLE 维度远小于主隐藏大小，这以适度的参数成本增加了有意义的逐层特化。对于多模态输入（图像、音频、视频），PLE 在软 token 合并到嵌入序列之前计算——因为 PLE 依赖于 token ID，而一旦多模态特征替换了占位符，这些 token ID 就会丢失。多模态位置使用 pad token ID，实际上接收中性的逐层信号。

共享 KV 缓存

共享 KV 缓存是一种效率优化，可在推理过程中同时降低计算量和内存占用。模型的最后 num_kv_shared_layers 层不会计算自己的 key 和 value 投影。相反，它们会复用来自同一注意力类型（滑动或全注意力）的最后一个非共享层的 K 和 V 张量。

在实践中，这对质量的影响极小，同时在长上下文生成和设备端使用方面效率要高得多（无论是在内存还是计算方面）。

统一多模态（12B）

Gemma 4 12B 统一模型没有单独的视觉或音频编码器。相反，原始图像块和音频波形通过轻量级线性层直接投影到 LLM 的嵌入空间中，所有模态都流入单个仅解码器 transformer。这降低了多模态延迟，并允许整个模型在一次训练中完成微调。其 checkpoint 大小使其非常适合在消费级硬件上部署。

多模态能力

在我们的测试中，Gemma 4 开箱即支持全面的多模态能力。我们不知道训练数据的具体配比，但我们成功将其用于 OCR、语音转文本、目标检测或指向等任务。它还支持纯文本和多模态函数调用、推理、代码补全与纠正。

这里，我们展示了不同模型规模下的几个推理示例。你可以方便地通过这个 notebook 运行它们。我们鼓励你尝试这些 demo，并在本博客下方分享！

多模态输入顺序

Gemma 4 在训练时采用了一种特定的约定来交错输入模态：

• 图像内容放在提示中文本的前面。
• 音频内容放在提示中文本的后面。

具体来说，以下是为聊天模板准备输入的正确片段：

image_url = "https://hf-mirror.com/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
audio_url = "instructions.m4a"      # A recording of "describe this image"
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": image_url},
            {"type": "text", "text": "Answer in French."},
            {"type": "audio", "audio": audio_url},
        ]
    }
]
# Cette image montre un personnage anthropomorphe ressemblant à un lapin, vêtu d'un manteau bleu et d'un pantalon beige, se tenant sur un chemin de terre dans un paysage rural idyllique ...

本文中的音频推理代码片段没有遵循这一约定，因为它们是在此指导方针确认之前编写的。我们保留它们最初编写的样子，以确保结果表格仍然可复现。对于你自己的代码，请优先使用上面的顺序。

目标检测与指向

GUI 检测

我们在不同规模上测试 Gemma 4 的 GUI 元素检测和指向能力，使用以下图像和文本提示：“What's the bounding box for the "view recipe" element in the image?”

对于这个提示，模型会原生以 JSON 格式响应检测到的边界框——无需特定指令或语法约束生成。我们发现坐标参考的是 1000x1000 的图像尺寸，相对于输入维度。

为方便起见，我们在下方可视化输出。我们从返回的 JSON 中解析边界框：json\n[\n {"box_2d": [171, 75, 245, 308], "label": "view recipe element"}\n]\n

E2B	E4B
26/A4B	31B

目标检测

我们测试模型检测日常物体，这里我们让它们检测自行车，并比较不同模型的输出。与前一种情况一样，我们从 json 中解析边界框并转换为图像空间坐标。

E2B	E4B	26B/A3B	31B

多模态思考与函数调用

我们让 Gemma 4 编写 HTML 代码来重建一个我们用 Gemini 3 制作的页面。你可以在下方找到实现这一点的代码，我们启用思考并让每个模型最多生成 4000 个新 token，以确保万无一失。

Gemini 生成的网站（参考）	Gemini 复现的图像

推理代码

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://hf-mirror.com/datasets/merve/vlm_test_images/resolve/main/landing_page.png",
            },
            {"type": "text", "text": "Write HTML code for this page."},
        ],
    }
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=True,
).to(model.device)
output = model.generate(**inputs, max_new_tokens=4000)
input_len = inputs.input_ids.shape[-1]
generated_text_ids = output[0][input_len:]
generated_text = processor.decode(generated_text_ids, skip_special_tokens=True)
result = processor.parse_response(generated_text)
print(result["content"])

E2B	E4B

31B	26/A4B

视频理解

较小的 Gemma 4 模型可以接收带音频的视频，而较大的模型可以接收不带音频的视频。虽然这些模型并未专门针对视频进行后训练，但它们能够理解带音频和不带音频的视频。该模型在音频方面尤为擅长

推理代码

messages = [
    {
        "role": "user",
        "content": [
            {"type": "video", "url": "https://hf-mirror.com/datasets/merve/vlm_test_images/resolve/main/concert.mp4"},
            {"type": "text", "text": "What is happening in the video? What is the song about?"},
        ],
    },
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    load_audio_from_video=True, # disable this for larger models
).to(model.device)
output = model.generate(**inputs, max_new_tokens=200)
input_len = inputs.input_ids.shape[-1]
generated_text_ids = output[0][input_len:]
generated_text = processor.decode(generated_text_ids, skip_special_tokens=True)
print(result["content"])

图像描述

我们在图像描述任务上测试了所有模型。所有检查点的表现都非常出色，能够准确捕捉复杂场景中的细微差别。 以下是使用的图像，提示词为“为这张图像写一段详细的描述。”。

推理代码

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://hf-mirror.com/datasets/merve/vlm_test_images/resolve/main/bird.png"},
            {"type": "text", "text": "Write single detailed caption for this image."},
        ],
    },
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)
output = model.generate(**inputs, max_new_tokens=512)
input_len = inputs.input_ids.shape[-1]
generated_text_ids = output[0][input_len:]
generated_text = processor.decode(generated_text_ids, skip_special_tokens=True)
result = processor.parse_response(generated_text)
print(result["content"])

音频问答

这些模型经过训练，可以回答有关音频中语音的问题。音乐和非语音声音不属于训练数据的一部分。

推理代码

messages = [
    {
        "role": "user",
        "content": [
            {"type": "audio", "url": "https://hf-mirror.com/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/obama_first_45_secs.mp3"},
            {"type": "text", "text": "Can you describe this audio in detail?"},
        ],
    },
]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)

output = model.generate(
    **inputs,
    max_new_tokens=1000,
    do_sample=False,
)

print(processor.decode(output[0], skip_special_tokens=True))

如果你想做转录，这里有一个示例：

推理代码

messages = [
    {
        "role": "user",
        "content": [
            {"type": "audio", "url": "https://hf-mirror.com/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/obama_first_45_secs.mp3"},
            {"type": "text", "text": "Transcribe the audio?"},
        ],
    },
]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)

output = model.generate(
    **inputs,
    max_new_tokens=1000,
    do_sample=False,
)

print(processor.decode(output[0], skip_special_tokens=True))

多模态函数调用

我们通过要求获取图像中所示地点的天气来测试模型。

推理代码

import re 
WEATHER_TOOL = {
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Gets the current weather for a specific location.",
        "parameters": {
            "type": "object",
            "properties": {
                "city": {"type": "string", "description": "The city name"},
            },
            "required": ["city"],
        },
    },
}
tools = [WEATHER_TOOL]
messages = [
    {"role": "user", "content": [
          {"type": "text", "text": "What is the city in this image? Check the weather there right now."},

        {"type": "image", "image": "https://hf-mirror.com/datasets/merve/vlm_test_images/resolve/main/thailand.jpg"},
    ]},
]
inputs = processor.apply_chat_template(
    messages,
    tools=[WEATHER_TOOL],
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=True,
).to(model.device)
output = model.generate(**inputs, max_new_tokens=1000)
input_len = inputs.input_ids.shape[-1]
generated_text_ids = output[0][input_len:]
generated_text = processor.decode(generated_text_ids, skip_special_tokens=True)
result = processor.parse_response(generated_text)
print(result["content"])

随处部署

Gemma 4 从第一天起就支持许多开源推理引擎，非常适合工具调用和代理！我们还发布了 ONNX 检查点，可以在许多硬件后端上运行，支持边缘设备或浏览器中的用例！

transformers

Gemma 4 从一开始就提供一流的 transformers 支持 🤗。这种集成允许将模型与其他库（如 bitsandbytes、PEFT 和 TRL）一起使用。请确保安装最新版本的 transformers。

pip install -U transformers

使用小型 Gemma 4 模型进行推理的最简单方法是通过 any-to-any 管道。您可以按如下方式初始化它。

from transformers import pipeline
pipe = pipeline("any-to-any", model="google/gemma-4-e2b-it")

然后，您可以按如下方式传入图像和文本。

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://hf-mirror.com/datasets/merve/vlm_test_images/resolve/main/thailand.jpg",
            },
            {"type": "text", "text": "Do you have travel advice going to here?"},
        ],
    }
]
output = pipe(messages, max_new_tokens=100, return_full_text=False)
output[0]["generated_text"]
# Based on the image, which appears to show a magnificent, ornate **Buddhist temple or pagoda**, likely in Southeast Asia (such as Thailand, Myanmar, or Cambodia), here is some general travel advice..

在使用视频进行推理时，您可以使用 load_audio_from_video 参数包含音轨。

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "image": "https://hf-mirror.com/datasets/merve/vlm_test_images/resolve/main/rockets.mp4",
            },
            {"type": "text", "text": "What is happening in this video?"},
        ],
    }
]
pipe(messages, load_audio_from_video=True)

再往下深入一层，你可以使用 AutoModelForMultimodalLM 类加载 Gemma 4，这在微调时尤其有用。内置的聊天模板会负责正确地格式化输入，请务必使用它，以免在手动构建提示词时出现难以察觉的错误。

推理代码

from transformers import AutoModelForMultimodalLM, AutoProcessor
model = AutoModelForMultimodalLM.from_pretrained("google/gemma-4-E2B-it", device_map="auto")
processor = AutoProcessor.from_pretrained("google/gemma-4-E2B-it")
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "image": "https://hf-mirror.com/datasets/merve/vlm_test_images/resolve/main/rockets.mp4",
            },
            {"type": "text", "text": "What is happening in this video?"},
        ],
    }
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

Llama.cpp

Gemma 4 模型从一开始就在 llama.cpp 中支持图像+文本！这让你可以在所有喜爱的本地应用中使用 Gemma 4：llama-cpp server、lmstudio、Jan，以及像 Pi 这样的编码代理，并跨多种后端（如 Metal 和 CUDA）。

你可以按如下方式安装 llama-cpp。

curl -LsSf https://llama.app/install.sh | sh

然后你可以启动一个与 OpenAI API 兼容的服务器。将命令末尾的量化方案替换为你想要的精度。

llama serve -hf ggml-org/gemma-4-E2B-it-GGUF

查看此链接了解更多关于将 llama.cpp 与不同编码代理和本地应用结合的选项。在此合集中找到所有 GGUF 检查点。

接入你的本地代理

我们努力确保新模型能在本地与 openclaw、hermes、pi 和 open code 等代理配合使用。这一切都归功于 llama.cpp！运行以下命令即可立即试用 Gemma 4。

首先，启动你的本地服务器：

llama serve -hf ggml-org/gemma-4-26b-a4b-it-GGUF:Q4_K_M

对于 hermes：

hermes model

对于 openclaw：

openclaw onboard

对于 pi，定义一个 ~/.pi/agent/models.json：

{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",	
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "ggml-org-gemma-4-26b-4b-gguf"
        }
      ]
    }
  }
}

对于 open code，定义一个 ~/.config/opencode/opencode.json：

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "llama.cpp": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "llama server (local)",
      "options": {
        "baseURL": "http://127.0.0.1:8080/v1"
      },
      "models": {
        "gemma-4-26b-4b-it": {
          "name": "Gemma 4 (local)",
          "limit": {
            "context": 128000,
            "output": 8192
          }
        }
      }
    }
  }
}

transformers.js

transformers.js 让 Gemma 4 可以直接在浏览器中运行。你可以查看模型卡片，在此处详细了解纯文本、图像与文本、音频与文本推理。我们还发布了一个演示，让你在此处测试该模型。

MLX

使用开源的 mlx-vlm 库可以获得 Gemma 4 的完整多模态支持。以下是如何让模型描述一张图像：

pip install -U mlx-vlm

mlx_vlm.generate \
--model google/gemma-4-E4B-it \
--image https://hf-mirror.com/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg \
--prompt "Describe this image in detail"

mlx-vlm 支持 TurboQuant，它在提供与未压缩基线相同精度的同时，将活跃内存使用减少约 4 倍，并且端到端运行快得多。这使得在 Apple Silicon 上进行长上下文推理变得切实可行，而无需牺牲质量。像这样使用它：

mlx_vlm.generate \
--model "mlx-community/gemma-4-26b-a4b-it-4bit" \
--prompt "Your prompt here" \
--kv-bits 3.5 \
--kv-quant-scheme turboquant

关于音频示例和更多细节，请查看MLX 合集。

Mistral.rs

mistral.rs 是一个 Rust 原生推理引擎，从第一天起就支持 Gemma 4 的所有模态（文本、图像、视频、音频），并内置工具调用和代理功能。安装 mistral.rs：

curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh | sh # Linux/macOS

irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 | iex # Windows

然后你可以启动一个与 OpenAI 兼容的 HTTP 服务器：

mistralrs serve mistralrs-community/gemma-4-E4B-it-UQFF --from-uqff 8

或者，使用交互模式：

mistralrs run -m google/gemma-4-E4B-it --isq 8 --image image.png -i "Describe this image in detail."

mistralrs run -m google/gemma-4-E4B-it --isq 8 --audio audio.mp3 -i "Transcribe this fully."

在此处找到所有模型。请遵循模型卡片中的说明进行安装和推理。

多令牌预测草稿模型

Google 发布了适用于 Gemma 4 系列的多令牌预测（MTP）草稿模型：小型助手模型，通过推测解码加速推理。草稿模型一次提出多个未来令牌，目标模型在单次前向传播中验证它们。你获得与目标模型相同的输出，只是更快——没有质量损失，推理行为也没有改变。根据硬件、批大小和工作负载，报告的端到端加速最高可达约 3 倍。

助手模型适用于所有四种 Gemma 4 规模（E2B、E4B、26B A4B、31B）。它们与目标模型共享 KV 缓存以避免重新计算上下文，较小的边缘变体还额外使用嵌入聚类技巧来保持设备上的内存和计算开销较低。

在 Gemma 4 集合和 mlx-community 集合中查找检查点。

DiffusionGemma：通过扩散进行文本生成

除了自回归的 Gemma 4 系列之外，Google DeepMind 还发布了 DiffusionGemma，这是一个多模态模型，它使用离散扩散来生成文本，而不是逐词元自回归。它构建在相同的 26B A4B 混合专家（Mixture-of-Experts）基础上（总计 25.2B / 激活 3.8B 参数，128 个专家中激活 8 个，外加 1 个共享专家），接受文本和图像输入，生成文本，并支持高达 256K 上下文——所有这些都在相同的 Apache 2.0 许可下。

标准因果语言模型一次只发出一个词元，而 DiffusionGemma 并行地对整块词元进行去噪。其架构是编码器-解码器：自回归编码器预填充提示并构建 KV 缓存，而解码器对一块 256 个词元的“画布”应用双向注意力。在多画布采样过程中，模型使用扩散采样器迭代地对整块画布进行去噪；一旦一块画布最终确定，它就会被编码并追加到 KV 缓存中，然后开始下一块画布。这种块自回归方法提高了生成速度。

其最突出的优势是吞吐量：并行去噪每次前向传递大约生成 15–20 个词元，在低批量大小下（H100，FP8），每用户生成速度超过 1100 词元/秒。推理计算也是自适应的——更简单的提示和像代码这样的结构化任务需要更少的去噪步骤，因此每秒词元数会随任务复杂度而变化。它保留了更广泛的 Gemma 4 工具集：思考模式、函数调用、长上下文、原生系统提示，以及在可变宽高比和分辨率下的图像理解（OCR、文档解析、目标检测、指向）。

基准测试显示了速度与评估指标之间预期中的权衡——DiffusionGemma 在大多数任务上落后于自回归的 26B A4B（例如 MMLU Pro 77.6% 对 82.6%，AIME 2026 69.1% 对 88.3%，GPQA Diamond 73.2% 对 82.3%），以换取其巨大的速度优势，同时在少数任务上略胜一筹（HLE 无工具 11.0% 对 8.7%）。

上手体验看起来就像 Gemma 4 的其余部分一样，通过专用的扩散类：

from transformers import DiffusionGemmaForBlockDiffusion, AutoProcessor

MODEL_ID = "google/diffusiongemma-26B-A4B-it"

processor = AutoProcessor.from_pretrained(MODEL_ID)
model = DiffusionGemmaForBlockDiffusion.from_pretrained(
    MODEL_ID,
    dtype="auto",
    device_map="auto",
)

message = [{"role": "user", "content": "Why is the sky blue?"}]
input_ids = processor.apply_chat_template(
    message,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)
output = model.generate(**input_ids, max_new_tokens=512)
text = processor.decode(output[0], skip_special_tokens=False)

为了获得最佳结果，Google 推荐使用熵约束（Entropy-Bounded，EB）采样器并配合自适应停止（最多 48 个去噪步骤，温度从 0.8 → 0.4 衰减，以及用于词元选择的 0.1 熵界限）。与 Gemma 4 一样，请将图像内容放在提示中文本的前面，并使用 <|think|> 控制词元切换推理。

面向所有人的微调

Gemma 4 模型非常适合在你最喜欢的工具和平台中、以任意预算进行微调。

使用 TRL 微调

Gemma 4 完全支持使用 TRL 进行微调。为庆祝这一点，TRL 已升级，支持在与环境交互时进行多模态工具响应，这意味着模型现在可以在训练期间从工具接收图像，而不仅仅是文本。

为了展示这一点，我们构建了一个示例训练脚本，让 Gemma 4 在 CARLA 模拟器中学习驾驶。模型通过摄像头观察道路，决定该怎么做，并从结果中学习。训练之后，它能稳定地变道以避让行人。同样的方法适用于任何需要模型观察并行动的任务：机器人技术、网页浏览或其他交互式环境。

开始使用：

# pip install git+https://github.com/huggingface/trl.git

python examples/grpo_carla/carla_vlm_gemma.py \
    --env-urls https://sergiopaniego-carla-env.hf.space \
            https://sergiopaniego-carla-env-2.hf.space \
    --model google/gemma-4-E2B-it

在此处找到示例 here。

在 Vertex AI 上使用 TRL 进行微调

此外，我们还准备了一个示例，展示如何在 Vertex AI 上使用 TRL 通过 SFT 微调 Gemma 4，以展示如何扩展函数调用能力，同时冻结视觉和音频塔。示例包括如何构建带有最新 Transformers、TRL 等并支持 CUDA 的自定义 Docker 容器并部署到 Google Cloud，以及如何通过 Vertex AI Serverless Training Jobs 运行它。

# pip install google-cloud-aiplatform --upgrade --quiet
from google.cloud import aiplatform

aiplatform.init(
    project="<PROJECT_ID>",
    location="<LOCATION>",
    staging_bucket="<BUCKET_URI>",
)

job = aiplatform.CustomContainerTrainingJob(
    display_name="gemma-4-fine-tuning",
    container_uri="<CONTAINER_URI>",
    command=["python", "/gcs/gemma-4-fine-tuning/train.py"],
)

job = job.submit(
    replica_count=1,
    machine_type="a3-highgpu-1g",
    accelerator_type="NVIDIA_H100_80GB",
    accelerator_count=1,
    base_output_dir="<BUCKET_URI>/output-dir",
    environment_variables={
        "MODEL_ID": "google/gemma-4-E2B-it",
        "HF_TOKEN": <HF_TOKEN>,
    },
    boot_disk_size_gb=500,
)

你可以在“HF Mirror on Google Cloud”文档中找到完整示例：https://hf.co/docs/google-cloud/examples/vertex-ai-notebooks-fine-tune-gemma-4。

使用 Unsloth Studio 进行微调

如果你想在 UI 中微调并运行 Gemma 4 模型，可以试试 Unsloth Studio。它可以在本地或 Google Colab 上运行。首先，安装并启动应用：

# install unsloth studio on MacOS, Linux, WSL
curl -fsSL https://unsloth.ai/install.sh | sh

# install unsloth studio on Windows
irm https://unsloth.ai/install.ps1 | iex

# launch unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Search for for a Gemma 4 model like google/gemma-4-E2B-it

然后从 hub 中选择任意 Gemma 4 模型。

试试 Gemma 4

我们已推出演示，供你试用不同的 Gemma 4 模型。我们提供了基于 transformers 实现的 E4B、12B Unified、26B/A4B MoE 和 31B dense 模型演示。还有一个使用 transformers.js 的 WebGPU 演示 🚀

基准测试结果

Gemma 4 模型在从推理和编码到视觉和长上下文任务的各种基准测试中展现出卓越的性能。下图展示了模型性能与规模的对比，Gemma 4 模型构成了令人印象深刻的帕累托前沿：

来源：Google（blog.google）

以下是指令微调模型的详细基准测试结果：

^*不包括中文。

致谢

这项工作离不开 Google 在模型产物上的大量贡献，也离不开其为将模型贡献给 transformers 以实现标准化所付出的巨大努力。开源生态系统如今更加完整，拥有了一个能力强大、许可自由的开源模型。 Gemma 4 的 transformers 集成由 Cyril、Raushan、Eustache、Arthur、Lysandre 负责。我们感谢 Joshua 完成 transformers.js 集成和演示，Eric 完成 mistral.rs 集成，Son 完成 Llama.cpp，Prince 完成 MLX，Quentin、Albert 和 Kashif 完成 TRL，Adarsh 完成 SGLang transformers 后端，以及 Toshihiro 构建了多个演示。