GSP1296

概览

Gemini 是 Google DeepMind 开发的一系列生成式 AI 模型，专为多模态应用场景而设计。通过 Gemini API，您可以使用 Gemini Pro、Flash 和 Flash Lite 等多种 Gemini 模型。

在本实验中，您将学习如何使用 Vertex AI 监督式微调功能来对 Gemini Flash 生成模型进行微调。利用监督式微调功能，您可以使用自己的训练数据进一步优化基础模型的能力，使其更贴合您的特定任务需求。

监督式微调功能使用有标签样本（在本例中是图片）来对基础 Gemini 模型进行调优。每个样本都清晰展示了您希望文本模型在推理期间输出的结果。

开始调优前，请确保您的训练数据质量优异、标签规范且与目标任务直接相关。这一点至关重要，因为低质量数据不仅会对微调模型的性能产生不利影响，还可能引入偏差。

开始本实验时，实验环境中将包含下图所示的资源。

在实验结束时，您应该已使用该架构执行了多项任务。

下表详细说明了与该实验架构相关的每项任务。

任务编号	详细信息
1.	在 Vertex AI Workbench 中打开笔记本并选择内核。
2.	安装软件包，并为您的项目配置笔记本： 您将使用 Google Gen AI SDK，通过 Developer API 和 Vertex AI 与 Gemini 进行交互。要完成此任务，您需要安装 Python 库，并在整个实验过程中引用这些 Python 库。您还需要配置笔记本，使其能够访问您项目中的资源，例如实验启动时提供给您的 Cloud Storage 存储桶。
3.	准备数据集： 在此任务中，您将下载包含图片的数据集文件，并准备好在笔记本中使用这些文件。
4.	对比基准模型性能与标准答案： 您将把基准 Gemini Flash 模型与数据集中单张图片对应的标准答案进行对比。
5.	使用验证数据集评估基准模型： 您将结合 val.jsonl 与您设计的提示，通过基准 Gemini Flash 模型生成结果，进而对该模型的表现进行评估。注意：为评估调优后模型的性能，您需要使用 rougeL_precision、rougeL_recall 和 rougeL_fmeasure 等多项评估指标。
6.	创建微调模型： 您将使用训练数据 train.jsonl 以及基准 Gemini Flash 模型，为特定的图片标注应用场景创建微调模型。
7.	评估微调模型： 您将使用评估指标，参照验证数据集 val.jsonl 评估微调模型的表现，并将其性能与基准 Gemini Flash 模型的性能进行比较。评估将使用 rougeL 等评估指标进行。

前提条件

在开始本实验之前，您应该先熟悉：

• Python 编程基础知识。
• API 的一般性概念。
• 在 Vertex AI Workbench 上的 Jupyter 笔记本中运行 Python 代码

目标

在本实验中，您将执行以下操作：

• 阐述监督式微调的运用流程。
• 使用自有训练数据集对基准 Gemini Flash 模型进行微调。
• 评估微调模型的图片标注结果。
• 对比微调模型、基准模型的结果及标准答案。

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。为此，我们会向您提供新的临时凭据，您可以在该实验的规定时间内通过此凭据登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式（推荐）或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号，则可能会向该账号收取费用。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个对话框供您选择支付方式。左侧是“实验详细信息”窗格，其中包含以下各项：

   • “打开 Google Cloud 控制台”按钮
   • 剩余时间
   • 进行该实验时必须使用的临时凭据
   • 帮助您逐步完成本实验所需的其他信息（如果需要）

2. 点击打开 Google Cloud 控制台（如果您使用的是 Chrome 浏览器，请右键点击并选择在无痕式窗口中打开链接）。

   该实验会启动资源并打开另一个标签页，显示“登录”页面。

   提示：将这些标签页安排在不同的窗口中，并排显示。

   注意：如果您看见选择账号对话框，请点击使用其他账号。

3. 如有必要，请复制下方的用户名，然后将其粘贴到登录对话框中。

   {{{user_0.username | "<用户名>"}}}

   您也可以在“实验详细信息”窗格中找到“用户名”。

4. 点击下一步。

5. 复制下面的密码，然后将其粘贴到欢迎对话框中。

   {{{user_0.password | "<密码>"}}}

   您也可以在“实验详细信息”窗格中找到“密码”。

6. 点击下一步。

   重要提示：您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意：在本实验中使用您自己的 Google Cloud 账号可能会产生额外费用。

7. 继续在后续页面中点击以完成相应操作：

   • 接受条款及条件。
   • 由于这是临时账号，请勿添加账号恢复选项或双重验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Google Cloud 控制台。

注意：如需访问 Google Cloud 产品和服务，请点击导航菜单，或在搜索字段中输入服务或产品的名称。

任务 1. 在 Vertex AI Workbench 中打开笔记本并选择内核

任务 1a. 打开笔记本

1. 在 Google Cloud 控制台的导航菜单 () 中依次点击 Vertex AI > Workbench。

2. 找到 实例，然后点击打开 JupyterLab 按钮。

Workbench 实例的 JupyterLab 界面会在新浏览器标签页中打开。

注意：如果您在 JupyterLab 中没有看到笔记本，请按照以下额外步骤重置实例：

1. 关闭 JupyterLab 的浏览器标签页，然后返回 Workbench 首页。

2. 选中实例名称旁边的复选框，然后点击重置。

3. 打开 JupyterLab 按钮重新启用后，请等待一分钟，然后点击打开 JupyterLab。

任务 1b. 选择内核

1. 打开 文件。

2. 在“选择内核”对话框中，从可用内核列表中选择 Python 3。

任务 2. 安装软件包并配置笔记本。

在此任务中，您将安装所需的 Python 软件包、重启内核运行时、配置笔记本以便使用您的项目和区域，以及导入内容库。

1. 完成笔记本的任务 2“安装软件包并配置笔记本”部分中的步骤。

注意：请先点击文件 -> 保存笔记本来保存笔记本，然后再点击每个任务的检查我的进度按钮。

点击检查我的进度以验证是否完成了以下目标： 安装软件包并配置笔记本。

任务 3. 准备数据集

在此任务中，您将下载包含图片的数据集文件，并准备好在笔记本中使用这些文件。

1. 完成笔记本的准备数据集部分。

点击检查我的进度以验证是否完成了以下目标： 准备数据集。

任务 4. 将基准模型性能与标准答案进行对比

在此任务中，您将把基准 Gemini Flash 模型与数据集中单张图片对应的标准答案进行对比。

1. 运行笔记本的将基准模型性能与标准答案进行对比部分。

点击检查我的进度以验证是否完成了以下目标：将基准模型性能与标准答案进行对比。

任务 5. 使用验证数据集评估基准模型

在此任务中，您将结合 val.jsonl 与您设计的提示，通过基准 Gemini Flash 模型生成结果，进而对该模型的表现进行评估。

1. 运行笔记本的使用验证数据集评估基准模型部分。

点击检查我的进度以验证是否完成了以下目标：使用验证数据集评估基准模型。

任务 6. 创建微调模型

在此任务中，您将使用训练数据 train.jsonl 以及基准 Gemini Flash 模型，为特定的图片标注应用场景创建微调模型。

1. 运行笔记本的创建微调模型部分。

注意：调优作业需要几分钟才能完成。请等到调优作业完成后，再继续运行笔记本的后续单元。 重要提示：您需要点击查看调优作业按钮查看调优作业详情，并点击查看实验查看实验详情，等待作业状态变为“成功”后，再点击“检查我的进度”以获取此任务的积分。

点击检查我的进度以验证是否完成了以下目标：创建微调模型。

任务 7. 评估微调模型

在此任务中，您将使用评估指标，参照验证数据集 val.jsonl 评估微调模型的表现，并将其性能与基准 Gemini Flash 模型的性能进行比较。评估将使用 rougeL 等评估指标进行。

1. 运行笔记本的评估微调模型部分。

重要提示：如笔记本中所述，如果您在运行此任务中的第一个单元时收到错误消息“Endpoint projects/... misconfigured, traffic split not set”，请稍作等待。前一个单元运行完毕后，Vertex AI 大约需要 10 分钟才能更新已部署端点的流量分配比例设置。并且，只有当此比例达到 100% 时，该端点才能用于在线预测。等待期间，您可以查看 Google 文档，了解如何定义评估指标。此链接将帮助您了解 rougeL 是什么以及它为何适用于此应用场景。

点击检查我的进度以验证是否完成了以下目标：评估微调模型。

恭喜！

在本实验中，您学习了如何使用 Vertex AI 的监督式微调功能，通过自定义数据来对 Gemini 模型进行微调，从而提升其图片标注能力。

后续步骤/了解详情

请参阅以下资源，详细了解 Gemini：

• Gemini 概览
• 有关 Vertex AI 上生成式 AI 的文档
• YouTube 上有关生成式 AI 的视频
• 探索 Vertex AI 实战宝典，了解精心挑选的生成式 AI 笔记，还可以在笔记本库中搜索内容。
• 探索 Google Cloud 生成式 AI 仓库中的其他笔记本和示例。

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间：2025 年 10 月 6 日

上次测试实验的时间：2025 年 10 月 29 日

版权所有 2026 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。