GSP1154

概览

Vertex AI 是一个全面的机器学习开发平台，可提供预测功能和生成式 AI 功能。利用该平台，您可以训练、评估和部署用于进行预测的预测性机器学习模型。此外，您可以利用该平台浏览生成式 AI 模型并对其进行调参，还可以部署这些模型来生成内容。

借助 Vertex AI Studio，您可以快速测试和自定义生成式 AI 模型，以便在您的应用中利用其功能。它提供了各种工具和资源，包括界面和代码示例。这样，即使您没有机器学习的相关背景，也能够轻松上手使用生成式 AI。

本实验将引导您完成 Vertex AI Studio 的相关操作，让您能够通过该平台释放先进生成式 AI 模型的潜力。您将直接在 Google Cloud 控制台中探索 Gemini，使用它来分析图片、设计提示和探索多模态功能。无需 API 或 Python SDK，全部功能都可以通过直观的界面使用。

目标

在本实验中，您将学习如何完成以下操作：

• 使用多模态 Gemini 分析图片。
• 探索多模态功能。
• 设计包含示例的提示。
• 设计包含上下文的提示。

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。为此，我们会向您提供新的临时凭据，您可以在该实验的规定时间内通过此凭据登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式（推荐）或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号，则可能会向该账号收取费用。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个对话框供您选择支付方式。左侧是“实验详细信息”窗格，其中包含以下各项：

   • “打开 Google Cloud 控制台”按钮
   • 剩余时间
   • 进行该实验时必须使用的临时凭据
   • 帮助您逐步完成本实验所需的其他信息（如果需要）

2. 点击打开 Google Cloud 控制台（如果您使用的是 Chrome 浏览器，请右键点击并选择在无痕式窗口中打开链接）。

   该实验会启动资源并打开另一个标签页，显示“登录”页面。

   提示：将这些标签页安排在不同的窗口中，并排显示。

   注意：如果您看见选择账号对话框，请点击使用其他账号。

3. 如有必要，请复制下方的用户名，然后将其粘贴到登录对话框中。

   {{{user_0.username | "<用户名>"}}}

   您也可以在“实验详细信息”窗格中找到“用户名”。

4. 点击下一步。

5. 复制下面的密码，然后将其粘贴到欢迎对话框中。

   {{{user_0.password | "<密码>"}}}

   您也可以在“实验详细信息”窗格中找到“密码”。

6. 点击下一步。

   重要提示：您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意：在本实验中使用您自己的 Google Cloud 账号可能会产生额外费用。

7. 继续在后续页面中点击以完成相应操作：

   • 接受条款及条件。
   • 由于这是临时账号，请勿添加账号恢复选项或双重验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Google Cloud 控制台。

注意：如需访问 Google Cloud 产品和服务，请点击导航菜单，或在搜索字段中输入服务或产品的名称。

任务 1. 使用 Gemini 分析图片

在本部分，您将使用 Gemini 分析图片并从中提取信息。您可以设计用于完成分类、提取和生成等各种任务的提示。

1. 在 Google Cloud 控制台的导航菜单 () 中，依次选择 Vertex AI > Vertex AI Studio > 创建提示。

该界面包含三个主要部分：

• 系统指令（位于顶部）：模型在处理提示之前所处理的一组指令。如果设置了系统指令，则该指令会应用于整个请求。当提示中包含系统指令时，该指令适用于用户与模型间的多轮交互。我们建议您使用系统指令来告知模型您希望其如何运作以及如何回复提示。
• 配置（位于右侧）：您可以在此部分中选择模型（包括第三方模型）、配置参数、使用工具（如接地）以及设置高级选项。
• 提示（位于底部）：您可以在此处创建利用多模态功能的提示。

2. 点击左上角的未命名的提示，将提示重命名为 Image Analysis。

3. 在右侧的配置部分，确保选择了“”模型。如有需要，您可以点击切换模型来更改模型，或者浏览其他可用的模型。

注意：模型名称和版本可能会随着新模型的发布而改变。

4. 在右侧的配置部分，展开高级选项，对于区域，选择“”。

5. 下载示例图片。右键点击下方的时刻表图片，然后将其保存到您的桌面。

6. 在提示部分的右下角，点击插入媒体 () 按钮。

7. 在选择来源菜单中，点击上传，然后选择您下载的时刻表图片。媒体可以是图片、视频、文本或音频形式的文件。

8. 图片将显示在提示部分内。复制以下文本并将其粘贴到图片下方，然后点击“提示”部分右下角的提交箭头按钮，或按 Enter 键。

Title the image.

或者可以提出更具体的要求：

Title the image in 5 words.

名称是否符合您的预期？尝试修改提示，看看是否会得到不同的结果。

9. 接下来，您将让 Gemini 详细描述图片。将之前的提示替换为以下内容，然后点击提交箭头按钮。

Describe the image in detail.

10. 在配置部分，展开高级选项，然后将滑块从左 (0) 往右 (2) 移动来调整温度。重新提交提示，观察结果与之前相比有无变化。

注意：温度可以控制选择 token 的随机性。较低的温度适合希望获得真实或正确回答的提示，而较高的温度可能会引发更加多样化、意想不到或可能存在偏差的结果。如果温度为 0，系统会始终选择概率最高的 token。

11. 从图片中提取文字。将之前的提示替换为以下内容：

Read the text in the image.

此外，如果要将输出的格式设置为列表，请将之前的提示替换为以下内容：

Parse the time and city in this image into a list with two columns: time and city.

轮到您了 - 来试试一些不同的提示吧！这些结果与之前有何不同？

12. 分析图片中的信息。将之前的提示替换为以下内容：

Calculate the percentage of the flights to different continents.

结果是否符合您的预期？强烈建议您针对各种任务尝试不同的提示。还建议您尝试不同的温度设置，以观察结果的变化。

13. 完成提示设计后，点击工具栏右上角的保存以保存提示。对于区域，从下拉菜单中选择“”，然后点击保存进行确认。

14. 如需查找保存的提示，请通过左侧导航菜单前往提示管理。

注意：选择保存后，请稍等几秒钟以确保系统正确保存提示信息，然后再继续进行实验。

点击检查我的进度以验证是否完成了以下目标：

提取图片内容。

任务 2：探索多模态功能

除了图片、文本和音频，Gemini 还可以接受视频形式的输入，并生成文本形式的输出。

1. 前往 Cloud Storage > 存储桶，然后复制并保存您的 Cloud Storage 存储桶的名称“”，后续步骤中将会用到该名称。

2. 点击 Google Cloud 控制台顶部的激活 Cloud Shell 。

3. 在 Cloud Shell 终端运行以下命令，将示例视频 gs://spls/gsp154/video/train.mp4（预览）复制到您的 Cloud Storage 存储桶中。将该命令中的 <Your-Cloud-Storage-Bucket> 替换为您之前复制的存储桶的名称。

gcloud storage cp gs://spls/gsp154/video/train.mp4 gs://<Your-Cloud-Storage-Bucket> 注意：请确保将 <Your-Cloud-Storage-Bucket> 替换为您的存储桶名称。

4. 在导航菜单 () 中，依次选择 Vertex AI > Vertex AI Studio > 创建提示。

5. 在右侧的配置部分，确保选择了“”模型。

注意：模型名称和版本可能会随着新模型的发布而改变。

6. 展开高级选项，对于区域，选择“”。

7. 在提示部分的右下角，点击插入媒体 () 按钮。

8. 在选择来源菜单中，选择从 Cloud Storage 导入。

9. 依次点击您的存储桶名称、示例视频 train.mp4 和选择。

10. 插入以下提示并点击提交箭头按钮，以生成有关该视频的信息。

Title the video.

11. 如需详细说明该视频，请插入以下提示：

Describe the video in detail.

如需了解详情，请参阅设计多模态提示。

任务 3. 设计包含示例的提示

在本部分中，您将探索如何在 Vertex AI Studio 中设计文本提示。

提示设计

您可以根据需求向模型输入文本，例如提一个问题。然后，模型会按照提示的结构给出回答。寻找并设计最佳输入文本（提示），以便模型能够给出所需要的回答，这一过程称作提示设计。

提示设计方法

设计提示的方法主要有以下三种：

• 零样本提示 - 该方法是指仅向 LLM 提供用来描述任务的提示，而不提供任何其他数据。例如，如果您想让 LLM 回答一个问题，那么可以给出类似于下面这样的提示：“what is prompt design?”。
• 单样本提示 - 该方法是指在要求 LLM 执行特定任务时，向其提供单个任务示例。例如，如果您想让 LLM 写一首诗词，那么可以向其提供一首示例诗词。
• 少样本提示 - 该方法是指在要求 LLM 执行特定任务时，向其提供少量任务示例。例如，如果您想让 LLM 写一篇新闻报道，可以向其提供几篇新闻报道范本。

参数

“温度”和“token 数量上限”是两个重要的参数，您可以通过调整它们来影响模型的回答。

• 温度可以控制 token 选择的随机性。当您期望得到真实或正确的回答时，温度越低越好。温度为 0 表示始终选择概率最高的 token。较高的温度可能会引发多样化、意想不到或可能存在偏差的结果。“”模型的温度范围为 0 - 2，默认值为 1。
• 输出 token 限制决定了一条提示的最大文本输出量。一个 token 约为 4 个字符。

零样本提示

1. 点击工具栏上的清除图标即可清除提示。

2. 在右侧的配置部分，确保选择了“”模型。

注意：模型名称和版本可能会随着新模型的发布而改变。

3. 展开高级选项，对于区域，选择“”。

4. 将以下内容复制到提示输入字段中：

What is a prompt gallery?

5. 点击提交箭头按钮。

模型的回答中将包含术语“提示库”较为全面的定义。

6. 您还可以尝试以下探索性的做法：使用相同的提示，在配置部分的高级字段中：

• 将输出 token 限制参数调整为 1024，然后点击提交箭头按钮。
• 将温度参数调整为 0.5，然后点击提交箭头按钮。
• 将温度参数调整为 2.0，然后点击提交箭头按钮。

看看随着参数的变化，模型的回答会发生什么样的变化。

单样本提示

您可以更有条理地设计提示。您可以在相应的输入字段中提供上下文和示例。单样本提示这种方法是指在要求模型执行特定任务时，向其提供单个任务示例。在本部分，您将要求模型补全一个句子。

1. 点击工具栏上的清除图标即可清除提示。

2. 在提示部分的右下角，点击添加示例 () 按钮。

这将打开一个新窗口，您可以在其中添加提示示例。

3. 在输入字段中添加以下内容：

The color of the grass is

4. 在输出字段中添加以下内容：

The color of the grass is green

5. 点击添加示例按钮。

6. 添加示例后，您应该会看到两个需要填写的部分：{Input} 和提示。若要提交提示，您需要提供额外的示例输入以及提示。

7. 在 {INPUT} 字段中，输入以下内容：

The color of the sky is

8. 在提示字段中，输入以下内容：

Answer the following questions.

您的提示部分应该如下图所示：

9. 点击提交箭头按钮。模型应该会提供如下所示的回答：

The color of the sky is blue

由于您为模型提供了一个示例来作为输出内容的参考，因此模型在回答时不是补全句子，而是给出了一个完整的句子。如需将回答的形式更改为仅将句子补全，您可以调整在输出字段中提供的示例。

10. 点击提示框中的修改按钮以修改提示：

11. 点击“示例”以修改示例，然后将输出更改为：

Green

现在，您的示例提示应如下所示：

input: The color of the grass is output: Green

12. 点击提交箭头按钮。模型应该会提供如下所示的回答：

Blue

可以看到，模型现在根据您提供的示例补全了句子。您成功影响了该模型回答的方式。

少样本提示

在接下来的练习中，您将使用模型对句子进行情感分析，例如基于少样本提示判断电影评价是正面的还是负面的。

1. 点击工具栏上的清除图标即可清除提示。

2. 在提示部分的右下角，点击添加示例 () 按钮。

3. 添加以下示例：

输入	输出
A well-made and entertaining film	positive
I fell asleep after 10 minutes	negative
The movie was ok	neutral

4. 添加这些示例后，点击添加示例按钮。

5. 添加示例后，您应该会看到两个需要填写的部分：{Input} 和提示。若要提交提示，您需要提供额外的示例输入以及提示。

6. 在 {INPUT} 字段中，输入以下内容：

It was a time well spent!

7. 在提示字段中，输入以下内容：

Perform sentiment analysis on the following text.

8. 点击提交箭头按钮。模型应该会提供如下所示的回答：

positive

现在，模型对输入文本进行了情感分析。对于输入文本“It was a time well spent!”，情感分析结果为“positive”。

9. 完成提示设计后，将该提示命名为 Sentiment Analysis。

10. 点击工具栏右上角的保存来保存提示，然后选择“”区域。

注意：如果您已使用自动保存功能保存提示，请确保提示名称正确无误，且您能够在“提示管理”页面中看到该提示。

点击检查我的进度以验证是否完成了以下目标：

创建包含文本的提示

任务 4. 设计包含上下文的提示

系统指令是初始指令，用于引导模型的行为以及对后续提示的回答，支持对角色、格式、语气和特定任务规则进行自定义。该指令在单次请求的多轮用户与模型间的交互中持续有效，但由于可能存在的数据使用政策，用户应避免在其中包含敏感信息。

这类指令用途广泛，可用于开发聊天机器人、生成结构化输出和提供特定语言的回答等应用场景。然而，它们并不能保证能够完全避免模型出现意外行为。

1. 在 Google Cloud 控制台的导航菜单 () 中，依次选择 Vertex AI > Vertex AI Studio > 创建提示。

2. 在右侧的配置部分，确保选择了“”模型。

注意：模型名称和版本可能会随着新模型的发布而改变。

3. 在右侧的配置部分，展开高级选项，对于区域，选择“”。

在本部分中，您将为模型添加系统指令，然后让模型根据所提供的上下文给出回答。

4. 点击系统指令，然后添加以下上下文：

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

5. 插入以下提示：

My computer is so slow! What should I do?

6. 点击提交箭头按钮。

模型应该会提供以下回答：

Have you tried turning it off and on again?

7. 在系统指令中，点击清除值 ()。

8. 点击系统指令，然后添加以下上下文：

Your name is Roy. You are a support technician of an IT department. You are here to support the users with their queries.

9. 插入以下提示：

My computer is so slow! What should I do?

10. 点击提交箭头按钮。

现在，模型应该能够在回答用户查询时提供更实用的信息。

您可以随意尝试不同的提示和上下文，看看模型会如何进行回答。您还可以为聊天提示添加更多上下文，看看模型如何根据提供的上下文给出回答。

11. 完成提示设计后，将该提示命名为 Support Technician Helper。

点击检查我的进度以验证是否完成了以下目标：

使用聊天提示创建对话

恭喜！

恭喜！在本实验中，您成功利用 Gemini 的功能分析了多媒体内容，包括图片和视频。您展示了自己熟练使用零样本提示、单样本提示和少样本提示方法来回答问题和分析情感的能力。此外，您还有效利用了系统指令来构建基本的 IT 聊天机器人。

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

本手册的最后更新时间：2025 年 4 月 9 日

本实验的最后测试时间：2025 年 4 月 9 日

版权所有 2025 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。