GSP524

概览

在实验室挑战赛中，我们会为您提供一个场景和一系列任务。您将使用从课程的各个实验中学到的技能自行确定如何完成这些任务，而不是按照分步说明进行操作。自动评分系统（显示在本页面中）会提供有关您是否已正确完成任务的反馈。

在您参加实验室挑战赛期间，我们不会再教授新的 Google Cloud 概念知识。您需要拓展所学的技能，例如通过更改默认值和查看并研究错误消息来更正您自己所犯的错误。

要想获得满分，您必须在该时间段内成功完成所有任务！

建议已报名参加使用 Gemini 分析和推理多模态数据课程的学员参加此实验室挑战赛。准备好接受挑战了吗？

前提条件

在开始本实验之前，您应该先熟悉：

• Python 编程基础知识。
• API 的一般性概念。
• 在 Vertex AI Workbench 上的 Jupyter 笔记本中运行 Python 代码

测试的主题

在此挑战赛中，您将使用 模型来完成以下任务：

• 构建和执行复杂的多模态提示，以分析文本、图片、音频和视频数据。
• 从多模态数据中提取结构化信息（例如情感得分、关键主题、对象检测、音频特征以及动作识别）。
• 整合多种数据模态的分析洞见，得出有意义的结论并提供切实可行的建议。
• 将模型输出整理为结构化的 Markdown 报告，以便有效地传达发现结果。

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。为此，我们会向您提供新的临时凭据，您可以在该实验的规定时间内通过此凭据登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式（推荐）或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号，则可能会向该账号收取费用。

挑战场景

Cymbal Direct：针对新品发布的社交媒体互动分析

Cymbal Direct 刚刚发布了全新的运动服装系列，专为强化各类活动中的运动性能而设计。为了解公众看法和潜在市场影响，Cymbal Direct 需要分析多个平台上的社交媒体互动情况，其中涉及以下内容：

• 文本：分析顾客评价和社交媒体帖子，识别情感和关键主题。
• 图片：分析社交影响力人物和顾客发布的服装上身图片，发掘风格趋势和搭配模式。
• 音频：分析最近一期播客节目中的一个音频片段，内容为关于 Cymbal Direct 新品发布的访谈。

本挑战赛的目标是向 Cymbal Direct 提供富有实用价值的分析洞见，使该公司能够优化营销策略、改进产品并加强产品定位。准备好接受挑战了吗？

任务 1. 在 Vertex AI Workbench 中打开笔记本

1. 在 Google Cloud 控制台的导航菜单 () 中依次点击 Vertex AI > Workbench。

2. 找到 实例，然后点击打开 JupyterLab 按钮。

Workbench 实例的 JupyterLab 界面会在新浏览器标签页中打开。

注意：如果您在 JupyterLab 中没有看到笔记本，请按照以下额外步骤重置实例：

1. 关闭 JupyterLab 的浏览器标签页，然后返回 Workbench 首页。

2. 选中实例名称旁边的复选框，然后点击重置。

3. 打开 JupyterLab 按钮重新启用后，请等待一分钟，然后点击打开 JupyterLab。

3. 点击“”文件。

4. 在选择内核对话框中，从可用内核列表中选择 Python 3。

5. 在笔记本中完成任务 1，以导入库并安装 Gen AI SDK。

完成任务 1 并设置好环境后，就可以进入后面的部分了。

对于接下来的任务，您需要先完成每个单元中缺失的内容，才能进入下一部分。缺失的内容以 TODO 注明且提供了相关补全说明。

点击检查我的进度，验证已完成以下目标： 导入必要的库并设置 Gen AI SDK。

任务 2. 分析和推理文本数据

在此任务中，您将使用 模型收集有关 Cymbal Direct 新款运动服装的信息，分析以文本格式提供的顾客评价和社交媒体帖子。然后，您需要将模型的发现结果保存到一个 Markdown 文件中。在最后一项任务中，您需要使用该文件生成一份综合性报告。

注意：您要完成的任务在单元中以 #TODO 注明。请仔细阅读每个单元，确保正确补全代码！您可以查看进度，确保已正确补全各个单元。

在笔记本中，使用任务 2. 分析和推理顾客反馈（文本）部分中的单元来完成此任务。

使用 进行初步分析

在笔记本的使用 进行初步分析部分中：

1. 在“3. 构建用于 Gemini 的提示”下方的笔记本单元中，补全 TODO 部分的内容，以构建提示，指示 Gemini 模型对顾客评价和社交媒体帖子进行分析。

2. 在“4. 将提示发送给 Gemini”下方的笔记本单元中，补全 TODO 部分的内容，以将提示和文本数据发送给 Gemini 模型。

点击检查我的进度，验证已完成以下目标： 使用 进行初步分析。

使用 进行深入分析：推理顾客情感

在本部分，您将使用 Gemini Thinking 模型来深入分析顾客情感，并确定需要改进的关键方面。我们尤其想要了解正面评价和负面评价背后的原因，挖掘那些不易察觉但反复出现的主题。

1. 在笔记本的使用 进行深入分析：推理顾客情感部分，在“1. 构建用于 Gemini 的提示”下方的笔记本单元中，补全 TODO 部分的内容，以构建提示，指示 Gemini 模型更深入地分析顾客评价和社交媒体帖子。

2. 在“2. 使用 Gemini Thinking 模型进行更深入的推理”下方的笔记本单元中，补全 TODO 部分的内容，以将提示和文本数据发送给 Gemini 模型。

点击检查我的进度，验证已完成以下目标： 使用 进行深入分析：推理顾客情感。

任务 3. 分析和推理视觉内容

在此任务中，您将使用 模型来分析与 Cymbal Direct 全新运动服装系列相关的图片。目标是根据图片识别风格趋势和顾客行为。您需要将模型的发现结果保存到一个 Markdown 文件中。在最后一项任务中，您需要使用该文件生成一份综合性报告。

注意：您要完成的任务在单元中以 #TODO 注明。请仔细阅读每个单元，确保正确补全代码！您可以在此页面查看进度，确保已正确补全各个单元。

在笔记本中，使用任务 3. 分析和推理视觉内容：风格趋势和顾客行为部分中的单元来完成此任务。

使用 进行初步分析

1. 在笔记本的使用 进行初步分析部分，在“3. 构建用于 Gemini 的提示”下方的笔记本单元中，补全 TODO 部分的内容，以构建提示，指示 Gemini 模型分析与 Cymbal Direct 全新运动服装系列相关的图片。

2. 在“4. 将提示和图片发送给 Gemini”下方的笔记本单元中，补全 TODO 部分的内容，以将提示和图片发送给 Gemini 模型。

点击检查我的进度，验证已完成以下目标： 使用 进行初步分析。

使用 推理图片趋势

接下来，您将使用 Gemini Thinking 模型对视觉元素进行更深入的分析，以推理情境、目标受众和潜在营销影响。

1. 在笔记本的使用 推理图片趋势部分，在“1. 构建用于 Gemini 的提示”下方的笔记本单元中，补全 TODO 部分的内容，以构建提示，指示 Gemini 模型更深入地分析图片。

2. 在“2. 使用 Gemini Thinking 模型进行更深入的推理”下方的笔记本单元中，补全 TODO 部分的内容，以将提示和图片发送给 Gemini 模型。

点击检查我的进度，验证已完成以下目标： 使用 推理图片趋势。

任务 4. 分析和推理音频内容

在此任务中，您将使用 模型来分析一期讨论 Cymbal Direct 新服装系列的播客节目。您将从中提取信息/情感，来为该公司生成分析洞见。然后，您需要将模型的发现结果保存到一个 Markdown 文件中。在最后一项任务中，您需要使用该文件生成一份综合性报告。

此音频片段来自于一期播客节目，内容为对一位 Cymbal Direct 代表的访谈，重点讨论了新推出的运动服装系列。谈话涵盖了服装的各个方面，包括设计、功能、目标受众和营销策略。

注意：您要完成的任务在单元中以 #TODO 注明。请仔细阅读每个单元，确保正确补全代码！您可以查看进度，确保已正确补全各个单元。

在笔记本中，使用任务 4. 分析和推理音频内容：顾客认知部分中的单元来完成此任务。

使用 进行初步分析

1. 在笔记本的使用 进行初步分析部分，在“1. 构建用于 Gemini 的提示”下方的笔记本单元中，补全 TODO 部分的内容，以构建提示，指示 Gemini 模型分析与 Cymbal Direct 全新运动服装系列相关的谈话录音。

2. 在“2. 将提示和音频发送给 Gemini”下方的笔记本单元中，补全 TODO 部分的内容，以将提示和音频数据发送给 Gemini 模型。

点击检查我的进度，验证已完成以下目标： 使用 进行初步分析。

使用 推理音频分析洞见

在本部分，您将使用 Gemini Thinking 模型来深入分析访谈内容、推理客户满意度、推测影响因素，从而生成以数据为依据的建议。

1. 在笔记本的使用 推理音频分析洞见部分，在“1. 构建用于 Gemini 的提示”下方的笔记本单元中，补全 TODO 部分的内容，以构建提示，指示 Gemini 模型更深入地分析录音。

2. 在“2. 使用 Gemini Thinking 模型进行更深入的推理”下方的笔记本单元中，补全 TODO 部分的内容，以将提示和音频数据发送给 Gemini 模型。

点击检查我的进度，验证已完成以下目标： 使用 推理音频分析洞见。

任务 5. 整合多模态分析洞见

在最后一项任务中，您将整合之前在分析文本、图片和音频数据时获得的分析洞见。您将使用 模型生成一份综合性报告，其中汇总来自各种模态的发现结果，使 Cymbal Direct 能够全面了解与全新运动服装系列相关的顾客情感、风格偏好和关键趋势。

然后，您需要将模型生成的最终报告保存为一个 Markdown 文件，并将该文件上传到 Cloud Storage，供 Cymbal Direct 查看和评估。这份综合性报告将成为该公司的宝贵资源，让他们能够基于对顾客认知和市场趋势的深入了解，做出明智的决策并优化相关策略。

注意：您要完成的任务在单元中以 #TODO 注明。请仔细阅读每个单元，确保正确补全代码！您可以在此页面查看进度，确保已正确补全各个单元。

1. 在笔记本的任务 5. 整合多模态分析洞见：生成综合性报告部分，在“3. 构建用于 Gemini 的提示”下方的笔记本单元中，补全 TODO 部分的内容，以构建提示，指示 Gemini 模型结合所有分析结果生成一份综合性报告。

2. 在“4. 将提示发送给 Gemini”下方的笔记本单元中，补全 TODO 部分的内容，以将提示发送给 Gemini 模型。

点击检查我的进度，验证已完成以下目标： 整合多模态分析洞见：生成综合性报告。

恭喜！

恭喜！在本实验中，您成功利用了 模型来分析多模态数据（包括文本、图片和音频），从而获得了关于 Cymbal Direct 全新运动服装系列的宝贵分析洞见。您已证明自己能够熟练地构建有效提示、利用推理和思考预算功能，以及生成包含实用性建议的综合性报告。

后续步骤/了解详情

请参阅以下资源，详细了解 Gemini：

• Gemini 概览
• 有关 Vertex AI 上生成式 AI 的文档
• YouTube 上有关生成式 AI 的视频
• 探索 Vertex AI 实战宝典，了解精心挑选的生成式 AI 笔记，还可以在笔记本库中搜索内容。
• 探索 Google Cloud 生成式 AI 仓库中的其他笔记本和示例。

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间：2025 年 10 月 27 日

上次测试实验的时间：2025 年 10 月 27 日

版权所有 2026 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。