GSP1275

概览

乐谱是世界各地的作曲家和演奏者使用的主要音乐记谱形式。这些页面包含有关歌词、音调、节奏、作曲家、歌词作者、作曲日期等方面的信息。在本实验中，您将学习如何使用 Gemini 从 PDF 格式的乐谱文件中提取结构化元数据。

Gemini

Gemini 是 Google DeepMind 开发的一系列强大的生成式 AI 模型，能够理解和生成各种形式的内容，包括文本、代码、图片、音频和视频。

Vertex AI 中的 Gemini API

Vertex AI 中的 Gemini API 提供了与各 Gemini 模型交互的统一接口。通过 Gemini API，开发者可以轻松将这些强大的 AI 功能集成到他们的应用中。如需了解最新版本的最新详细信息和具体功能，请参阅官方 Gemini 文档。

Gemini 模型

• Gemini Pro：专为复杂的推理任务而设计，包括：
  • 分析和总结大量信息。
  • 复杂的跨模态推理（跨文本、代码、图片等）。
  • 有效解决复杂代码库的问题。
• Gemini Flash：针对速度和效率进行了优化，具有以下特点和功能：
  • 亚秒级响应时间和高吞吐量。
  • 成本低、效率高，适用于各种任务。
  • 增强的多模态功能，包括改进的空间理解、新的输出模态（文本、音频、图片）以及原生工具使用体验（Google 搜索、代码执行和第三方功能）。

前提条件

在开始本实验之前，您应该先熟悉：

• Python 编程基础知识。
• API 的一般性概念。
• 在 Vertex AI Workbench 上的 Jupyter 笔记本中运行 Python 代码

目标

在本实验中，您将学习如何完成以下操作：

• 安装 Vertex AI SDK for Python。
• 使用 Gemini 从 PDF 乐谱文件中提取元数据。

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。为此，我们会向您提供新的临时凭据，您可以在该实验的规定时间内通过此凭据登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式（推荐）或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号，则可能会向该账号收取费用。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个对话框供您选择支付方式。左侧是“实验详细信息”窗格，其中包含以下各项：

   • “打开 Google Cloud 控制台”按钮
   • 剩余时间
   • 进行该实验时必须使用的临时凭据
   • 帮助您逐步完成本实验所需的其他信息（如果需要）

2. 点击打开 Google Cloud 控制台（如果您使用的是 Chrome 浏览器，请右键点击并选择在无痕式窗口中打开链接）。

   该实验会启动资源并打开另一个标签页，显示“登录”页面。

   提示：将这些标签页安排在不同的窗口中，并排显示。

   注意：如果您看见选择账号对话框，请点击使用其他账号。

3. 如有必要，请复制下方的用户名，然后将其粘贴到登录对话框中。

   {{{user_0.username | "<用户名>"}}}

   您也可以在“实验详细信息”窗格中找到“用户名”。

4. 点击下一步。

5. 复制下面的密码，然后将其粘贴到欢迎对话框中。

   {{{user_0.password | "<密码>"}}}

   您也可以在“实验详细信息”窗格中找到“密码”。

6. 点击下一步。

   重要提示：您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意：在本实验中使用您自己的 Google Cloud 账号可能会产生额外费用。

7. 继续在后续页面中点击以完成相应操作：

   • 接受条款及条件。
   • 由于这是临时账号，请勿添加账号恢复选项或双重验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Google Cloud 控制台。

注意：如需访问 Google Cloud 产品和服务，请点击导航菜单，或在搜索字段中输入服务或产品的名称。

任务 1. 在 Vertex AI Workbench 中打开笔记本

1. 在 Google Cloud 控制台的导航菜单 () 中依次点击 Vertex AI > Workbench。

2. 找到 实例，然后点击打开 JupyterLab 按钮。

Workbench 实例的 JupyterLab 界面会在新浏览器标签页中打开。

任务 2. 设置笔记本

1. 打开 文件。

2. 在选择内核对话框中，从可用内核列表中选择 Python 3。

3. 运行笔记本的开始使用和导入库部分。

   • 对于项目 ID，请使用 ；对于位置，使用 。

注意：您可以跳过任何标为“仅限 Colab”的笔记本单元。 如有笔记本单元在执行时遇到 429 响应，请等待 1 分钟，然后再次运行该单元以继续操作。

点击检查我的进度以验证是否完成了以下目标： 安装软件包并导入相应的库。

点击检查我的进度以验证是否完成了以下目标： 加载 Gemini 模型。

任务 3. 从 PDF 乐谱文件中提取结构化元数据

在本部分中，您将使用热门古典音乐书籍《17 和 18 世纪的 24 首意大利歌曲和咏叹调》(24 Italian Songs and Arias of the 17th and 18th Centuries)，并提取书中每首歌曲的元数据。

点击检查我的进度以验证是否完成了以下目标： 从 PDF 乐谱文件中提取结构化元数据。

通过音频识别歌曲

现在，我们来尝试更具挑战性的任务，即根据乐谱识别正在演奏的歌曲。我们有一段 Holt Skinner 演奏书中某一首歌曲的音频，您将要求 Gemini 根据 PDF 乐谱文件来识别这首歌曲。

1. 运行笔记本的通过音频识别歌曲部分。

点击检查我的进度以验证是否完成了以下目标： 通过音频识别歌曲。

修改 PDF 文件的元数据

接下来，您将使用 Gemini 的输出内容来修改包含一首歌曲的 PDF 文件的元数据，以便在乐谱应用中更轻松地整理此文件。

您需要稍微调整提示并设置 response_mime_type，以便获取 JSON 格式的回答。

1. 运行笔记本的修改 PDF 文件的元数据部分。

点击检查我的进度以验证是否完成了以下目标： 修改 PDF 文件的元数据。

恭喜！

恭喜！在本实验中，您学习了如何使用 Gemini 从 PDF 格式的乐谱文件中提取结构化元数据。

后续步骤/了解详情

请参阅以下资源，详细了解 Gemini：

• Gemini 概览
• 有关 Vertex AI 上生成式 AI 的文档
• YouTube 上有关生成式 AI 的视频
• 探索 Vertex AI 实战宝典，了解精心挑选的生成式 AI 笔记，还可以在笔记本库中搜索内容。
• 探索 Google Cloud 生成式 AI 仓库中的其他笔记本和示例。

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间：2025 年 3 月 20 日

上次测试实验的时间：2025 年 5 月 20 日

版权所有 2025 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。