GENAI110

概览

智能体开发套件 (ADK) 是一个可扩展的模块化开源框架，用于构建 AI 智能体。虽然 ADK 自带内置评估模块，但本实验将演示如何使用 Agent Platform 生成式 AI 评估服务评估基于 ADK 的智能体的性能。这种方法提供了一个更全面、可解释且质量可控的工具包，可通过自定义指标和贴合人类认知逻辑的基准来评估生成模型或应用。

在本实验中，您将按照分步指南使用 Agent Platform Gen AI 评估服务来评估 ADK 智能体。

本实验基于 GoogleCloudPlatform/generative-ai 代码库中的这个笔记本。

目标

在本实验中，您将学习如何执行以下任务：

• 构建并运行本地 ADK 智能体。
• 创建智能体评估数据集并设置其格式。
• 使用以下方法评估智能体的性能：
  • 单一工具使用情况评估。
  • 基于轨迹的评估。
  • 回答质量评估。
• 使用 Agent Platform 的 Evaluation Service 生成可解释的指标和基准测试结果。

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。为此，我们会向您提供新的临时凭证，您可以在该实验的规定时间内通过此凭证登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的网络浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式（推荐）或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 为完成实验留出时间。请注意，实验开始后无法暂停。

注意：请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号，则可能会向该账号收取费用。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个对话框供您选择支付方式。左侧是“实验详细信息”窗格，其中包含以下各项：

   • “打开 Google Cloud 控制台”按钮
   • 剩余时间
   • 进行该实验时必须使用的临时凭证
   • 完成实验所需的其他信息（如有）

2. 点击打开 Google Cloud 控制台（如果您使用的是 Chrome 浏览器，请右键点击并选择在无痕式窗口中打开链接）。

   该实验会启动资源并打开另一个标签页，显示“登录”页面。

   提示：将这些标签页安排在不同的窗口中，并排显示。

   注意：如果您看见选择账号对话框，请点击使用其他账号。

3. 如有必要，请复制下方的用户名，然后将其粘贴到登录对话框中。

   {{{user_0.username | "<用户名>"}}}

   您也可以在“实验详细信息”窗格中找到“用户名”。

4. 点击下一步。

5. 复制下面的密码，然后将其粘贴到欢迎对话框中。

   {{{user_0.password | "<密码>"}}}

   您也可以在“实验详细信息”窗格中找到“密码”。

6. 点击下一步。

   重要提示：您必须使用实验提供的凭证。请勿使用您的 Google Cloud 账号凭证。 注意：在本实验中使用您自己的 Google Cloud 账号可能会产生额外费用。

7. 依次点击进入后续页面：

   • 接受条款及条件。
   • 由于这是临时账号，请勿添加账号恢复选项或双重身份验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Google Cloud 控制台。

注意：如需访问 Google Cloud 产品和服务，请点击导航菜单，或在搜索字段中输入服务或产品的名称。

任务 1. 在 Agent Platform Workbench 中准备相应环境

1. 在 Google Cloud 控制台中，点击导航菜单 ()，然后依次选择 Agent Platform > Notebooks > Workbench。

2. 点击启用 API，然后点击启用以确认。

3. 在实例下，点击 vertex-ai-jupyterlab 实例旁边的打开 JupyterLab。JupyterLab 将在新标签页中启动。

4. 在 JupyterLab 启动器页面上，点击终端，打开 Shell。

5. 使用以下命令下载本实验的笔记本和帮助程序文件：

   gcloud storage cp gs://{{{project_0.project_id| YOUR_GCP_PROJECT_ID}}}-bucket/* .

6. 打开 文件。

7. 在 Select Kernel（选择内核）对话框中，从可用内核列表中选择 Python 3 (Local)。

8. 运行标题 Install Agent Development Kit (ADK) and other required packages（安装智能体开发套件 [ADK] 和其他必需软件包）下的第一个代码单元，以安装依赖项。若要运行某个单元，请点击顶部的运行按钮，或选中该单元并按下键盘上的 SHIFT 和 ENTER 键。

9. 若要在此 Jupyter 运行时中使用新安装的软件包，必须重启内核。等待单元旁边的 [*] 变为 [1]，以确认该单元执行完成，然后在 JupyterLab 菜单中依次选择“Kernel”（内核）>“Restart Kernel and Clear Outputs of All Cells…”（重启内核并清除所有单元输出…）。

10. 系统提示您确认时，选择 Restart（重启）。

11. 内核重启后，运行 Set Google Cloud project information（设置 Google Cloud 项目信息）下的下一个单元，以设置 Google Cloud 项目信息，并初始化 Agent Platform。

12. 运行笔记本的 Import libraries（导入库）部分中的下一个单元。

点击检查我的进度，验证已完成以下目标： 设置 Google Cloud 项目信息

任务 2. 阅读并运行笔记本的其余部分

阅读并运行笔记本的各个单元。在笔记本的各个部分中，您将：

• 设置工具：定义 get_product_details() 和 get_product_price() 函数，供智能体稍后作为工具调用。
• 设置模型：定义智能体将使用的 Gemini 模型。
• 组装智能体：定义一个用于构建智能体的函数，为其配备您在上方定义的工具，并利用该函数针对查询生成回答。
• 测试智能体：查看示例回答，包括 Markdown 格式的输出（此类输出会注明具体调用了哪些函数）。

点击检查我的进度，验证已完成以下目标： 构建 ADK 智能体

• 了解如何使用 Agent Platform 生成式 AI 评估服务评估 ADK 智能体。
• 准备智能体评估数据集：该数据集中应包含一系列提示及其对应的预期工具调用情况（即参考轨迹）。
• 运行单一工具使用情况评估：判断智能体是否能针对特定任务选择所需的单个工具。
• 运行轨迹评估：评估智能体是否不仅能选对工具，还能按照预期顺序使用工具。
• 了解如何直观呈现评估结果。
• 了解如何定义自定义指标并据此进行评估。

点击检查我的进度，验证已完成以下目标： 使用 Agent Platform 生成式 AI 评估服务评估 ADK 智能体

• 额外的自带数据集 (BYOD) 部分将向您展示如何评估在其他地方生成的智能体回答（只需提供包含相应回答的评估数据集，即可对这些回答进行评估）。

点击检查我的进度，验证已完成以下目标： 使用 GenAI 对 LangGraph 智能体执行 BYOD 评估

点击检查我的进度，验证已完成以下目标： 清理实验

恭喜！

您已成功使用 Agent Platform Generative AI 评估服务完成了 ADK 智能体的评估。您在本地构建并执行了智能体，准备了自定义评估数据集，并使用内置评估工具评估了智能体的工具使用情况、操作轨迹和最终回答质量。

您通过以下组件完成了智能体评估：

• 用于构建和运行智能体的 ADK（智能体开发套件）
• 包含预期工具使用情况和参考标准的结构化评估数据集
• Agent Platform Gen AI 评估服务
• 工具使用情况评估指标
• 用于确保每步准确性的轨迹匹配
• 自定义指标评估

上次更新手册的时间：2026 年 8 月 28 日

上次测试实验的时间：2026 年 8 月 28 日

版权所有 2026 Google LLC。保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名称和产品名称可能是其各自相关公司的商标。