GSP103

概览

Managed Service for Apache Spark 是一项快捷易用的全托管式云服务，让您能以更简单、更经济实惠的方式来运行 Apache Spark 和 Apache Hadoop 集群。有了这项服务，过去需要数小时乃至数天才能完成的操作，现在几秒钟或几分钟就可以完成。您可以快速创建 Managed Service for Apache Spark 集群并随时调整其规模，而不必担心不断增长的数据流水线负载会超出集群的处理能力。

本实验向您介绍如何使用 Google Cloud 控制台创建托管式 Apache Spark 集群、在该集群中运行简单的 Apache Spark 作业，以及修改该集群中的工作器数量。

您将执行的任务

在本实验中，您将学习如何执行以下任务：

• 在 Google Cloud 控制台中创建托管式 Apache Spark 集群
• 运行一个简单的 Apache Spark 作业
• 修改集群中的工作器数量

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。为此，我们会向您提供新的临时凭据，您可以在该实验的规定时间内通过此凭据登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式（推荐）或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号，则可能会向该账号收取费用。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个对话框供您选择支付方式。右侧是实验设置和访问权限面板，其中包含以下内容：

   • 打开 Google Cloud 控制台按钮
   • 您在本实验中必须使用的临时凭证（用户名和密码）
   • 帮助您逐步完成该实验所需的其他信息（如果需要）

   请注意，实验计时器位于页面顶部附近，将显示剩余时间。

2. 点击打开 Google Cloud 控制台（如果您使用的是 Chrome 浏览器，请右键点击并选择在无痕式窗口中打开链接）。

   该实验会启动资源并打开另一个标签页，显示“登录”页面。

   提示：可以将这些标签页分别放在不同的窗口中，并排显示。

   注意：如果您看见选择账号对话框，请点击使用其他账号。

3. 如有必要，请复制下方的用户名，然后将其粘贴到登录对话框中。

   {{{user_0.username | "<用户名>"}}}

   您也可以在实验设置和访问权限面板中找到“用户名”。

4. 点击下一步。

5. 复制下面的密码，然后将其粘贴到欢迎对话框中。

   {{{user_0.password | "<密码>"}}}

   您也可以在实验设置和访问权限面板中找到“密码”。

6. 点击下一步。

   重要提示：您必须使用实验提供的凭证。请勿使用您的 Google Cloud 账号凭证。 注意：在本实验中使用您自己的 Google Cloud 账号可能会产生额外费用。

7. 依次点击进入后续页面：

   • 接受条款及条件。
   • 由于这是临时账号，请勿添加账号恢复选项或双重身份验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Google Cloud 控制台。

注意：如需访问 Google Cloud 产品和服务，请点击导航菜单，或在搜索字段中输入服务或产品的名称。

激活 Cloud Shell

Cloud Shell 是一种装有开发者工具的虚拟机。它提供了一个永久性的 5GB 主目录，并且在 Google Cloud 上运行。Cloud Shell 提供可用于访问您的 Google Cloud 资源的命令行工具。

1. 点击 Google Cloud 控制台顶部的激活 Cloud Shell 。

2. 在弹出的窗口中执行以下操作：

   • 继续完成 Cloud Shell 信息窗口中的设置。
   • 授权 Cloud Shell 使用您的凭据进行 Google Cloud API 调用。

如果您连接成功，即表示您已通过身份验证，且项目 ID 会被设为您的 Project_ID 。输出内容中有一行说明了此会话的 Project_ID：

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud 是 Google Cloud 的命令行工具。它已预先安装在 Cloud Shell 上，且支持 Tab 自动补全功能。

3. （可选）您可以通过此命令列出活跃账号名称：

gcloud auth list

4. 点击授权。

输出：

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. （可选）您可以通过此命令列出项目 ID：

gcloud config list project

输出：

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} 注意：如需查看在 Google Cloud 中使用 gcloud 的完整文档，请参阅 gcloud CLI 概览指南。

确认已启用 Cloud Dataproc API

如需在 Google Cloud 中创建托管式 Apache Spark 集群，必须启用 Cloud Dataproc API。如需确认该 API 是否已启用，请执行以下操作：

1. 依次点击导航菜单 > API 和服务 > 库。

2. 在搜索 API 和服务对话框中输入 Cloud Dataproc API。控制台会在搜索结果中显示 Cloud Dataproc API。

3. 点击 Cloud Dataproc API 即可显示该 API 的状态。如果该 API 尚未启用，请点击启用按钮。

启用该 API 后，按照实验说明继续操作。

为 Compute Engine 服务账号授予必要的 IAM 角色

1. 在 Google Cloud 控制台的导航菜单 () 中，选择 IAM 和管理 > IAM。

2. 点击 Compute Engine 默认服务账号（[项目编号]-compute@developer.gserviceaccount.com）对应的修改主账号（铅笔图标）。

3. 点击 + 添加其他角色。

4. 在选择角色部分，搜索 Storage Admin，然后从搜索结果中选择该角色。

5. 点击保存。

任务 1. 创建集群

1. 在 Cloud Shell 中运行以下命令，创建一个名为 example-cluster 的集群，其中包含 e2-standard-2 虚拟机和 30 GB 标准永久性磁盘：

gcloud dataproc clusters create example-cluster \ --region={{{ project_0.default_region }}} \ --zone={{{ project_0.default_zone }}} \ --master-machine-type=e2-standard-2 \ --master-boot-disk-type=pd-standard \ --master-boot-disk-size=30GB \ --worker-machine-type=e2-standard-2 \ --worker-boot-disk-type=pd-standard \ --worker-boot-disk-size=30GB \ --num-workers=2

2. 如果系统提示您确认可用区，或是对 Cloud Shell 进行授权，请输入 Y 或点击授权。

集群创建过程需要几分钟时间。集群创建完毕后，命令输出会显示 Created [… example-cluster]。

点击检查我的进度以验证您已完成的任务。

创建集群

任务 2. 提交作业

要运行示例 Spark 作业，请执行以下操作：

1. 在 Google Cloud 控制台中，依次选择导航菜单 () > 查看所有产品，随后在分析部分下依次点击托管式 Apache Spark > 集群。

您应该会看到新创建的集群 example-cluster，其状态为正在运行。

2. 点击左侧窗格中的作业以切换到托管式 Apache Spark 的作业视图，然后点击提交作业。

3. 设置以下字段以更新作业。其他所有字段均使用默认值：

字段	值
区域
集群	example-cluster
作业类型	Spark
主类或 jar 文件	org.apache.spark.examples.SparkPi
Jar 文件	file:///usr/lib/spark/examples/jars/spark-examples.jar
参数	1000（该参数用于设置任务数量）

4. 点击提交。

注意：作业采用以下方式计算 Pi：Spark 作业使用 Monte Carlo 方法估算 Pi 的值。它会在坐标平面上生成 x,y 点，该坐标平面可对由单位正方形包围的圆建模。输入参数 (1000) 决定要生成的 x,y 对的数量；生成的数量越多，估算的准确率就越高。估算过程利用 Managed Apache Spark 工作器节点执行并行计算。如需了解详情，请参阅使用 Monte Carlo 方法估算 Pi 以及 GitHub 上的 JavaSparkPi.java。

您的作业应该会出现在作业列表中，该列表显示了您的项目的作业以及它们的集群、类型和当前状态。此时作业状态会显示为正在运行，当作业完成后，状态即会显示为已成功。

点击检查我的进度以验证您已完成的任务。

提交作业

任务 3. 查看作业的输出结果

如需查看已完成作业的输出结果，请执行以下操作：

1. 点击作业列表中的作业 ID。

2. 针对换行选择开启，或者一直向右滚动，直到看到计算出的 Pi 值。换行设为开启时的输出应如下所示：

您的作业已经成功计算出一个粗略的 Pi 值！

任务 4. 更新集群以修改工作器数量

如需更改集群中的工作器实例数量，请执行以下操作：

1. 在左侧导航窗格中选择集群，返回 Managed Apache Spark 集群视图。

2. 点击集群列表中的 example-cluster。默认情况下，该页面会显示集群 CPU 使用率的概览。

3. 点击配置以显示集群的当前设置。

4. 点击修改。工作器节点数现在变为可修改状态。

5. 在工作器节点数字段中输入 4。

6. 点击保存。

您的集群现已更新。请查看集群中虚拟机实例的数量。

点击检查我的进度以验证您已完成的任务。

更新集群

1. 如需在更新后的集群中重新运行作业，请点击左侧窗格中的作业，然后点击提交作业。

2. 设置与提交作业部分中相同的字段：

字段	值
区域
集群	example-cluster
作业类型	Spark
主类或 jar 文件	org.apache.spark.examples.SparkPi
Jar 文件	file:///usr/lib/spark/examples/jars/spark-examples.jar
参数	1000（该参数用于设置任务数量）

3. 点击提交。

任务 5. 检验您的掌握情况

下方选择题可加强您对本实验所涉概念的理解。请尽您所能回答。

恭喜！

您现在已经知道如何使用 Google Cloud 控制台创建和更新 Managed Apache Spark 集群，以及如何在该集群中提交作业了。

后续步骤/了解详情

本实验是 Qwik Starts 系列实验中的一项。通过这些实验，您可以一窥 Google Cloud 的诸多功能。欢迎查看实验目录中的“Qwik Starts”列表，挑选您想参与的下一项实验吧！

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

本手册的最后更新时间：2026 年 8 月 27 日

上次测试实验的时间：2026 年 8 月 27 日

版权所有 2026 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。