实验设置说明和要求
保护您的账号和进度。请务必在无痕浏览器窗口中,使用实验凭证运行此实验。

Managed Service for Apache Spark 简介:Google Cloud 上的 Hadoop 和 Spark

实验 15 分钟 universal_currency_alt 1 个点数 show_chart 入门级
info 此实验可能会提供 AI 工具来支持您学习。
此内容尚未针对移动设备进行优化。
为获得最佳体验,请在桌面设备上访问通过电子邮件发送的链接。

GSP123

Google Cloud 自学实验

概览

Managed Service for Apache Spark 是一项托管式 Spark 和 Hadoop 服务,借助该服务,您可以充分利用开源数据工具来进行批处理、查询、流式传输和机器学习。Managed Service for Apache Spark 自动化功能可帮助您快速创建并轻松管理集群,以及在不需要集群时将其关闭以节省费用。由于花在管理上的时间和费用减少,您可以将精力集中在实际的工作和数据上。

本实验改编自使用 Google Cloud 控制台创建 Managed Service for Apache Spark 集群指南。

学习内容

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的,并且您无法暂停实验。计时器在您点击开始实验后即开始计时,显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动,免受模拟或演示环境的局限。为此,我们会向您提供新的临时凭据,您可以在该实验的规定时间内通过此凭据登录和访问 Google Cloud。

为完成此实验,您需要:

  • 能够使用标准的互联网浏览器(建议使用 Chrome 浏览器)。
注意:请使用无痕模式(推荐)或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突,这种冲突可能导致您的个人账号产生额外费用。
  • 完成实验的时间 - 请注意,实验开始后无法暂停。
注意:请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号,则可能会向该账号收取费用。

如何开始实验并登录 Google Cloud 控制台

  1. 点击开始实验按钮。如果该实验需要付费,系统会打开一个对话框供您选择支付方式。左侧是“实验详细信息”窗格,其中包含以下各项:

    • “打开 Google Cloud 控制台”按钮
    • 剩余时间
    • 进行该实验时必须使用的临时凭据
    • 帮助您逐步完成本实验所需的其他信息(如果需要)
  2. 点击打开 Google Cloud 控制台(如果您使用的是 Chrome 浏览器,请右键点击并选择在无痕式窗口中打开链接)。

    该实验会启动资源并打开另一个标签页,显示“登录”页面。

    提示:将这些标签页安排在不同的窗口中,并排显示。

    注意:如果您看见选择账号对话框,请点击使用其他账号
  3. 如有必要,请复制下方的用户名,然后将其粘贴到登录对话框中。

    {{{user_0.username | "<用户名>"}}}

    您也可以在“实验详细信息”窗格中找到“用户名”。

  4. 点击下一步

  5. 复制下面的密码,然后将其粘贴到欢迎对话框中。

    {{{user_0.password | "<密码>"}}}

    您也可以在“实验详细信息”窗格中找到“密码”。

  6. 点击下一步

    重要提示:您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意:在本实验中使用您自己的 Google Cloud 账号可能会产生额外费用。
  7. 继续在后续页面中点击以完成相应操作:

    • 接受条款及条件。
    • 由于这是临时账号,请勿添加账号恢复选项或双重验证。
    • 请勿注册免费试用。

片刻之后,系统会在此标签页中打开 Google Cloud 控制台。

注意:如需访问 Google Cloud 产品和服务,请点击导航菜单,或在搜索字段中输入服务或产品的名称。 “导航菜单”图标和“搜索”字段

为 Compute Engine 服务账号授予必要的 IAM 角色

要想创建集群,就必须为服务账号分配存储权限。为此,请执行以下操作:

  1. 在 Google Cloud 控制台的导航菜单 (“导航菜单”图标) 中,选择 IAM 和管理 > IAM

  2. 点击 Compute Engine 默认服务账号([项目编号]-compute@developer.gserviceaccount.com)对应的修改主账号(铅笔图标)。

  3. 点击 + 添加其他角色

  4. 选择角色部分,搜索 Storage Admin,然后从搜索结果中选择该角色。

  5. 点击保存

任务 1. 创建集群

  1. 在 Google Cloud 控制台的导航菜单 (导航菜单) 中,点击查看所有产品。在分析下,点击托管式 Apache Spark

展开的导航菜单,其中突出显示了“托管式 Apache Spark”子菜单和“集群”选项

  1. 如需创建新集群,请依次点击集群 > 创建集群

Managed Service for Apache Spark 菜单,其中突出显示了“创建集群”按钮

  1. 设置下列参数的值,并将其他参数保留为默认设置:
参数
名称
区域
可用区
展开高级配置 > 基础设施,然后在管理器节点 > 主磁盘类型中选择 标准永久性磁盘
管理器节点 - 系列 E2
管理器节点 - 机器类型
管理器节点 - 主磁盘大小 30 GB
工作器节点数量 2
工作器节点 - 主磁盘类型 标准永久性磁盘
工作器节点 - 系列 E2
工作器节点 - 机器类型
工作器节点 - 主磁盘大小 30 GB
展开其他 > 仅限内部 IP 取消选中将所有实例配置为只有内部 IP 地址
  1. 点击创建以创建新集群。您会看到状态从“正在预配”变为“成功”,当输出类似于以下内容时,即可继续执行下一步:
注意:您可以放心地忽略“很抱歉,服务器无法完成您的请求”这一警告,并继续执行下一个任务。

“集群”页面,其中显示了实验集群的状态为“正在运行”

验证您已完成的任务

点击检查我的进度以验证您已完成的任务。

创建集群。

任务 2. 向集群提交作业

  1. 选择作业以切换到 Managed Service for Apache Spark 作业视图:

展开的 Managed Service for Apache Spark 菜单,其中突出显示了“作业”选项

  1. 点击提交作业

Managed Service for Apache Spark 页面,其中突出显示了“提交作业”按钮

  1. 设置下列参数的值,并将其他参数保留为默认设置:
参数
区域
集群
作业类型
主类或 jar 文件
Jar 文件
参数
  1. 点击提交

您的作业应该会出现在“作业”列表中,该列表会显示您项目下的所有作业以及它们对应的集群、类型和当前状态。新作业会显示为“正在运行”。当看到状态为“成功”时,即可继续执行后续步骤。

验证您已完成的任务

点击检查我的进度以验证您已完成的任务。

向集群提交作业。
  1. 如需查看已完成作业的输出结果,请点击作业列表中的相应作业 ID:

“作业”页面,其中显示了 job-11c593c3 的状态为“成功”

  1. 为避免滚动浏览的麻烦,请将自动换行设为开启

作业输出页面,其中突出显示了“自动换行:开启”选项

您应该看到,您的作业已经成功计算出了一个粗略的 pi 值!

任务 3. 关闭集群

  1. 您可以在“集群”页面上关闭集群:

Managed Service for Apache Spark 菜单,其中突出显示了“集群”选项

  1. 选中 qlab 集群旁边的复选框,然后点击删除

“集群”页面,其中突出显示了“删除”按钮

  1. 点击确认以确认删除。

任务 4. 检验掌握情况

下方选择题可加强您对本实验所涉概念的理解。请尽您所能回答。

恭喜!

您学习了如何创建 Managed Service for Apache Spark 集群、提交 Spark 作业以及关闭集群。

后续步骤/了解详情

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践,可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训,并有点播、直播和虚拟三种方式选择,让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间:2026 年 4 月 28 日

上次测试实验的时间:2026 年 4 月 28 日

版权所有 2026 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。

准备工作

  1. 实验会创建一个 Google Cloud 项目和一些资源,供您使用限定的一段时间
  2. 实验有时间限制,并且没有暂停功能。如果您中途结束实验,则必须重新开始。
  3. 在屏幕左上角,点击开始实验即可开始

使用无痕浏览模式

  1. 复制系统为实验提供的用户名密码
  2. 在无痕浏览模式下,点击打开控制台

登录控制台

  1. 使用您的实验凭证登录。使用其他凭证可能会导致错误或产生费用。
  2. 接受条款,并跳过恢复资源页面
  3. 除非您已完成此实验或想要重新开始,否则请勿点击结束实验,因为点击后系统会清除您的工作并移除该项目

此内容目前不可用

一旦可用,我们会通过电子邮件告知您

太好了!

一旦可用,我们会通过电子邮件告知您

一次一个实验

确认结束所有现有实验并开始此实验

使用无痕浏览模式运行实验

使用无痕模式或无痕浏览器窗口是运行此实验的最佳方式。这可以避免您的个人账号与学生账号之间发生冲突,这种冲突可能导致您的个人账号产生额外费用。