正在加载…
未找到任何结果。

在 Google Cloud 控制台中运用您的技能

实验设置说明和要求
保护您的账号和进度。请务必在无痕浏览器窗口中，使用实验凭证运行此实验。

Dataproc：Qwik Start - 命令行

实验 30 分钟 universal_currency_alt 1 个点数 show_chart 入门级
info 此实验可能会提供 AI 工具来支持您学习。
此内容尚未针对移动设备进行优化。
为获得最佳体验，请在桌面设备上访问通过电子邮件发送的链接。

GSP104

Google Cloud 自学实验的徽标

概述

Dataproc 是一项快捷易用的全托管式云服务，让您能以更简单、更经济实惠的方式来运行 Apache Spark 和 Apache Hadoop 集群。有了这项服务，过去需要数小时乃至数天才能完成的操作，现在几秒钟或几分钟就可以完成。您可以快速创建 Dataproc 集群并随时调整其规模，而不必担心不断增长的数据流水线负载会超出集群的处理能力。

本实验向您介绍如何使用命令行创建 Dataproc 集群、在该集群中运行简单的 Apache Spark 作业，以及修改该集群中的工作器数量。

您将执行的操作

在本实验中，您将学习如何完成以下操作：

  • 使用命令行创建 Dataproc 集群
  • 运行一个简单的 Apache Spark 作业
  • 修改集群中的工作器数量

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。为此，我们会向您提供新的临时凭据，您可以在该实验的规定时间内通过此凭据登录和访问 Google Cloud。

为完成此实验，您需要：

  • 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。
注意：请使用无痕模式（推荐）或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。
  • 完成实验的时间 - 请注意，实验开始后无法暂停。
注意：请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号，则可能会向该账号收取费用。

如何开始实验并登录 Google Cloud 控制台

  1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个对话框供您选择支付方式。左侧是“实验详细信息”窗格，其中包含以下各项：

    • “打开 Google Cloud 控制台”按钮
    • 剩余时间
    • 进行该实验时必须使用的临时凭据
    • 帮助您逐步完成本实验所需的其他信息（如果需要）

  2. 点击打开 Google Cloud 控制台（如果您使用的是 Chrome 浏览器，请右键点击并选择在无痕式窗口中打开链接）。

    该实验会启动资源并打开另一个标签页，显示“登录”页面。

    提示：将这些标签页安排在不同的窗口中，并排显示。

    注意：如果您看见选择账号对话框，请点击使用其他账号。

  3. 如有必要，请复制下方的用户名，然后将其粘贴到登录对话框中。

    {{{user_0.username | "<用户名>"}}}

    您也可以在“实验详细信息”窗格中找到“用户名”。

  4. 点击下一步。

  5. 复制下面的密码，然后将其粘贴到欢迎对话框中。

    {{{user_0.password | "<密码>"}}}

    您也可以在“实验详细信息”窗格中找到“密码”。

  6. 点击下一步。

    重要提示：您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意：在本实验中使用您自己的 Google Cloud 账号可能会产生额外费用。

  7. 继续在后续页面中点击以完成相应操作：

    • 接受条款及条件。
    • 由于这是临时账号，请勿添加账号恢复选项或双重验证。
    • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Google Cloud 控制台。

注意：如需访问 Google Cloud 产品和服务，请点击导航菜单，或在搜索字段中输入服务或产品的名称。 “导航菜单”图标和“搜索”字段

激活 Cloud Shell

Cloud Shell 是一种装有开发者工具的虚拟机。它提供了一个永久性的 5GB 主目录，并且在 Google Cloud 上运行。Cloud Shell 提供可用于访问您的 Google Cloud 资源的命令行工具。

  1. 点击 Google Cloud 控制台顶部的激活 Cloud Shell “激活 Cloud Shell”图标。

  2. 在弹出的窗口中执行以下操作：

    • 继续完成 Cloud Shell 信息窗口中的设置。
    • 授权 Cloud Shell 使用您的凭据进行 Google Cloud API 调用。

如果您连接成功，即表示您已通过身份验证，且项目 ID 会被设为您的 Project_ID 。输出内容中有一行说明了此会话的 Project_ID：

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud 是 Google Cloud 的命令行工具。它已预先安装在 Cloud Shell 上，且支持 Tab 自动补全功能。

  1. （可选）您可以通过此命令列出活跃账号名称：
gcloud auth list
  1. 点击授权。

输出：

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`
  1. （可选）您可以通过此命令列出项目 ID：
gcloud config list project

输出：

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} 注意：如需查看在 Google Cloud 中使用 gcloud 的完整文档，请参阅 gcloud CLI 概览指南。

任务 1. 创建集群

  1. 在 Cloud Shell 中，运行以下命令设置区域：
gcloud config set dataproc/region {{{project_0.default_region | Region}}}
  1. 停用 Dataproc API：
gcloud services disable dataproc.googleapis.com --force
  1. 重新启用 Dataproc API：
gcloud services enable dataproc.googleapis.com
  1. Dataproc 会创建在同一区域中的集群之间共享的暂存存储桶和临时存储桶。由于我们没有指定供 Dataproc 使用的账号，因此它将使用 Compute Engine 默认服务账号，该账号默认情况下没有存储桶权限。我们来添加这些权限。
  • 首先，运行以下命令来获取 PROJECT_ID 和 PROJECT_NUMBER：
PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')
  • 现在运行以下命令，为 Compute Engine 默认服务账号授予 Storage Admin 和 Dataproc Worker 角色：
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/dataproc.worker
  1. 通过运行以下命令，在子网上启用专用 Google 访问通道：
gcloud compute networks subnets update default --region={{{project_0.default_region | REGION }}} --enable-private-ip-google-access
  1. 运行以下命令，使用 e2-standard-4 虚拟机和默认 Cloud Dataproc 设置创建一个名为 example-cluster 的集群：
gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4
  1. 如果系统要求确认该集群的可用区，请输入 Y。

您的集群将在几分钟内创建完毕。

Waiting for cluster creation operation...done. Created [... example-cluster]

当您看到“Created”消息后，就可以继续操作了。

验证您已完成的任务

点击检查我的进度，验证您已完成的任务。如果您已成功创建 Dataproc 集群，系统会显示一个评估分数。

创建 Dataproc 集群

任务 2. 提交作业

  • 运行以下命令，提交一个用于计算 pi 粗略值的 Spark 示例作业：
gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

该命令指定了：

  • 您希望在 example-cluster 集群上运行 spark 作业
  • 包含该作业的 pi 计算应用主方法的类
  • 包含该作业代码的 jar 文件的位置
  • 要传递给该作业的参数，本例中的参数是任务数量，即 1000
注意：传递给该作业的参数前面必须带一个双短划线 (--)。详情请参阅 gcloud 文档。

该作业的运行过程和最终输出会显示在终端窗口中：

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

验证您已完成的任务

点击检查我的进度，验证您已完成的任务。如果您成功提交了作业，系统会显示一个评估分数。

提交作业

任务 3. 更新集群

  1. 要将集群中的工作器数量改为 4 个，请运行以下命令：
gcloud dataproc clusters update example-cluster --num-workers 4

该集群更新后的详细信息将显示在此命令的输出结果中：

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.
  1. 您也可以使用此命令来减少工作器节点的数量：
gcloud dataproc clusters update example-cluster --num-workers 2

现在，您已经学会了如何使用 Google Cloud 的 gcloud 命令行来创建 Dataproc 集群以及调整工作器数量。

任务 4. 检验您的掌握情况

下面的选择题可加强您对本实验所涉概念的理解。请尽您所能回答。

恭喜！

您学习了如何使用命令行创建和修改 Dataproc 集群以及提交作业。

后续步骤/了解详情

本实验是 Qwik Starts 系列实验的其中一项。通过这些实验，您可以一窥 Google Cloud 的诸多功能。请在实验目录中搜索“Qwik Starts”，找到您要参与的下一项实验！

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

本手册的最后更新时间：2025 年 8 月 26 日

本实验的最后测试时间：2025 年 8 月 26 日

版权所有 2025 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。

准备工作

  1. 实验会创建一个 Google Cloud 项目和一些资源，供您使用限定的一段时间
  2. 实验有时间限制，并且没有暂停功能。如果您中途结束实验，则必须重新开始。
  3. 在屏幕左上角，点击开始实验即可开始

使用无痕浏览模式

  1. 复制系统为实验提供的用户名和密码
  2. 在无痕浏览模式下，点击打开控制台

登录控制台

  1. 使用您的实验凭证登录。使用其他凭证可能会导致错误或产生费用。
  2. 接受条款，并跳过恢复资源页面
  3. 除非您已完成此实验或想要重新开始，否则请勿点击结束实验，因为点击后系统会清除您的工作并移除该项目

此内容目前不可用

一旦可用，我们会通过电子邮件告知您

太好了！

一旦可用，我们会通过电子邮件告知您

一次一个实验

确认结束所有现有实验并开始此实验

使用无痕浏览模式运行实验

请使用无痕模式或无痕式浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。