Loading...
No results found.

Create a cluster

Check my progress

/ 50

Submit a job

Check my progress

/ 30

Update a cluster

Check my progress

/ 20

This lab may incorporate AI tools to support your learning.
This content is not yet optimized for mobile devices.
For the best experience, please visit us on a desktop computer using a link sent by email.

GSP103

Google Cloud 自學實驗室

總覽

Managed Service for Apache Spark 這項全代管雲端服務運作快速，且容易使用，能以更簡單實惠的方式，執行 Apache Spark 和 Apache Hadoop 叢集。過去需要數小時或數天處理的作業，現在只要幾秒或幾分鐘就能完成。您可以迅速建立 Managed Service for Apache Spark 叢集，並隨時視情況調整叢集大小，無須擔心叢集無法容納資料管道。

本實驗室將說明如何透過 Google Cloud 控制台，建立 Managed Apache Spark 叢集、在叢集執行簡易的 Apache Spark 工作，然後修改叢集的 worker 數量。

學習內容

本實驗室的內容包括：

  • 在 Google Cloud 控制台建立 Managed Apache Spark 叢集
  • 執行簡易的 Apache Spark 工作
  • 修改叢集中的 worker 數量

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

  • 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。
  • 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。
注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始實驗室及登入 Google Cloud 控制台

  1. 按一下「Start Lab」按鈕。如果實驗室會產生費用，請在開啟的對話方塊中選取付款方式。右側的「Lab setup and access」面板會顯示下列項目：

    • 「Open Google Cloud console」按鈕
    • 此實驗室所需的臨時憑證 (使用者名稱和密碼)
    • 完成此實驗室所需的其他資訊 (如有)

    請注意，實驗室計時器位於頁面頂端附近，會顯示剩餘時間。

  2. 按一下「Open Google Cloud console」。如果使用 Chrome 瀏覽器，也可以按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

    接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

    提示：您可以在不同的視窗並排開啟分頁。

    注意：頁面顯示「選擇帳戶」對話方塊時，請點選「使用其他帳戶」。

  3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

    {{{user_0.username | "Username"}}}

    您也可以在「Lab setup and access」面板找到「Username」。

  4. 點選「下一步」。

  5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

    {{{user_0.password | "Password"}}}

    您也可以在「Lab setup and access」面板找到「Password」。

  6. 點選「下一步」。

    重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

  7. 繼續點按後續頁面：

    • 接受條款及細則。
    • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
    • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請按一下「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。「導覽選單」圖示和搜尋欄位

啟動 Cloud Shell

Cloud Shell 是搭載多項開發工具的虛擬機器，提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權，方便您使用 Google Cloud 資源。

  1. 點按 Google Cloud 控制台頂端的「啟用 Cloud Shell」圖示 「啟動 Cloud Shell」圖示。

  2. 系統顯示視窗時，請按照下列步驟操作：

    • 繼續操作 Cloud Shell 視窗。
    • 授權 Cloud Shell 使用您的憑證發出 Google Cloud API 呼叫。

連線建立完成即代表已通過驗證，而且專案已設為您的 Project_ID：。輸出內容中有一行文字，宣告本工作階段的 Project_ID：

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud 是 Google Cloud 的指令列工具，已預先安裝於 Cloud Shell，並支援 Tab 鍵自動完成功能。

  1. (選用) 您可以執行下列指令來列出使用中的帳戶：
gcloud auth list
  1. 點按「授權」。

輸出內容：

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`
  1. (選用) 您可以使用下列指令來列出專案 ID：
gcloud config list project

輸出內容：

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} 注意：如需 gcloud 的完整說明，請前往 Google Cloud 參閱 gcloud CLI 總覽指南。

確認 Cloud Dataproc API 已啟用

為透過 Google Cloud 建立 Managed Apache Spark 叢集，請務必啟用 Cloud Dataproc API。確認 API 是否啟用的步驟如下：

  1. 依序點選「導覽選單」>「API 和服務」>「程式庫」。

  2. 在「搜尋 API 和服務」對話方塊，輸入 Cloud Dataproc API，控制台的搜尋結果會顯示 Cloud Dataproc API。

  3. 點選「Cloud Dataproc API」，查看該 API 的狀態。如果尚未啟用，請點選「啟用」按鈕。

確認已啟用後，請按照實驗室的指示繼續操作。

為 Compute Engine 服務帳戶授予所需的 IAM 角色

  1. 前往 Google Cloud 控制台，然後依序點選「導覽選單」圖示 「導覽選單」圖示 >「IAM 與管理」>「身分與存取權管理」。

  2. 點選 Compute Engine 預設服務帳戶 ([project-number]-compute@developer.gserviceaccount.com) 的「編輯主體」(鉛筆圖示)。

  3. 點選「+ 新增其他角色」。

  4. 在「選取角色」部分，搜尋「Storage 管理員」，再從結果中選取該角色。

  5. 按一下「儲存」。

工作 1：建立叢集

  1. 在 Cloud Shell 執行下列指令，建立 example-cluster 叢集，並採用 e2-standard-2 VM 和 30 GB 標準永久磁碟：
gcloud dataproc clusters create example-cluster \ --region={{{ project_0.default_region }}} \ --zone={{{ project_0.default_zone }}} \ --master-machine-type=e2-standard-2 \ --master-boot-disk-type=pd-standard \ --master-boot-disk-size=30GB \ --worker-machine-type=e2-standard-2 \ --worker-boot-disk-type=pd-standard \ --worker-boot-disk-size=30GB \ --num-workers=2
  1. 如果系統提示您確認可用區或授權 Cloud Shell，請輸入 Y 或點選「授權」。

叢集會在幾分鐘內建立完成，屆時指令輸出內容會顯示 Created [... example-cluster]。

點選「Check my progress」，確認工作已完成。

建立叢集

工作 2：提交工作

請按照下列步驟執行範例 Spark 工作：

  1. 在 Google Cloud 控制台，依序選取「導覽選單」圖示 「導覽選單」圖示 >「查看所有產品」>「Analytics」部分的「Managed Apache Spark」>「叢集」。

您應該會看到新建立的叢集 example-cluster，狀態為「執行中」。

  1. 點選左側窗格中的「工作」，切換至顯示 Managed Apache Spark 工作的畫面，然後按一下「提交工作」。

  2. 設定下列欄位來更新工作，並保留所有其他欄位的預設值：

欄位 值
區域
叢集 example-cluster
工作類型 Spark
主要類別或 jar 檔案 org.apache.spark.examples.SparkPi
Jar 檔案 file:///usr/lib/spark/examples/jars/spark-examples.jar
引數 1000 (這會設定工作數量)
  1. 按一下「提交」。
注意：Spark 工作會使用蒙地卡羅方法估算圓周率。此工作會在座標平面上產生 x, y 點，建立由單位正方形包圍圓形的模型。輸入的引數 (1000) 會決定要產生幾組 x,y 座標，組數越多，估算結果就越準確。過程中，系統會利用 Managed Apache Spark worker 節點平行處理計算工作。詳情請參閱「Estimating Pi using the Monte Carlo Method」(使用蒙地卡羅方法估算圓周率)，以及 GitHub 上的 JavaSparkPi.java。

您的工作應該會出現在「工作」清單，其中會顯示專案中的工作及對應的叢集、類型與目前狀態。目前顯示的工作狀態是「執行中」，完成後就會變更為「已完成」。

點選「Check my progress」，確認工作已完成。

提交工作

工作 3：查看工作的輸出內容

請按照下列步驟操作，查看已完成工作的輸出內容：

  1. 在「工作」清單，點選工作 ID。

  2. 將「換行」設為 ON，或捲動至最右側來查看計算出的圓周率。設為 ON 後，輸出內容大致如下：

輸出內容

這表示工作已成功計算出圓周率的概略值！

工作 4：更新叢集來修改 worker 數量

請按照下列步驟操作，變更叢集中的 worker 執行個體數量：

  1. 選取左側導覽窗格中的「叢集」，返回 Managed Apache Spark 叢集畫面。

  2. 在「叢集」清單，點選「example-cluster」。根據預設，這個頁面會顯示叢集的 CPU 使用率總覽。

  3. 點選「設定」，查看叢集目前的設定。

  4. 按一下「編輯」。即可修改 worker 節點的數量。

  5. 在「worker 節點」欄位，輸入 4。

  6. 按一下「儲存」。

叢集現已更新完畢，請查看當中的 VM 執行個體數量。

點選「Check my progress」，確認工作已完成。

更新叢集

  1. 依序點選左側窗格中的「工作」和「提交工作」，使用更新後的叢集重新執行工作。

  2. 參考「提交工作」一節，設定相同的欄位：

欄位 值
區域
叢集 example-cluster
工作類型 Spark
主要類別或 jar 檔案 org.apache.spark.examples.SparkPi
Jar 檔案 file:///usr/lib/spark/examples/jars/spark-examples.jar
引數 1000 (這會設定工作數量)
  1. 按一下「提交」。

工作 5：隨堂測驗

您可以透過下列選擇題強化所學，確實掌握本實驗室介紹的概念。盡力回答即可。

恭喜！

您學會如何透過 Google Cloud 控制台建立及更新 Managed Apache Spark 叢集，並在叢集提交工作。

後續步驟/瞭解詳情

本實驗室也屬於 Qwik Start 系列，這些實驗室可帶您一窺 Google Cloud 的眾多功能。歡迎在實驗室目錄查看「Qwik Starts」清單，看看接下來要參加哪個實驗室！

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2026 年 8 月 27 日

實驗室上次測試日期：2026 年 8 月 27 日

Copyright 2026 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。

Before you begin

  1. Labs create a Google Cloud project and resources for a fixed time
  2. Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
  3. On the top left of your screen, click Start lab to begin

Use private browsing

  1. Copy the provided Username and Password for the lab
  2. Click Open console in private mode

Sign in to the Console

  1. Sign in using your lab credentials. Using other credentials might cause errors or incur charges.
  2. Accept the terms, and skip the recovery resource page
  3. Don't click End lab unless you've finished the lab or want to restart it, as it will clear your work and remove the project

This content is not currently available

We can notify you via email when it becomes available

Great!

We can contact you via email if it becomes available

One lab at a time

Confirm to end all existing labs and start this one

Use private browsing to run the lab

Using an Incognito or private browser window is the best way to run this lab. This prevents any conflicts between your personal account and the Student account, which may cause extra charges incurred to your personal account.