Loading...
No results found.

Apply your skills in Google Cloud console

Lab setup instructions and requirements
Protect your account and progress. Always use a private browser window and lab credentials to run this lab.

Managed Service for Apache Spark：Qwik Start - 指令列

Lab 15 minutes universal_currency_alt 1 Credit show_chart Introductory
info This lab may incorporate AI tools to support your learning.
This content is not yet optimized for mobile devices.
For the best experience, please visit us on a desktop computer using a link sent by email.

GSP104

Google Cloud 自學實驗室

總覽

Managed Service for Apache Spark 是運作快速又易用的全代管雲端服務，能以更簡單實惠的方式，執行 Apache Spark 和 Apache Hadoop 叢集。過去需要數小時或數天處理的作業，現在只要幾秒或幾分鐘就能完成。您可以快速建立 Managed Service for Apache Spark 叢集，並隨時視情況調整規模，無須擔心叢集無法容納資料管道。

本實驗室將說明如何透過指令列建立 Managed Apache Spark 叢集、在叢集中執行簡易的 Apache Spark 工作，然後修改叢集中的 worker 數量。

學習內容

本實驗室的內容包括：

  • 使用指令列建立 Managed Apache Spark 叢集。
  • 執行簡易的 Apache Spark 工作。
  • 修改叢集中的 worker 數量。

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

  • 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。
  • 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。
注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

  1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

    • 「Open Google Cloud console」按鈕
    • 剩餘時間
    • 必須在這個研究室中使用的臨時憑證
    • 完成這個實驗室所需的其他資訊 (如有)

  2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

    接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

    提示：您可以在不同的視窗中並排開啟分頁。

    注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

  3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

    {{{user_0.username | "Username"}}}

    您也可以在「Lab Details」窗格找到 Username。

  4. 點選「下一步」。

  5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

    {{{user_0.password | "Password"}}}

    您也可以在「Lab Details」窗格找到 Password。

  6. 點選「下一步」。

    重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

  7. 按過後續的所有頁面：

    • 接受條款及細則。
    • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
    • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。「導覽選單」圖示和搜尋欄位

啟動 Cloud Shell

Cloud Shell 是搭載多項開發工具的虛擬機器，提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權，方便您使用 Google Cloud 資源。

  1. 點按 Google Cloud 控制台頂端的「啟用 Cloud Shell」圖示 「啟動 Cloud Shell」圖示。

  2. 系統顯示視窗時，請按照下列步驟操作：

    • 繼續操作 Cloud Shell 視窗。
    • 授權 Cloud Shell 使用您的憑證發出 Google Cloud API 呼叫。

連線建立完成即代表已通過驗證，而且專案已設為您的 Project_ID：。輸出內容中有一行文字，宣告本工作階段的 Project_ID：

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud 是 Google Cloud 的指令列工具，已預先安裝於 Cloud Shell，並支援 Tab 鍵自動完成功能。

  1. (選用) 您可以執行下列指令來列出使用中的帳戶：
gcloud auth list
  1. 點按「授權」。

輸出內容：

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`
  1. (選用) 您可以使用下列指令來列出專案 ID：
gcloud config list project

輸出內容：

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} 注意：如需 gcloud 的完整說明，請前往 Google Cloud 參閱 gcloud CLI 總覽指南。

工作 1：建立叢集

  1. 在 Cloud Shell 執行下列指令來設定區域：
gcloud config set dataproc/region {{{project_0.default_region | Region}}}
  1. 停用 Cloud Dataproc API：
gcloud services disable dataproc.googleapis.com --force
  1. 重新啟用 Cloud Dataproc API：
gcloud services enable dataproc.googleapis.com
  1. Managed Service for Apache Spark 會建立暫存 bucket 和臨時 bucket，並由同一區域中的叢集共用。我們未指定帳戶，因此 Managed Apache Spark 會使用 Compute Engine 預設服務帳戶，不過這類帳戶預設不具備儲存空間 bucket 權限。現在就來新增權限吧！
  • 首先執行下列指令，擷取 PROJECT_ID 和 PROJECT_NUMBER：
PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')
  • 接著執行下列指令，為 Compute Engine 預設服務帳戶授予「Storage 管理員」和「Managed Apache Spark Worker」角色。
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/dataproc.worker
  1. 執行下列指令，在子網路啟用 Private Google Access：
gcloud compute networks subnets update default --region={{{project_0.default_region | REGION }}} --enable-private-ip-google-access
  1. 執行下列指令建立 example-cluster 叢集，並採用 e2-standard-4 VM 和預設 Cloud Managed Apache Spark 設定：
gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4
  1. 當系統要求您確認叢集的可用區時，請輸入 Y。

叢集會在幾分鐘內建立完成。

Waiting for cluster creation operation...done. Created [... example-cluster]

畫面上顯示「Created」訊息時，即可繼續。

測試已完成的工作

點選「Check my progress」，確認工作已完成。如果已成功建立 Managed Service for Apache Spark 叢集，您就會看見評估分數。

建立叢集

工作 2：提交工作

  • 執行下列指令提交範例 Spark 工作，用以計算圓周率的粗估值：
gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

這個指令會指定下列項目：

  • 您要在 example-cluster 叢集執行 Spark 工作
  • class，其中包含工作計算圓周率時採用的主要方法
  • 含有工作程式碼的 jar 檔案所在位置
  • 要傳遞至工作的參數；在本例中是指任務數量，也就是 1000
注意：傳遞至工作的參數前方必須加上雙破折號 (--)，詳情請參閱 gcloud 說明文件。

終端機視窗會顯示工作執行中和最終輸出內容：

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

測試已完成的工作

請點選「Check my progress」，確認工作已完成。如果成功提交工作，您就會看見評估分數。

提交工作

工作 3：更新叢集

  1. 執行下列指令，將叢集的 worker 數量變更為四：
gcloud dataproc clusters update example-cluster --num-workers 4

指令輸出內容會顯示更新後的叢集詳細資料：

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.
  1. 您也能使用相同指令來減少 worker 節點數量：
gcloud dataproc clusters update example-cluster --num-workers 2

現在您可以透過 Google Cloud 的 gcloud 指令列，建立 Managed Service for Apache Spark 叢集並調整 worker 數量。

工作 4：隨堂測驗

下列選擇題可以加深您對本實驗室所述概念的理解，盡力回答即可。

恭喜！

您已瞭解如何透過指令列建立及修改 Managed Service for Apache Spark 叢集，並提交工作。

後續步驟/瞭解詳情

這個實驗室也包含在「Qwik Start」系列中，目標是帶您一窺 Google Cloud 的眾多功能。歡迎在實驗室目錄查看「Qwik Starts」清單，看看接下來要參加哪個實驗室！

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2026 年 4 月 15 日

實驗室上次測試日期：2026 年 4 月 15 日

Copyright 2026 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。

Before you begin

  1. Labs create a Google Cloud project and resources for a fixed time
  2. Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
  3. On the top left of your screen, click Start lab to begin

Use private browsing

  1. Copy the provided Username and Password for the lab
  2. Click Open console in private mode

Sign in to the Console

  1. Sign in using your lab credentials. Using other credentials might cause errors or incur charges.
  2. Accept the terms, and skip the recovery resource page
  3. Don't click End lab unless you've finished the lab or want to restart it, as it will clear your work and remove the project

This content is not currently available

We will notify you via email when it becomes available

Great!

We will contact you via email if it becomes available

One lab at a time

Confirm to end all existing labs and start this one

Use private browsing to run the lab

Using an Incognito or private browser window is the best way to run this lab. This prevents any conflicts between your personal account and the Student account, which may cause extra charges incurred to your personal account.