GSP103

總覽

Dataproc 是運作快速又簡單易用的全代管雲端服務，您可輕鬆以更具成本效益的方式，執行 Apache Spark 和 Apache Hadoop 叢集。過去需要數小時或數天處理的作業，現在只要幾秒或幾分鐘就能完成。您可以快速建立 Dataproc 叢集，並隨時視情況調整規模，無須擔心叢集無法容納資料管道。

本實驗室會說明如何透過 Google Cloud 控制台建立 Dataproc 叢集、在叢集中執行簡易的 Apache Spark 工作，然後修改叢集中的 worker 數量。

學習內容

本實驗室的內容包括：

• 在 Google Cloud 控制台建立 Dataproc 叢集
• 執行簡易的 Apache Spark 工作
• 修改叢集中的 worker 數量

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

• 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。

注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的臨時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

   接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。

確認 Cloud Dataproc API 已啟用

為順利透過 Google Cloud 建立 Dataproc 叢集，請務必啟用 Cloud Dataproc API。確認 API 是否啟用的步驟如下：

1. 依序點選「導覽選單」>「API 和服務」>「程式庫」。

2. 在「搜尋 API 和服務」對話方塊，輸入 Cloud Dataproc，控制台的搜尋結果會顯示 Cloud Dataproc API。

3. 點選「Cloud Dataproc API」，查看該 API 的狀態。如果 API 尚未啟用，請點選「啟用」按鈕。

如果 API 已啟用，請按照實驗室的指示繼續操作。

將權限授予服務帳戶

建立叢集前，必須先按照下列步驟，將儲存權限指派給服務帳戶：

1. 依序點選「導覽選單」>「IAM 與管理」>「身分與存取權管理」。

2. 點選 compute@developer.gserviceaccount.com 服務帳戶旁的「鉛筆」圖示。

3. 點選「+ 新增其他角色」按鈕，選取「Storage 管理員」角色。

選取「Storage 管理員」角色後，點選「儲存」。

工作 1：建立叢集

1. 在 Cloud Platform 控制台，依序選取「導覽選單」>「查看所有產品」>「Analytics」部分的「Dataproc」>「叢集」。

2. 點選「Create cluster」。

3. 為叢集設定下列欄位，並保留所有其他欄位的預設值：

注意： 在「設定節點」部分，請確定「主要節點」和「worker 節點」皆設定正確的機器系列與機型。 如果沒有顯示 E2 系列，請確定「Primary disk type」部分已選取「Standard Persistent Disk」選項。

欄位	值
名稱	example-cluster
區域
可用區
依序點選「設定節點」>「管理工具節點」>「Primary disk type」	Standard Persistent Disk
機器系列 (管理工具節點)	E2
機型 (管理工具節點)	e2-standard-2
主要磁碟大小 (管理工具節點)	30 GB
worker 節點數	2
Primary disk type (worker 節點)	Standard Persistent Disk
機器系列 (worker 節點)	E2
機型 (worker 節點)	e2-standard-2
主要磁碟大小 (worker 節點)	30 GB
點選「自訂叢集」，找到「僅限內部 IP」部分	取消選取「將所有執行個體設為僅具備內部 IP 位址」

注意：「可用區」是特殊的多區域命名空間，可將執行個體部署至全球所有 Google Compute 可用區。您也能指定 us-central1 或 europe-west1 等不同區域，將使用者指定區域中，Cloud Dataproc 所用資源 (包括 VM 執行個體和 Cloud Storage) 與中繼資料的儲存位置區隔開來。

4. 點選「建立」來建立叢集。

新叢集會出現在「叢集」清單中。建立作業可能需要幾分鐘才能完成，期間叢集狀態會顯示為「佈建中」，待叢集可以使用後，狀態就會變更為「執行中」。

測試已完成的工作

點選「Check my progress」，確認工作已完成。

建立 Dataproc 叢集

工作 2：提交工作

請按照下列步驟執行範例 Spark 工作：

1. 點選左側窗格中的「工作」，切換至 Dataproc 工作檢視畫面，然後點選「提交工作」。

2. 設定下列欄位來更新工作，並保留所有其他欄位的預設值：

欄位	值
區域
叢集	example-cluster
工作類型	Spark
主要類別或 jar 檔案	org.apache.spark.examples.SparkPi
Jar 檔案	file:///usr/lib/spark/examples/jars/spark-examples.jar
引數	1000 (這會設定任務數量)

3. 點選「提交」。

注意：Spark 工作會使用蒙特卡羅法估算圓周率。這個做法是在座標面上產生 x 和 y 點，建立一個由單位正方形包圍圓形的模型，輸入的引數 (1000) 會決定要產生的 x,y 配對數，配對數越多，預估值就越準確。估算過程中，系統會利用 Cloud Dataproc worker 節點平行處理計算工作。詳情請參閱「Estimating Pi using the Monte Carlo Method」(使用蒙特卡羅法估算圓周率)，以及 GitHub 上的 JavaSparkPi.java。

您的工作應該會出現在「工作」清單，當中包含當前專案的所有工作，以及相關的叢集、類型與目前狀態。目前顯示的工作狀態是「執行中」，完成後就會變更為「已完成」。

測試已完成的工作

點選「Check my progress」，確認工作已完成。

提交工作

工作 3：查看工作的輸出內容

請按照下列步驟查看已完成工作的輸出內容：

1. 在「工作」清單，點選工作 ID。

2. 將「換行」設為啟用，或是捲動至最右側來查看計算出的圓周率。您將「換行」設為啟用後，輸出內容應如下所示：

這表示工作已成功計算出圓周率的粗估值！

工作 4：更新叢集來修改 worker 數量

請按照下列步驟變更叢集中的 worker 執行個體數量：

1. 選取左側導覽窗格中的「叢集」，返回 Dataproc 叢集檢視畫面。

2. 在「叢集」清單，點選「example-cluster」。根據預設，這個頁面會顯示叢集的 CPU 使用率總覽。

3. 點選「設定」查看叢集目前的設定。

4. 點選「編輯」，即可修改 worker 節點的數量。

5. 在「worker 節點數」欄位，輸入 4。

6. 點選「儲存」。

叢集現已更新完成，請檢查叢集中的 VM 執行個體數量。

測試已完成的工作

點選「Check my progress」，確認工作已完成。

更新叢集

1. 依序點選左側窗格中的「工作」和「提交工作」，使用更新後的叢集重新執行工作。

2. 參考「提交工作」一節，設定相同的欄位：

欄位	值
區域
叢集	example-cluster
工作類型	Spark
主要類別或 jar 檔案	org.apache.spark.examples.SparkPi
Jar 檔案	file:///usr/lib/spark/examples/jars/spark-examples.jar
引數	1000 (這會設定任務數量)

3. 點選「提交」。

工作 5：隨堂測驗

完成下列選擇題能加深您的印象，更清楚本實驗室介紹的概念，盡力回答即可。

恭喜！

您已瞭解如何透過 Google Cloud 控制台建立及更新 Dataproc 叢集，然後在該叢集中提交工作。

後續步驟/瞭解詳情

本實驗室屬於 Qwik Start 實驗室系列，旨在帶您一窺 Google Cloud 的眾多功能。歡迎在實驗室目錄中搜尋「Qwik Start」，看看接下來想參加哪個實驗室！

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2026 年 2 月 17 日

實驗室上次測試日期：2026 年 2 月 17 日

Copyright 2026 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。