Create a Storage bucket

Check my progress

/ 20

Create a BQ Dataset and table

Check my progress

/ 20

Create a PubSub Topic

Check my progress

/ 20

Create a Dataflow Job with the desired configurations

Check my progress

/ 20

Publish a test message to the Pub/Sub topic and validate data in Big Query

Check my progress

/ 20

This lab may incorporate AI tools to support your learning.

ARC106

Google Cloud 自學實驗室

總覽

在挑戰研究室中,您會在特定情境下完成一系列任務。挑戰研究室不會提供逐步說明,您將運用從課程研究室學到的技巧,自行找出方法完成任務!自動評分系統 (如本頁所示) 將根據您是否正確完成任務來提供意見回饋。

在您完成任務的期間,挑戰研究室不會介紹新的 Google Cloud 概念。您須靈活運用所學技巧,例如變更預設值或詳讀並研究錯誤訊息,解決遇到的問題。

若想滿分達標,就必須在時限內成功完成所有任務!

設定

瞭解以下事項後,再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時,且中途無法暫停。點選「Start Lab」後就會開始計時,顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動,而不是模擬或示範環境。為此,我們會提供新的暫時憑證,供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室,請先確認:

  • 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意事項:請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室,這可以防止個人帳戶和學員帳戶之間的衝突,避免個人帳戶產生額外費用。
  • 是時候完成實驗室活動了!別忘了,活動一旦開始將無法暫停。
注意事項:務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶,可能會產生額外費用。

挑戰情境

您剛獲聘,現在是初階資料工程師。到目前為止,您已使用 BigQuery、Pub/Sub 和 Dataflow 協助多個團隊建立及管理資料。

公司認為您具備執行這些工作所需的技能與知識。

您的挑戰

您必須協助新成立的開發團隊,完成新專案的幾項初期工作。這項專案與即時環境感應器資料有關,您要協助團隊使用 Pub/Sub 和 Dataflow,將溫度資料串流至 BigQuery。請完成下列工作:

  • 建立 Cloud Storage bucket,做為 Dataflow 工作的暫存位置。
  • 建立 BigQuery 資料集和資料表,接收串流資料。
  • 建立 Pub/Sub 主題,並測試將訊息發布至該主題。
  • 建立並執行 Dataflow 工作,將資料從 Pub/Sub 主題串流至 BigQuery。
  • 執行查詢來驗證串流資料。

過程中請遵守以下規則:

  • 確認已成功啟用所有必要 API,例如:Knowledge Catalog。
  • 如未特別指定,所有資源均須建立於 區域。

各項工作的詳細說明如下,祝您好運!

工作 1:建立 Cloud Storage bucket

  • 使用專案 ID 做為 bucket 名稱,建立 Cloud Storage bucket:

點選「Check my progress」,確認目標已達成。 建立 Cloud Storage bucket

工作 2:建立 BigQuery 資料集與資料表

  1. 在名為「US (多個美國區域)」的區域建立名為「」的 BigQuery 資料集。

  2. 在建立的資料集中,建立名為 的資料表,並新增 data 資料欄,類型為 STRING

點選「Check my progress」,確認目標已達成。 建立 BigQuery 資料集與資料表

工作 3:設定 Pub/Sub 主題。

  1. 建立名為 的 Pub/Sub 主題
  • 使用預設設定,也就是勾選「新增預設訂閱項目」核取方塊。

點選「Check my progress」,確認目標已達成。 建立 Pub/Sub 主題

工作 4:執行 Dataflow 管道,將資料從 Pub/Sub 串流至 BigQuery

  1. 使用先前工作建立的 Pub/Sub 主題和 BigQuery 資料表,建立並執行名為 的 Dataflow 工作,將資料從 Pub/Sub 主題串流至 BigQuery。
  • 使用自訂 Dataflow 範本

  • 請使用下列路徑,找出儲存在 Cloud Storage 中的範本檔案:

    gs://dataflow-templates-{{{project_0.default_region | Region }}}/latest/PubSub_to_BigQuery
  • 使用您在先前工作建立的 Pub/Sub 主題:

  • 使用您在先前工作建立的 Cloud Storage bucket 做為臨時位置:

  • 使用您在先前工作建立的 BigQuery 資料集和資料表做為輸出資料表:.

  • 使用 做為區域端點。

點選「Check my progress」,確認目標已達成。 建立 Dataflow 管道,將 Pub/Sub 的資料串流至 BigQuery

工作 5:將測試訊息發布至主題,並在 BigQuery 中驗證資料

  1. 使用下列訊息語法,將訊息發布至主題:{"data": "73.4 F"}
  • 注意:73.4 F 可以替換成任何值。
  1. 在 BigQuery 執行 SELECT 陳述式,查看資料表中填入的測試訊息。

注意:如果 BigQuery 資料表中沒有任何測試訊息,請確認 Dataflow 工作狀態為「執行中」,然後傳送另一則測試訊息。

點選「Check my progress」,確認目標已達成。 將測試訊息發布至主題,並在 BigQuery 中驗證資料

恭喜!

恭喜!在本實驗室中,您已成功建立 Cloud Storage bucket、BigQuery 資料集和資料表、Pub/Sub 主題,以及將資料從 Pub/Sub 串流至 BigQuery 的 Dataflow 工作。您也將測試訊息發布至主題,並在 BigQuery 中驗證資料。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法,讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程,並有隨選、線上和虛擬課程等選項,方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期:2024 年 7 月 17 日

研究室上次測試日期:2024 年 3 月 21 日

Copyright 2026 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標,其他公司和產品名稱則有可能是其關聯公司的商標。

Before you begin

  1. Labs create a Google Cloud project and resources for a fixed time
  2. Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
  3. On the top left of your screen, click Start lab to begin

Use private browsing

  1. Copy the provided Username and Password for the lab
  2. Click Open console in private mode

Sign in to the Console

  1. Sign in using your lab credentials. Using other credentials might cause errors or incur charges.
  2. Accept the terms, and skip the recovery resource page
  3. Don't click End lab unless you've finished the lab or want to restart it, as it will clear your work and remove the project

This content is not currently available

We will notify you via email when it becomes available

Great!

We will contact you via email if it becomes available

One lab at a time

Confirm to end all existing labs and start this one

Use private browsing to run the lab

Using an Incognito or private browser window is the best way to run this lab. This prevents any conflicts between your personal account and the Student account, which may cause extra charges incurred to your personal account.

Complete this quick step to start your lab.