GSP1055

總覽

Bigtable 是 Google 的全代管 NoSQL 資料庫服務，可隨需求擴充。Bigtable 非常適合在鍵/值儲存空間中儲存大量資料，並用於個人化服務、廣告技術、金融科技、數位媒體和物聯網 (IoT) 等用途。Bigtable 具備低延遲的特性，也支援高總處理量讀寫作業，可讓您快速存取大量資料，以便進行處理和分析。

針對感應器的串流資料，Bigtable 可處理大量寫入作業，以便擷取大量即時資料。

在本實驗室中，您將使用指令建立 Bigtable 執行個體，並在其中建立資料表，儲存模擬的流量感應器資料。接著啟動 Dataflow 管道，將模擬串流資料從 Pub/Sub 載入 Bigtable。Dataflow 工作會將串流資料從 Pub/Sub 載入 Bigtable，您要確認資料表已順利填入資料。您必須停止串流工作並刪除 Bigtable 資料，才能完成實驗室。

學習內容

在本實驗室中，您將瞭解如何使用指令建立 Bigtable 執行個體和資料表，並使用 Dataflow 載入串流資料。

• 使用 Google Cloud CLI (gcloud CLI) 指令建立 Bigtable 執行個體。
• 使用 Cloud Bigtable CLI (cbt CLI) 指令，建立含有資料欄系列的 Bigtable 資料表。
• 啟動 Dataflow 管道，從 Pub/Sub 讀取串流資料並寫入 Bigtable。
• 確認串流資料已載入 Bigtable。
• 使用指令刪除 Bigtable 資料表和 Bigtable 執行個體。

事前準備

• 瞭解資料庫概念和術語的基本知識，例如執行個體、結構定義和索引鍵
• 完成「設計與查詢 Bigtable 結構定義」實驗室

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

• 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。

注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的臨時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

   接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。

啟動 Cloud Shell

Cloud Shell 是搭載多項開發工具的虛擬機器，提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權，方便您使用 Google Cloud 資源。

1. 點按 Google Cloud 控制台頂端的「啟用 Cloud Shell」圖示 。

2. 系統顯示視窗時，請按照下列步驟操作：

   • 繼續操作 Cloud Shell 視窗。
   • 授權 Cloud Shell 使用您的憑證發出 Google Cloud API 呼叫。

連線建立完成即代表已通過驗證，而且專案已設為您的 Project_ID：。輸出內容中有一行文字，宣告本工作階段的 Project_ID：

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud 是 Google Cloud 的指令列工具，已預先安裝於 Cloud Shell，並支援 Tab 鍵自動完成功能。

3. (選用) 您可以執行下列指令來列出使用中的帳戶：

gcloud auth list

4. 點按「授權」。

輸出內容：

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (選用) 您可以使用下列指令來列出專案 ID：

gcloud config list project

輸出內容：

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} 注意：如需 gcloud 的完整說明，請前往 Google Cloud 參閱 gcloud CLI 總覽指南。

工作 1：使用指令建立 Bigtable 執行個體和資料表

如要在 Bigtable 中建立新資料表，首先需要建立 Bigtable 執行個體來儲存資料表。如要建立 Bigtable 執行個體，可以使用 Google Cloud 控制台、gcloud CLI 指令或 cbt CLI 指令。

在這項工作中，您會先使用 Cloud Shell 執行 gcloud CLI 指令，建立新的 Bigtable 執行個體，然後執行 cbt CLI 指令，連線至 Bigtable 並建立新資料表。

如要複習如何存取 Cloud Shell，請按一下本頁右側選單中的「設定與需求」。

建立 Bigtable 執行個體

• 在 Cloud Shell 執行下列指令，建立新的 Bigtable 執行個體：

gcloud bigtable instances create sandiego \ --display-name="San Diego Traffic Sensors" \ --cluster-storage-type=SSD \ --cluster-config=id=sandiego-traffic-sensors-c1,zone={{{project_0.default_zone | ZONE}}},nodes=1

這個指令會建立新的 Bigtable 執行個體，並設定下列屬性：

屬性	值
執行個體 ID	聖地牙哥
執行個體顯示名稱	聖地牙哥交通感應器
儲存空間類型	SSD
叢集 ID	sandiego-traffic-sensors-c1
可用區
節點資源調度模式	手動分配
節點數量	1

收到輸出訊息後，請繼續執行下一個步驟。

Creating bigtable instance sandiego...done.

設定 Bigtable CLI

如要使用 cbt CLI 指令連線至 Bigtable，您必須先使用 Cloud Shell，以專案 ID 和 Bigtable 執行個體 ID 更新 .cbtrc 設定檔。

1. 執行下列指令，使用專案 ID 和執行個體 ID 修改 .cbtrc 檔案：

echo project = `gcloud config get-value project` \ >> ~/.cbtrc echo instance = sandiego \ >> ~/.cbtrc

2. 執行下列指令，確認您已成功修改 .cbtrc 檔案：

cat ~/.cbtrc

輸出應會如下所示：

project = <project-id> instance = sandiego

建立含有資料欄系列的 Bigtable 資料表

在 Cloud Shell 中設定 .cbtrc 設定檔後，即可執行簡單的 cbt CLI 指令，建立含有資料欄系列的新 Bigtable 資料表。

• 執行下列指令，建立名為 current_conditions 的新資料表，並將資料欄系列命名為 lane：

cbt createtable current_conditions \ families="lane"

點選「Check my progress」，確認目標已達成。建立 Bigtable 執行個體和資料表。

工作 2：模擬將串流流量感應器資料傳送至 Pub/Sub

在這項工作中，您將從為本實驗室建立的 Compute Engine 虛擬機器 (VM) 執行串流資料模擬器。首先，您要在名為 training-vm 的 VM 輸入指令，設定環境並下載串流資料模擬器所需的檔案。

連線至 VM

1. 在 Google Cloud 控制台的「導覽選單」中，依序點選「Compute Engine」>「VM 執行個體」。

2. 找到名為 training-vm 的執行個體，然後在「連線」下方點選「SSH」。

   training-vm 的終端機視窗隨即開啟。

   training-vm 會在背景安裝一些軟體。在下一個步驟中，您將檢查新目錄的內容，確認設定已完成。

3. 如要列出名為 training 的目錄內容，請執行下列指令：

ls /training

ls 指令輸出下列結果時，VM 即可繼續執行：

bq_magic.sh project_env.sh sensor_magic.sh

如果未列出這三個指令碼，請稍待幾分鐘後再試。

注意：所有背景動作可能需要 2 到 3 分鐘才能完成。

執行指令碼來模擬串流資料

1. 執行下列指令，下載本實驗室用到的程式碼存放區：

git clone https://github.com/GoogleCloudPlatform/training-data-analyst

2. 執行下列指令，設定必要的環境變數：

source /training/project_env.sh

這個指令碼會設定 $DEVSHELL_PROJECT_ID 和 $BUCKET 環境變數，因此您不必手動設定專案 ID 和 Cloud Storage bucket 名稱。

系統已在您初始化實驗室資源時順便建立了 Cloud Storage bucket。

3. 執行下列指令，啟動串流資料模擬器：

/training/sensor_magic.sh

這個指令碼會從 CSV 檔案讀取樣本資料，並發布至 Pub/Sub。這個指令碼會在 1 分鐘內傳送 1 小時的資料。

讓指令碼在目前的終端機中繼續執行，然後繼續進行下一個工作。

點選「Check my progress」，確認目標已達成。模擬將串流流量感應器資料傳送至 Pub/Sub。

工作 3：啟動 Dataflow 管道，將 Pub/Sub 的資料寫入 Bigtable

在這項工作中，您會在 training_vm 開啟第二個 SSH 終端機，並執行指令來啟動 Dataflow 工作，將 Pub/Sub 的串流資料寫入 Bigtable。

開啟第二個 SSH 終端機

1. 在目前的終端機視窗中，依序點按「終端機設定」() 和「新增連線」。

第二個終端機視窗隨即開啟。這個新的終端機工作階段不會有必要的環境變數。在下一個步驟中，您會在新的終端機工作階段設定這些變數。

2. 在新的終端機執行下列指令，設定環境變數：

source /training/project_env.sh

這個指令碼會在新的終端機視窗中設定 $DEVSHELL_PROJECT_ID 和 $BUCKET 環境變數。

啟動 Dataflow 管道

1. 在新的終端機執行下列指令，前往程式碼目錄：

cd ~/training-data-analyst/courses/streaming/process/sandiego

2. 如要使用 nano 檢視指令碼，請執行下列指令：

nano run_oncloud.sh

請勿修改程式碼。

這個指令碼需要三個必要引數，才能執行 Dataflow 工作：

• 專案 ID
• Cloud Storage bucket 名稱
• Java 類別名稱
• 選用第四個引數來設定選項

在後續步驟中，您會使用 --bigtable 選項，指示 Dataflow 管道將資料寫入 Bigtable。

3. 如要退出 nano，請按 CTRL+X。

4. 執行下列指令，將 run_oncloud.sh 指令碼設定為使用專案的預設區域：

sed -i 's/\$REGION/{{{project_0.default_region | REGION}}}/' run_oncloud.sh

5. 執行下列指令，啟動 Dataflow 管道，從 Pub/Sub 讀取資料並寫入 Bigtable：

./run_oncloud.sh $DEVSHELL_PROJECT_ID $BUCKET CurrentConditions --bigtable

成功啟動管道後，您會看到大致如下的訊息：

[INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 01:09 min [INFO] Finished at: 2022-06-01T17:21:29+00:00 [INFO] Final Memory: 60M/220M [INFO] ------------------------------------------------------------------------

探索 Dataflow 管道

1. 前往 Google Cloud 控制台的「導覽選單」，點選「查看所有產品」。在「數據分析」下方，依序點選「管道」>「工作」。

2. 點選新管道工作的名稱。

3. 在管道圖表中找出 write:cbt 步驟，然後點選 write:cbt 旁邊的向下箭頭，即可查看寫入者的詳細資料。

4. 點選提供的寫入者，查看「步驟資訊」中的詳細資料。

點選「Check my progress」，確認目標已達成。啟動 Dataflow 管道。

工作 4：確認串流資料已載入 Bigtable

在先前的工作中，您已在 Cloud Shell 中設定 .cbtrc 設定檔。現在您可以執行簡單的 cbt CLI 指令，查詢資料表的前五筆記錄。

• 執行下列指令，查看 lane 資料欄系列的前五列資料和值：

cbt read current_conditions count=5 \ columns="lane:.*"

輸出內容的結構如下：

---------------------------------------------- ROW KEY COLUMN_FAMILY:COLUMN_QUALIFIER @ TIMESTAMP VALUE

輸出值會大致如下：

---------------------------------------------- 15#S#1#9223370811310975807 lane:direction @ 1970/01/15-04:25:43.800000 "S" lane:highway @ 1970/01/15-04:25:43.800000 "15" lane:lane @ 1970/01/15-04:25:43.800000 "1.0" lane:latitude @ 1970/01/15-04:25:43.800000 "32.706184" lane:longitude @ 1970/01/15-04:25:43.800000 "-117.120565" lane:sensorId @ 1970/01/15-04:25:43.800000 "32.706184,-117.120565,15,S,1" lane:speed @ 1970/01/15-04:25:43.800000 "71.4" lane:timestamp @ 1970/01/15-04:25:43.800000 "2008-11-01 12:50:00"

工作 5：停止串流工作並刪除 Bigtable 資料

在這項最後的工作中，您將使用指令停止串流資料工作，並刪除 Bigtable 執行個體和資料表。

停止模擬串流資料

1. 在第一個 SSH 終端機中，按下 CONTROL+C 停止串流資料模擬器。

停止 Dataflow 工作

1. 前往 Google Cloud 控制台的「導覽選單」，依序點選「Dataflow」>「工作」。

2. 點選管道工作名稱。

3. 按一下「停止」。

4. 選取「取消」，然後點按「停止工作」。

刪除 Bigtable 資料表和執行個體

1. 在 Cloud Shell 執行下列指令，刪除 Bigtable 資料表：

cbt deletetable current_conditions

2. 如要刪除 Bigtable 執行個體，請執行下列指令：

gcloud bigtable instances delete sandiego

如果系統提示您確認，請輸入「Y」。

點選「Check my progress」，確認目標已達成。停止串流工作並刪除 Bigtable 資料。

恭喜！

在本實驗室中，您使用指令建立新的 Bigtable 執行個體和資料表，並透過 Dataflow 將資料串流至資料表，然後執行簡單的 cbt CLI 指令，確認資料已順利串流至 Bigtable。您已完成實驗室，並使用指令停止工作，以及刪除 Bigtable 資料表和執行個體。

後續步驟/瞭解詳情

• 請參加「監控與管理 Bigtable 健康狀態與效能」實驗室。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2025 年 8 月 19 日

實驗室上次測試日期：2025 年 8 月 19 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。