GSP1055

Ringkasan

Bigtable adalah layanan database NoSQL yang skalabel dan terkelola sepenuhnya dari Google. Bigtable cocok untuk menyimpan data dalam jumlah besar di penyimpanan key-value dan untuk kasus penggunaan seperti personalisasi, teknologi iklan, teknologi finansial, media digital, dan Internet of Things (IoT). Bigtable mendukung throughput baca dan tulis yang tinggi pada latensi rendah untuk akses cepat ke data dalam jumlah besar untuk pemrosesan dan analisis.

Untuk mengalirkan data dari sensor, Bigtable dapat menangani penulisan yang tinggi untuk menangkap volume data real-time yang besar.

Di lab ini, Anda akan menggunakan perintah untuk membuat instance Bigtable dengan tabel untuk menyimpan data sensor traffic yang disimulasikan. Kemudian, Anda meluncurkan pipeline Dataflow untuk memuat data streaming yang disimulasikan dari Pub/Sub ke Bigtable. Saat tugas Dataflow memuat data streaming dari Pub/Sub ke Bigtable, Anda akan memverifikasi bahwa tabel berhasil diisi. Anda menyelesaikan lab dengan menghentikan tugas streaming dan menghapus data Bigtable.

Yang akan Anda lakukan

Di lab ini, Anda akan mempelajari cara membuat instance dan tabel Bigtable menggunakan perintah dan menggunakan Dataflow untuk memuat data streaming.

• Membuat instance Bigtable menggunakan perintah Google Cloud CLI (gcloud CLI).
• Membuat tabel Bigtable dengan column family menggunakan perintah Cloud Bigtable CLI (CLI cbt).
• Meluncurkan pipeline Dataflow untuk membaca data streaming dari Pub/Sub dan menulis ke Bigtable.
• Memverifikasi data streaming yang dimuat ke Bigtable.
• Menghapus tabel Bigtable dan instance Bigtable menggunakan perintah.

Prasyarat

• Pemahaman dasar tentang konsep dan istilah database seperti instance, skema, dan kunci
• Menyelesaikan lab berjudul Mendesain dan Membuat Kueri Skema Bigtable

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search.

Mengaktifkan Cloud Shell

Cloud Shell adalah mesin virtual yang dilengkapi dengan berbagai alat pengembangan. Mesin virtual ini menawarkan direktori beranda persisten berkapasitas 5 GB dan berjalan di Google Cloud. Cloud Shell menyediakan akses command-line untuk resource Google Cloud Anda.

1. Klik Activate Cloud Shell di bagian atas Konsol Google Cloud.

2. Klik jendela berikut:

   • Lanjutkan melalui jendela informasi Cloud Shell.
   • Beri otorisasi ke Cloud Shell untuk menggunakan kredensial Anda guna melakukan panggilan Google Cloud API.

Setelah terhubung, Anda sudah diautentikasi, dan project ditetapkan ke Project_ID, . Output berisi baris yang mendeklarasikan Project_ID untuk sesi ini:

Project Cloud Platform Anda dalam sesi ini disetel ke {{{project_0.project_id | "PROJECT_ID"}}}

gcloud adalah alat command line untuk Google Cloud. Alat ini sudah terinstal di Cloud Shell dan mendukung pelengkapan command line.

3. (Opsional) Anda dapat menampilkan daftar nama akun yang aktif dengan perintah ini:

gcloud auth list

4. Klik Authorize.

Output:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} Untuk menetapkan akun aktif, jalankan: $ gcloud config set account `ACCOUNT`

5. (Opsional) Anda dapat menampilkan daftar ID project dengan perintah ini:

gcloud config list project

Output:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Catatan: Untuk mendapatkan dokumentasi gcloud yang lengkap di Google Cloud, baca panduan ringkasan gcloud CLI.

Tugas 1. Membuat instance dan tabel Bigtable menggunakan perintah

Untuk membuat tabel baru di Bigtable, Anda harus membuat instance Bigtable terlebih dahulu untuk menyimpan tabel Anda. Untuk membuat instance Bigtable, Anda dapat menggunakan konsol Google Cloud, perintah gcloud CLI, atau perintah cbt CLI.

Dalam tugas ini, Anda akan menggunakan Cloud Shell untuk menjalankan perintah CLI gcloud terlebih dahulu guna membuat instance Bigtable baru, lalu menjalankan perintah CLI cbt untuk terhubung ke Bigtable dan membuat tabel baru.

Untuk meninjau cara mengakses Cloud Shell, klik Setup and requirements di menu sisi kanan halaman ini.

Membuat instance Bigtable

• Untuk membuat instance Bigtable baru, jalankan perintah berikut di Cloud Shell:

gcloud bigtable instances create sandiego \ --display-name="San Diego Traffic Sensors" \ --cluster-storage-type=SSD \ --cluster-config=id=sandiego-traffic-sensors-c1,zone={{{project_0.default_zone | ZONE}}},nodes=1

Perintah ini membuat instance Bigtable baru dengan properti berikut:

Property	Value
Instance ID	sandiego
Instance display name	San Diego Traffic Sensors
Storage Type	SSD
Cluster ID	sandiego-traffic-sensors-c1
Zone
Node scaling mode	Manual allocation
Number of nodes	1

Saat Anda menerima pesan output, lanjutkan ke langkah berikutnya.

Creating bigtable instance sandiego...done.

Mengonfigurasi Bigtable CLI

Untuk terhubung ke Bigtable menggunakan perintah CLI cbt, Anda harus terlebih dahulu menggunakan Cloud Shell untuk mengupdate file konfigurasi .cbtrc dengan project ID dan ID instance Bigtable Anda.

1. Untuk memodifikasi file .cbtrc dengan project ID dan instance ID, jalankan perintah berikut:

echo project = `gcloud config get-value project` \ >> ~/.cbtrc echo instance = sandiego \ >> ~/.cbtrc

2. Untuk memverifikasi bahwa Anda telah berhasil memodifikasi file .cbtrc, jalankan perintah berikut:

cat ~/.cbtrc

Output akan terlihat seperti berikut:

project = <project-id> instance = sandiego

Membuat tabel Bigtable dengan grup kolom

Setelah mengonfigurasi file konfigurasi .cbtrc di Cloud Shell, Anda dapat menjalankan perintah CLI cbt sederhana untuk membuat tabel Bigtable baru dengan grup kolom.

• Untuk membuat tabel baru bernama current_conditions dengan satu grup kolom bernama lane, jalankan perintah berikut:

cbt createtable current_conditions \ families="lane"

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat instance dan tabel Bigtable.

Tugas 2. Mensimulasikan streaming data sensor traffic ke Pub/Sub

Dalam tugas ini, Anda akan menjalankan simulator data streaming dari virtual machine (VM) Compute Engine yang telah dibuat untuk lab ini. Untuk memulai tugas ini, Anda akan memasukkan perintah di VM bernama training-vm untuk menyiapkan lingkungan dan mendownload file yang diperlukan untuk simulator data streaming.

Terhubung ke VM

1. Di konsol Google Cloud, pada Navigation menu, klik Compute Engine > VM instances.

2. Cari baris yang berisi instance bernama training-vm, lalu di bagian Connect, klik SSH.

   Jendela terminal untuk training-vm akan terbuka.

   training-vm sedang menginstal beberapa software di latar belakang. Pada langkah berikutnya, Anda akan memverifikasi bahwa penyiapan telah selesai dengan memeriksa konten direktori baru.

3. Untuk mencantumkan konten direktori bernama training, jalankan perintah berikut:

ls /training

VM siap digunakan untuk melanjutkan saat output perintah ls menghasilkan hasil berikut:

bq_magic.sh project_env.sh sensor_magic.sh

Jika ketiga skrip tidak tercantum, tunggu beberapa menit dan coba lagi.

Catatan: Mungkin perlu waktu 2 hingga 3 menit agar semua tindakan latar belakang selesai.

Menjalankan skrip untuk menyimulasikan data streaming

1. Untuk mendownload repositori kode untuk digunakan di lab ini, jalankan perintah berikut:

git clone https://github.com/GoogleCloudPlatform/training-data-analyst

2. Untuk menyiapkan variabel lingkungan yang diperlukan, jalankan perintah berikut:

source /training/project_env.sh

Skrip ini menetapkan variabel lingkungan $DEVSHELL_PROJECT_ID dan $BUCKET sehingga Anda tidak perlu menetapkan variabel ini secara manual untuk Project ID dan nama bucket Cloud Storage.

Bucket Cloud Storage telah dibuat untuk Anda selama inisialisasi resource lab.

3. Untuk memulai simulator data streaming, jalankan perintah berikut:

/training/sensor_magic.sh

Skrip ini membaca sampel data dari file CSV dan memublikasikannya ke Pub/Sub. Skrip ini akan mengirimkan data satu jam dalam satu menit.

Biarkan skrip terus berjalan di terminal saat ini, dan lanjutkan dengan tugas berikutnya.

Klik Periksa progres saya untuk memverifikasi tujuan. Mensimulasikan streaming data sensor traffic ke Pub/Sub.

Tugas 3. Meluncurkan pipeline Dataflow untuk menulis data dari Pub/Sub ke Bigtable

Dalam tugas ini, Anda akan membuka terminal SSH kedua di training_vm dan menjalankan perintah untuk meluncurkan tugas Dataflow guna menulis data streaming dari Pub/Sub ke Bigtable.

Buka terminal SSH kedua

1. Di jendela terminal saat ini, klik Terminal settings (), lalu klik New connection.

Jendela terminal kedua akan terbuka. Sesi terminal baru ini tidak akan memiliki variabel lingkungan yang diperlukan. Pada langkah berikutnya, Anda akan menetapkan variabel ini pada sesi terminal baru.

2. Untuk menetapkan variabel lingkungan di terminal baru, jalankan perintah berikut:

source /training/project_env.sh

Skrip ini menetapkan variabel lingkungan $DEVSHELL_PROJECT_ID dan $BUCKET di jendela terminal baru.

Meluncurkan Pipeline Dataflow

1. Untuk membuka direktori kode di terminal baru, jalankan perintah berikut:

cd ~/training-data-analyst/courses/streaming/process/sandiego

2. Untuk meninjau skrip menggunakan nano, jalankan perintah berikut:

nano run_oncloud.sh

Jangan memodifikasi kode.

Skrip ini memerlukan tiga argumen untuk menjalankan tugas Dataflow:

• Project ID
• Nama bucket Cloud Storage
• Nama class Java
• argumen keempat opsional untuk opsi

Pada langkah berikutnya, Anda akan menggunakan opsi --bigtable untuk mengarahkan pipeline Dataflow agar menulis data ke Bigtable.

3. Untuk keluar dari nano, tekan CTRL+X.

4. Untuk mengonfigurasi skrip run_oncloud.sh agar menggunakan region default project, jalankan perintah berikut:

sed -i 's/\$REGION/{{{project_0.default_region | REGION}}}/' run_oncloud.sh

5. Untuk meluncurkan pipeline Dataflow untuk membaca dari Pub/Sub dan menulis ke Bigtable, jalankan perintah berikut:

./run_oncloud.sh $DEVSHELL_PROJECT_ID $BUCKET CurrentConditions --bigtable

Setelah pipeline diluncurkan dengan sukses, Anda akan melihat pesan seperti berikut:

[INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 01:09 min [INFO] Finished at: 2022-06-01T17:21:29+00:00 [INFO] Final Memory: 60M/220M [INFO] ------------------------------------------------------------------------

Mempelajari pipeline Dataflow

1. Di konsol Google Cloud, pada Navigation menu, klik Lihat semua produk. Di bagian Analytics, klik Dataflow > Jobs.

2. Klik nama tugas pipeline baru.

3. Temukan langkah write:cbt di diagram pipeline, dan untuk melihat detail penulis, klik panah bawah di samping write:cbt.

4. Klik penulis yang disediakan, lalu tinjau detail yang disediakan dalam Step info.

Klik Periksa progres saya untuk memverifikasi tujuan. Meluncurkan pipeline Dataflow.

Tugas 4. Memverifikasi data streaming yang dimuat ke Bigtable

Dalam tugas sebelumnya, Anda telah mengonfigurasi file konfigurasi .cbtrc di Cloud Shell. Sekarang Anda dapat menjalankan perintah CLI cbt sederhana untuk mengkueri lima kumpulan data pertama dari tabel.

• Untuk melihat lima baris pertama data dan nilainya di grup kolom lane, jalankan perintah berikut:

cbt read current_conditions count=5 \ columns="lane:.*"

Outputnya disusun sebagai berikut:

---------------------------------------------- ROW KEY COLUMN_FAMILY:COLUMN_QUALIFIER @ TIMESTAMP VALUE

Nilai output akan terlihat seperti berikut:

---------------------------------------------- 15#S#1#9223370811310975807 lane:direction @ 1970/01/15-04:25:43.800000 "S" lane:highway @ 1970/01/15-04:25:43.800000 "15" lane:lane @ 1970/01/15-04:25:43.800000 "1.0" lane:latitude @ 1970/01/15-04:25:43.800000 "32.706184" lane:longitude @ 1970/01/15-04:25:43.800000 "-117.120565" lane:sensorId @ 1970/01/15-04:25:43.800000 "32.706184,-117.120565,15,S,1" lane:speed @ 1970/01/15-04:25:43.800000 "71.4" lane:timestamp @ 1970/01/15-04:25:43.800000 "2008-11-01 12:50:00"

Tugas 5. Menghentikan tugas streaming dan menghapus data Bigtable

Dalam tugas terakhir ini, Anda akan menghentikan tugas data streaming dan menghapus instance dan tabel Bigtable menggunakan perintah.

Menghentikan data streaming yang disimulasikan

1. Di terminal SSH pertama dengan simulator data streaming, tekan CONTROL+C untuk menghentikan simulasi.

Menghentikan Tugas Dataflow

1. Di konsol Google Cloud, pada Navigation menu, klik Dataflow > Jobs.

2. Klik nama tugas pipeline.

3. Klik Stop.

4. Pilih Cancel, lalu klik Stop job.

Menghapus tabel dan instance Bigtable

1. Untuk menghapus tabel Bigtable, di Cloud Shell, jalankan perintah berikut:

cbt deletetable current_conditions

2. Untuk menghapus instance Bigtable, jalankan perintah berikut:

gcloud bigtable instances delete sandiego

Jika diminta untuk mengonfirmasi, ketik Y.

Klik Periksa progres saya untuk memverifikasi tujuan. Menghentikan tugas streaming dan menghapus data Bigtable.

Selamat!

Di lab ini, Anda menggunakan perintah untuk membuat instance dan tabel Bigtable baru, mengalirkan data ke tabel menggunakan Dataflow, dan mengonfirmasi bahwa data berhasil dialirkan ke Bigtable dengan menjalankan perintah CLI cbt sederhana. Anda telah menyelesaikan lab dengan menggunakan perintah untuk menghentikan tugas dan menghapus tabel serta instance Bigtable.

Langkah berikutnya/Pelajari lebih lanjut

• Lihat lab yang berjudul Memantau dan Mengelola Kesehatan dan Performa Bigtable.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Panduan Terakhir Diperbarui pada 19 Agustus 2025

Lab Terakhir Diuji pada 19 Agustus 2025

Hak cipta 2025 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.