ARC106

Ringkasan

Dalam challenge lab, Anda diberi sebuah skenario dan serangkaian tugas. Tidak ada petunjuk langkah demi langkah. Anda akan menggunakan keahlian yang dipelajari dari lab dalam kursus untuk mencari cara menyelesaikan sendiri tugas-tugas tersebut. Sistem pemberian skor otomatis (ditampilkan pada halaman ini) akan memberikan masukan tentang apakah Anda telah menyelesaikan tugas dengan benar atau tidak.

Saat mengikuti challenge lab, Anda tidak akan diajari konsep-konsep baru Google Cloud. Anda diharapkan dapat memperluas keahlian yang dipelajari, seperti mengubah nilai default dan membaca serta mengkaji pesan error untuk memperbaiki kesalahan Anda sendiri.

Untuk meraih skor 100%, Anda harus berhasil menyelesaikan semua tugas dalam jangka waktu tertentu.

Penyiapan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Skenario tantangan

Anda baru saja memulai peran sebagai data engineer junior. Sejauh ini, Anda telah membantu tim membuat dan mengelola data menggunakan BigQuery, Pub/Sub, dan Dataflow.

Anda diharapkan memiliki keterampilan dan pengetahuan untuk tugas seperti ini.

Tantangan Anda

Anda diminta membantu tim pengembangan yang baru dibentuk untuk mengerjakan beberapa tugas awal dalam project baru seputar data sensor lingkungan real-time. Anda diminta untuk membantu tim melakukan streaming data suhu ke BigQuery menggunakan Pub/Sub dan Dataflow; Anda menerima permintaan berikut untuk menyelesaikan tugas-tugas berikut:

• Membuat bucket Cloud Storage sebagai lokasi sementara untuk tugas Dataflow.
• Membuat set data dan tabel BigQuery untuk menerima data streaming.
• Membuat topik Pub/Sub dan menguji publikasi pesan ke topik tersebut.
• Membuat dan menjalankan tugas Dataflow untuk melakukan streaming data dari topik Pub/Sub ke BigQuery.
• Menjalankan kueri untuk memvalidasi data streaming.

Beberapa standar yang harus Anda ikuti:

• Pastikan API yang dibutuhkan (seperti Dataflow) berhasil diaktifkan.
• Buat semua resource di region , kecuali ada petunjuk lain.

Setiap tugas dijelaskan secara mendetail di bawah ini. Semoga berhasil!

Tugas 1. Membuat bucket Cloud Storage

• Buat bucket Cloud Storage menggunakan Project ID Anda sebagai nama bucket:

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat bucket Cloud Storage

Tugas 2. Membuat set data dan tabel BigQuery

1. Buat set data BigQuery bernama di region bernama US (multi region).

2. Di set data yang dibuat, buat tabel bernama dan tambahkan kolom data dengan jenis STRING.

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat set data dan tabel BigQuery

Tugas 3. Menyiapkan topik Pub/Sub

1. Membuat topik Pub/Sub bernama .

• Gunakan setelan default, yang telah mengaktifkan kotak centang untuk Add a default subscription.

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat topik Pub/Sub

Tugas 4. Menjalankan pipeline Dataflow untuk melakukan streaming data dari Pub/Sub ke BigQuery

1. Buat dan jalankan tugas Dataflow bernama untuk mengalirkan data dari topik Pub/Sub ke BigQuery, menggunakan topik Pub/Sub dan tabel BigQuery yang Anda buat di tugas sebelumnya.

• Gunakan Custom Dataflow Template.

• Gunakan Jalur di bawah untuk file template yang disimpan di Cloud Storage:

  gs://dataflow-templates-{{{project_0.default_region | Region }}}/latest/PubSub_to_BigQuery

• Gunakan topik Pub/Sub yang Anda buat di tugas sebelumnya:

• Gunakan bucket Cloud Storage yang Anda buat di tugas sebelumnya sebagai lokasi sementara:

• Gunakan set data dan tabel BigQuery yang Anda buat di tugas sebelumnya sebagai tabel output: .

• Gunakan sebagai endpoint regional.

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat pipeline Dataflow untuk mengalirkan data dari Pub/Sub ke BigQuery

Tugas 5. Memublikasikan pesan pengujian ke topik dan memvalidasi data di BigQuery

1. Publikasikan pesan ke topik Anda menggunakan sintaksis kode berikut untuk Message: {"data": "73.4 F"}

• Catatan: 73.4 F dapat diganti dengan nilai apa pun.

2. Jalankan pernyataan SELECT di BigQuery untuk melihat pesan pengujian yang diisi di tabel Anda.

Catatan: Jika Anda tidak melihat pesan pengujian apa pun di tabel BigQuery, periksa apakah tugas Dataflow memiliki status Running, lalu kirim pesan pengujian lainnya.

Klik Periksa progres saya untuk memverifikasi tujuan. Memublikasikan pesan pengujian ke topik dan memvalidasi data di BigQuery

Selamat!

Selamat! Di lab ini, Anda telah berhasil membuat bucket Cloud Storage, set data dan tabel BigQuery, topik Pub/Sub, dan tugas Dataflow untuk mengalirkan data dari Pub/Sub ke BigQuery. Anda juga telah memublikasikan pesan pengujian ke topik dan memvalidasi data di BigQuery.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 17 Juli 2024

Lab Terakhir Diuji pada 21 Maret 2024

Hak cipta 2025 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.