Ringkasan

Lab ini mengajarkan cara membuat instance Data Fusion dan men-deploy pipeline sampel yang disediakan. Pipeline ini membaca file JSON yang berisi data buku terlaris NYT dari Cloud Storage. Pipeline tersebut kemudian menjalankan transformasi pada file untuk mengurai dan membersihkan data. Dan terakhir, memuat subset kumpulan data ke BigQuery.

Tujuan

Di lab ini, Anda akan mempelajari cara:

• Membuat instance Data Fusion
• Men-deploy pipeline sampel yang menjalankan beberapa transformasi pada file JSON dan memfilter hasil yang cocok ke BigQuery

Penyiapan

Untuk setiap lab, Anda akan memperoleh project Google Cloud baru serta serangkaian resource selama jangka waktu tertentu, tanpa biaya.

1. Login ke Google Skills menggunakan jendela samaran.

2. Perhatikan waktu akses lab (misalnya, 1:15:00), dan pastikan Anda dapat menyelesaikannya dalam waktu tersebut.
   Tidak ada fitur jeda. Bila perlu, Anda dapat memulai ulang lab, tetapi Anda harus memulai dari awal.

3. Jika sudah siap, klik Start lab.

4. Catat kredensial lab (Nama pengguna dan Sandi) Anda. Anda akan menggunakannya untuk login ke Google Cloud Console.

5. Klik Open Google Console.

6. Klik Use another account, lalu salin/tempel kredensial lab ini ke perintah yang muncul.
   Jika menggunakan kredensial lain, Anda akan menerima pesan error atau dikenai biaya.

7. Setujui ketentuan dan lewati halaman resource pemulihan.

Login ke Konsol Google Cloud.

1. Dengan menggunakan tab atau jendela browser yang Anda gunakan untuk sesi lab ini, salin Username dari panel Connection Details, lalu klik tombol Open Google Console.

Catatan: Jika Anda diminta untuk memilih akun, klik Use another account.

2. Tempel Username, lalu Password saat diminta.
3. Klik Next.
4. Setujui persyaratan dan ketentuan.

Karena ini adalah akun sementara yang hanya akan berlaku selama penggunaan lab ini, Anda disarankan untuk:

• Tidak menambahkan opsi pemulihan
• Tidak mendaftar ke uji coba gratis

5. Setelah konsol terbuka, lihat daftar layanan dengan mengklik Navigation menu () di kiri atas.

Mengaktifkan Cloud Shell

Cloud Shell adalah mesin virtual dengan beberapa alat pengembangan. Mesin virtual ini menawarkan direktori beranda persisten berkapasitas 5 GB dan berjalan di Google Cloud. Cloud Shell memberikan akses command line ke resource Google Cloud Anda. gcloud adalah alat command line untuk Google Cloud. Fitur ini sudah terinstal di Cloud Shell dan mendukung penyelesaian tab.

1. Di Google Cloud Console, pada panel navigasi, klik Activate Cloud Shell ().

2. Klik Continue.
   Perlu waktu beberapa saat untuk menyediakan dan menghubungkan ke lingkungan. Setelah terhubung, Anda juga diautentikasi, dan project ditetapkan ke PROJECT_ID Anda. Contoh:

Contoh perintah

• Cantumkan nama akun aktif:

gcloud auth list

(Output)

Akun berkredensial: - <myaccount>@<mydomain>.com (active)

(Contoh output)

Akun berkredensial: - google1623327_student@qwiklabs.net

• Cantumkan ID project:

gcloud config list project

(Output)

[core] project = <project_ID>

(Contoh output)

[core] project = qwiklabs-gcp-44776a13dea667a6

Memeriksa izin project

Sebelum mulai bekerja di Google Cloud, Anda harus memastikan project Anda memiliki izin yang tepat dalam Identity and Access Management (IAM).

1. Di Konsol Google Cloud, pada Navigation menu (), klik IAM & Admin > IAM.

2. Pastikan Akun Layanan komputasi default {project-number}-compute@developer.gserviceaccount.com tersedia dan peran editor telah ditetapkan. Prefiks akun adalah nomor project yang dapat Anda temukan di Navigation menu > Cloud overview.

Jika akun tersebut tidak ada di IAM atau tidak memiliki peran editor, ikuti langkah-langkah di bawah untuk menetapkan peran yang diperlukan.

1. Di Konsol Google Cloud, pada Navigation menu, klik Cloud overview.

2. Dari kartu Project info, salin Project number.

3. Pada Navigation menu, klik IAM & Admin > IAM.

4. Di bagian atas halaman IAM, klik Add.

5. Untuk New principals, ketik:

{project-number}-compute@developer.gserviceaccount.com

Ganti {project-number} dengan nomor project Anda.

6. Untuk Select a role, pilih Basic (atau Project) > Editor.

7. Klik Save.

Tugas 1. Mengaktifkan Cloud Data Fusion API

1. Di Konsol Cloud, pada Navigation menu (), klik APIs & Services > Library.

2. Di kotak penelusuran, ketik Data fusion untuk menemukan Cloud Data Fusion API, lalu klik hyperlink-nya.

3. API sudah diaktifkan, jadi klik Manage, lalu klik Disable API. Konfirmasi Disable.

4. Setelah API dinonaktifkan, klik Enable untuk mengaktifkan kembali API.

Tugas 2. Membuat instance Cloud Data Fusion

1. Di Konsol Google Cloud, pada Navigation menu (), klik View all products. Di bagian Analytics, klik Data Fusion.

2. Klik link Create an Instance di bagian atas untuk membuat instance Cloud Data Fusion.

3. Di halaman Create Data Fusion instance yang dimuat:

a. Masukkan nama untuk instance Anda (seperti cdf-lab-instance).

b. Di Region, pilih us-central1.

c. Di bagian Edition, pilih Basic.

d. Di bagian Authorization, klik Grant Permission jika diperlukan.

e. Klik ikon dropdown di samping Advanced Options, lalu di bagian Advanced Monitoring and Logging, centang kotak Dataproc Cloud logging.

f. Biarkan semua kolom lainnya tetap apa adanya, lalu klik Create.

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat instance Cloud Data Fusion

Catatan: Pembuatan instance memerlukan waktu sekitar 10 menit. Sambil menunggu, tonton presentasi tentang Cloud Data Fusion dari Next '19 ini, mulai dari stempel waktu 15:31. Kembali dan periksa instance sesekali. Anda dapat melanjutkan videonya setelah menyelesaikan lab.

Catatan: Ingat, lab ini memiliki batas waktu, dan hasil kerja Anda akan hilang jika waktunya habis.

Selanjutnya, Anda akan memberikan izin ke akun layanan yang terkait dengan instance tersebut, menggunakan langkah-langkah berikut.

4. Klik nama instance. Di halaman Instance details, salin Dataproc Service Account ke papan klip Anda.

5. Di Konsol Google Cloud, pada Navigation menu (), pilih IAM & Admin > IAM.

6. Pada halaman IAM Permissions, klik +Grant Access.

7. Tempel Dataproc Service Account tadi ke kolom New principals.

8. Klik kolom Select a role dan mulai ketik Cloud Data Fusion API Service Agent, lalu pilih peran tersebut.

9. Klik Save.

Klik Periksa progres saya untuk memverifikasi tujuan. Menambahkan peran Agen Layanan Cloud Data Fusion API ke akun layanan

Tugas 3. Mengakses UI Cloud Data Fusion

Saat menggunakan Cloud Data Fusion, Anda menggunakan Konsol Cloud dan UI Cloud Data Fusion yang terpisah.

• Di Konsol Cloud, Anda dapat membuat dan menghapus instance Cloud Data Fusion, serta melihat detail instance Cloud Data Fusion.

• Di UI web Cloud Data Fusion, Anda dapat mengakses berbagai halaman, seperti Pipeline Studio atau Wrangler, untuk menggunakan fungsi Cloud Data Fusion.

Untuk mengakses UI Cloud Data Fusion, ikuti langkah-langkah berikut:

1. Di Konsol Google Cloud, pada Navigation menu (), klik View all products. Di bagian Analytics, klik Data Fusion.

2. Klik link View Instance di samping instance Data Fusion Anda. Pilih kredensial lab Anda untuk login dan jika diperlukan, centang kotak di samping Manage your Google Service Control data. Klik Continue.

3. Jika diminta mengikuti tur layanan, klik Cancel. Anda kini dialihkan ke UI Cloud Data Fusion.

4. Perhatikan bahwa UI web Cloud Data Fusion dilengkapi dengan panel navigasinya sendiri (di sebelah kiri) untuk berpindah ke halaman yang Anda butuhkan.

Tugas 4. Men-deploy pipeline sampel

Pipeline sampel tersedia melalui Hub Cloud Data Fusion, yang memungkinkan Anda berbagi pipeline, plugin, dan solusi Cloud Data Fusion yang dapat digunakan ulang.

1. Di UI web Cloud Data Fusion, klik HUB di kanan atas.

2. Di panel kiri, klik Pipelines.

3. Klik pipeline Cloud Data Fusion Quickstart, lalu klik Create pada pop-up yang muncul.

4. Di panel konfigurasi Cloud Data Fusion Quickstart, klik Finish.

5. Klik Customize Pipeline. Representasi visual pipeline Anda akan muncul di Pipeline Studio, yang merupakan antarmuka grafis untuk mengembangkan pipeline integrasi data. Plugin pipeline yang tersedia tercantum di sebelah kiri, dan pipeline Anda ditampilkan di area canvas utama. Anda dapat menjelajahi pipeline dengan menahan kursor di salah satu node pipeline dan mengklik tombol Properties yang muncul. Menu Properties pada setiap node memungkinkan Anda melihat objek dan operasi yang terkait dengan node tersebut.

Catatan: Node dalam pipeline adalah objek yang terhubung dalam urutan untuk menghasilkan Directed Acyclic Graph. Misalnya, Source, Sink, Transform, Action, dll.

6. Di menu kanan atas, klik Deploy. Perintah ini akan mengirimkan pipeline ke Cloud Data Fusion. Anda akan menjalankan pipeline di bagian berikutnya.

Tugas 5. Melihat pipeline Anda

Pipeline yang di-deploy akan muncul di tampilan detail pipeline, tempat Anda dapat melakukan hal berikut:

• Melihat struktur dan konfigurasi pipeline.

• Menjalankan pipeline secara manual dan menyiapkan jadwal atau pemicu.

• Melihat ringkasan histori operasi pipeline, termasuk waktu eksekusi, log, dan metrik.

Tugas 6. Menjalankan pipeline Anda

1. Di tampilan detail pipeline, klik Run di bagian tengah atas untuk menjalankan pipeline Anda.

Catatan: Saat menjalankan pipeline, Cloud Data Fusion menyediakan cluster Dataproc sementara, menjalankan pipeline di cluster menggunakan Apache Hadoop MapReduce atau Apache Spark, lalu menghapus cluster tersebut. Saat pipeline beralih ke status Running, Anda dapat memantau pembuatan dan penghapusan cluster Dataproc. Cluster ini hanya ada selama pipeline berjalan. Catatan: Jika pipeline menunjukkan status gagal, jalankan ulang pipeline tersebut.

2. Setelah beberapa menit, pipeline akan selesai. Status pipeline berubah menjadi Succeeded dan jumlah kumpulan data yang diproses oleh setiap node akan ditampilkan.

Klik Periksa progres saya untuk memverifikasi tujuan. Men-deploy dan menjalankan pipeline sampel

Tugas 7. Melihat hasil

Pipeline menulis output ke tabel BigQuery. Anda dapat memverifikasinya menggunakan langkah-langkah berikut.

1. Klik link ini untuk membuka UI BigQuery di Konsol Cloud atau klik kanan tab konsol dan pilih Duplicate, lalu gunakan Navigation menu () untuk memilih BigQuery.

2. Di panel Classic Explorer, klik Project ID Anda (akan memiliki awalan qwiklabs).

3. Di bagian set data GCPQuickstart di project Anda, klik tabel top_rated_inexpensive.

4. Klik + SQL Query, tempelkan kueri di bawah, lalu klik Run.

SELECT * FROM `{{{project_0.project_id | "PROJECT_ID"}}}.GCPQuickStart.top_rated_inexpensive` LIMIT 10

5. Tunggu hingga kueri selesai. Results yang serupa akan muncul.

Klik Periksa progres saya untuk memverifikasi tujuan. Melihat hasil

Selamat!

Di lab ini, Anda telah mempelajari cara membuat instance Data Fusion dan men-deploy pipeline sampel yang membaca file input dari Cloud Storage, serta mentransformasi dan memfilter data untuk menghasilkan subset data yang dimuat ke BigQuery.

Mengakhiri lab Anda

Setelah Anda menyelesaikan lab, klik End Lab. Google Skills akan menghapus resource yang telah Anda gunakan dan membersihkan akun.

Anda akan diberi kesempatan untuk menilai pengalaman menggunakan lab. Pilih jumlah bintang yang sesuai, ketik komentar, lalu klik Submit.

Makna jumlah bintang:

• 1 bintang = Sangat tidak puas
• 2 bintang = Tidak puas
• 3 bintang = Netral
• 4 bintang = Puas
• 5 bintang = Sangat puas

Anda dapat menutup kotak dialog jika tidak ingin memberikan masukan.

Untuk masukan, saran, atau koreksi, gunakan tab Support.

Manual Terakhir Diperbarui pada 17 Desember 2025

Lab Terakhir Diuji pada 17 Desember 2025

Hak cipta 2026 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang dari tiap-tiap perusahaan yang bersangkutan.