PENTING:

Pastikan untuk menyelesaikan lab praktik ini hanya di desktop/laptop.

Hanya ada 5 percobaan yang diizinkan per lab.

Sebagai pengingat – wajar jika Anda tidak dapat menjawab semua pertanyaan dengan benar pada percobaan pertama, dan bahkan perlu mengulang suatu tugas. Hal ini merupakan bagian dari proses pembelajaran.

Setelah lab dimulai, timer tidak dapat dijeda. Setelah 1 jam 30 menit, lab akan berakhir dan Anda harus memulainya lagi.

Untuk informasi selengkapnya, tinjau bacaan Tips teknis lab.

Ringkasan aktivitas

Pipeline data adalah serangkaian proses pengiriman data dari berbagai sumber ke suatu tujuan untuk disimpan dan dianalisis.

Pipeline data dapat meningkatkan performa dan efisiensi transformasi data dengan mengotomatiskan alur data dan menyederhanakan cara penanganan data.

Menggunakan pipeline SQL dapat membantu Anda meningkatkan performa dengan menghilangkan langkah-langkah yang tidak perlu. Hal ini disebabkan pipeline SQL dapat membaca dan menulis data langsung ke tujuan tanpa harus membuat set data perantara, sehingga dapat menghemat waktu dan resource, serta meningkatkan akurasi hasil Anda.

Selain itu, pipeline SQL dapat membantu Anda mengoptimalkan kapasitas penyimpanan data. Hal ini karena Anda dapat menggunakan pipeline untuk menghapus atau mengarsipkan data yang tidak lagi diperlukan. Tindakan ini dapat mengosongkan ruang di sistem penyimpanan Anda, dan juga dapat membantu mempercepat performa.

Membangun pipeline SQL yang efisien dan fleksibel bisa jadi sulit, terutama karena kebutuhan organisasi berubah dengan cepat. Namun, dengan merencanakan dan mendesain pipeline secara cermat, Anda dapat membuat pipeline yang dapat beradaptasi dengan kebutuhan data yang paling kompleks sekalipun.

Dalam lab ini, Anda akan mengelola data dan menggunakan SQL untuk membangun pipeline yang efisien dan fleksibel guna memenuhi kebutuhan bisnis.

Skenario

Dalam beberapa tahun terakhir, keuntungan TheLook eCommerce telah meningkat pesat berkat belanja online. Namun, waktu pengiriman tidak sesuai dengan harapan, dan kepuasan pelanggan menurun.

Sebagai analis data cloud untuk TheLook eCommerce, Anda diminta berkolaborasi dengan Kai, kepala tim logistik, untuk mengembangkan pipeline data guna mengumpulkan, membersihkan, mentransformasi, dan memuat data terkait pengiriman kepada pelanggan, termasuk jarak yang ditempuh dari pusat distribusi ke tiap pelanggan.

Informasi ini akan membantu tim logistik menentukan cara meningkatkan waktu pengiriman dan kepuasan pelanggan, misalnya, dengan membuka pusat distribusi baru, memindahkan pusat distribusi yang ada, atau berinvestasi dalam metode transportasi baru.

Anda akan menerapkan keterampilan BigQuery dan SQL untuk mendesain pipeline fleksibel yang memberikan data yang andal kepada tim logistik untuk memantau performa pengiriman dengan lebih baik, dan dapat diperbarui dengan mudah seiring perubahan kebutuhan data tim logistik.

Pertama, Anda akan membuat set data dan menentukan skema tabel untuk data yang akan diserap. Selanjutnya, Anda akan melakukan dan mempelajari serangkaian transformasi. Kemudian, Anda akan menerapkan transformasi pada data sebelum memuat data yang telah ditransformasi ke dalam tabel yang baru ditentukan. Terakhir, Anda akan memformalkan kueri tersebut menjadi prosedur tersimpan.

Penyiapan

Sebelum Anda mengklik Start Lab

Baca petunjuk ini. Lab memiliki timer yang tidak dapat dijeda. Timer, yang dimulai saat Anda mengklik Start Lab, akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab praktis ini dapat Anda gunakan untuk melakukan sendiri aktivitas di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Jika Anda sudah memiliki project atau akun pribadi Google Cloud, jangan menggunakannya untuk lab ini agar terhindar dari tagihan ekstra pada akun Anda.

Cara memulai lab dan login ke Konsol Google Cloud

1. Klik tombol Start Lab. Di sebelah kiri adalah panel Lab Details dengan informasi berikut ini:

   • Waktu tersisa
   • Tombol Open Google Cloud console
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini
   Catatan: Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran.

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window) jika Anda menjalankan browser Chrome. Halaman Sign in akan terbuka di tab browser baru.

   Tips: Anda dapat mengatur tab di jendela terpisah secara berdampingan untuk memudahkan Anda berpindah-pindah tab.

   Catatan: Jika dialog Choose an account ditampilkan, klik Use Another Account.

3. Jika perlu, salin Username Google Cloud di bawah dan tempel ke dialog Sign in. Klik Next.

{{{user_0.username | "Google Cloud username"}}}

Anda juga dapat menemukan nama pengguna Google Cloud di panel Lab Details.

4. Salin Google Cloud password di bawah dan tempel ke dialog Welcome. Klik Next.

{{{user_0.password | "Google Cloud password"}}}

Anda juga dapat menemukan password Google Cloud di panel Lab Details.

Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

5. Klik halaman berikutnya:
   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan daftar uji coba gratis.

Setelah beberapa saat, konsol akan terbuka di tab ini.

Catatan: Anda dapat melihat menu berisi daftar Produk dan Layanan Google Cloud dengan mengklik Navigation menu di kiri atas.

Tugas 1. Membuat set data

Dalam tugas ini, Anda akan membuat set data di project yang ada, serta menentukan skema dan jenis data.

1. Di Konsol Cloud, dari Navigation menu (), pilih BigQuery.

Catatan: Kotak pesan Welcome to BigQuery in the Cloud Console mungkin akan muncul, yang menyediakan link ke panduan memulai dan catatan rilis untuk update UI. Klik Done untuk melanjutkan.

Navigation menu, panel Explorer, dan Query Editor akan ditampilkan.

2. Klik ikon View actions () di samping project ID Anda, lalu pilih Create dataset.

Catatan: Anda mungkin perlu memilih project terlebih dahulu. Untuk melakukannya, klik Select a project di kolom judul Konsol Google Cloud, lalu pilih link project dari dialog Select a project.

3. Di panel Create dataset, tetapkan Dataset ID ke thelook_ecommerce. Pastikan lokasi ditetapkan ke US multi-region, dan biarkan kolom lainnya tetap pada nilai defaultnya.

4. Klik Create dataset.

Anda akan melihat set data thelook_ecommerce yang ditampilkan di bawah nama project Anda.

5. Di Query Editor, klik ikon SQL query (+) untuk membuka tab Untitled query baru guna menjalankan kueri.

Catatan: Tiap kali Anda menjalankan kueri baru di Query Editor, Anda dapat mengganti kueri lama dengan menyalin dan menempelkan kueri baru di atas kueri sebelumnya di tab Untitled query yang sama, atau Anda dapat mengklik ikon SQL query (+) untuk membuka tab Untitled query baru untuk menjalankan kueri.

6. Salin dan tempel kueri berikut di tab Untitled query untuk membuat tabel product_order_fulfillment:

--Create empty product_orders_fulfillment table CREATE OR REPLACE TABLE `thelook_ecommerce.product_orders_fulfillment` ( order_id INT64, user_id INT64, status STRING, product_id INT64, created_at TIMESTAMP, returned_at TIMESTAMP, shipped_at TIMESTAMP, delivered_at TIMESTAMP, cost NUMERIC, sale_price NUMERIC, retail_price NUMERIC, category STRING, name STRING, brand STRING, department STRING, sku STRING, distribution_center_id INT64);

7. Klik Run.

Catatan: Kueri ini membuat tabel baru bernama product_orders_fulfillment jika belum ada, atau mengganti tabel yang ada dengan definisi tabel baru.

8. Klik Go To Table untuk menjelajahi skema tabel dan jenis data yang telah dibuat.

Meskipun saat ini kosong, set data ini adalah lokasi tempat data akan diisi setelah dimuat.

Klik Periksa progres saya untuk memastikan Anda telah menyelesaikan tugas ini dengan benar.

Membuat Set Data

Tugas 2. Membuat tabel dari hasil kueri

Analisis Anda diperluas untuk mencakup analisis kedekatan pusat distribusi dengan pelanggan yang melakukan pemesanan. Untuk melakukannya, Anda harus menghitung nilai berdasarkan lokasi geografis.

Dalam tugas ini, Anda akan membuat titik geometris dari nilai lintang dan bujur yang diberikan dalam tabel original users dan distribution_centers.

1. Tempel kueri berikut ke Query Editor:

--Create empty customers table CREATE OR REPLACE TABLE `thelook_ecommerce.customers` ( id INT64, first_name STRING, last_name STRING, email STRING, age INT64, gender STRING, state STRING, street_address STRING, postal_code STRING, city STRING, country STRING, traffic_source STRING, created_at TIMESTAMP, latitude FLOAT64, longitude FLOAT64, point_location GEOGRAPHY); --Create empty centers table CREATE OR REPLACE TABLE `thelook_ecommerce.centers` ( id INT64, name STRING, latitude FLOAT64, longitude FLOAT64, point_location GEOGRAPHY);

Kueri ini membuat definisi tabel untuk tabel customers dan centers, yang akan menyertakan kolom asli dari tabel users dan distribution_centers. Kueri ini juga menambahkan kolom point_location ke kedua tabel. Kolom point_location ini akan memiliki jenis data yang ditetapkan ke Geography.

2. Klik Run.

Klik Periksa progres saya untuk memastikan Anda telah menyelesaikan tugas ini dengan benar.

Membuat tabel baru untuk menyimpan data yang relevan

Tugas 3. Melakukan transformasi pada data BigQuery

Dalam tugas ini, Anda akan membuat geometri titik menggunakan fungsi geografi ST_GEOGPOINT, tempat Anda memanggil ST_GEOGPOINT(lon, lat).

Pertama, jalankan kueri SQL berikut untuk membuat dan mengisi tabel centers dan customers. Kueri ini memuat data dari pernyataan SELECT, mengingat lokasi asli (bujur, lintang) data berada di set data publik thelook_ecommerce BigQuery.

Set data publik Google adalah set data apa pun yang disimpan di BigQuery dan disediakan untuk publik melalui Program Set Data Publik Google Cloud. Set data publik memudahkan penggunaan data publik yang tersedia di BigQuery tanpa harus memuat dan mempertahankannya.

1. Tempel kueri berikut ke Query Editor:

--load the centers table from public dataset and include geography transformation CREATE OR REPLACE TABLE `thelook_ecommerce.centers` AS SELECT id, name, latitude, longitude, ST_GEOGPOINT(dcenters.longitude, dcenters.latitude) AS point_location FROM `bigquery-public-data.thelook_ecommerce.distribution_centers` AS dcenters;

Kueri ini memuat tabel centers, termasuk transformasi geografi.

2. Klik Run.

Catatan: Anda dapat mengklik Go To Table untuk menjelajahi skema tabel dan jenis data yang telah dibuat.

3. Sekarang, salin kueri berikut ke Query Editor:

--load the customers table from public dataset and include geography transformation CREATE OR REPLACE TABLE `thelook_ecommerce.customers` AS SELECT id, first_name, last_name, email, age, gender, state, street_address, postal_code, city, country, traffic_source, created_at, latitude, longitude, ST_GEOGPOINT(users.longitude, users.latitude) AS point_location FROM `bigquery-public-data.thelook_ecommerce.users` AS users;

Kueri ini memuat tabel customers termasuk transformasi geografi.

4. Klik Run.

Selanjutnya, Anda perlu menghitung nilai data untuk analisis.

Mengingat pentingnya hubungan antara pelanggan dan pusat distribusi, Anda akan menggunakan lokasi titik geografis ini untuk menghitung pusat distribusi terdekat dengan tiap pelanggan dan jarak lokasi tersebut.

Untuk melakukannya, gunakan fungsi geografi, ST_DISTANCE, untuk menghitung jarak minimum antara lokasi pelanggan dan pusat distribusi.

5. Salin subkueri skalar berikut ke Query Editor:

SELECT customers.id as customer_id, ( SELECT MIN(ST_DISTANCE(centers.point_location, customers.point_location))/1000, FROM `thelook_ecommerce.centers` AS centers) AS distance_to_closest_center FROM `thelook_ecommerce.customers` AS customers ;

Kueri ini menghitung jarak dalam kilometer.

6. Klik Run.

Seperti yang ditampilkan dalam screenshot, kueri menampilkan jarak antara tiap pelanggan dan pusat distribusi terdekat. Luangkan waktu untuk meninjau pernyataan SELECT guna memahami cara pernyataan tersebut memperoleh penghitungan jarak.

7. Luaskan dropdown Save, lalu pilih Save query.

Dialog Save query akan terbuka.

8. Untuk kolom Name, ketik Calculate Customer Distance to Closest Center.
9. Untuk Region, pilih .
10. Klik Save.

Kueri disimpan ke daftar Queries.

Klik Periksa progres saya untuk memastikan Anda telah menyelesaikan tugas ini dengan benar.

Melakukan transformasi pada data BQ

Tugas 4. Membuat prosedur tersimpan untuk memastikan update yang lebih mudah

Prosedur tersimpan adalah sekumpulan pernyataan SQL yang disimpan dalam database dan dapat dieksekusi sebagai satu unit.

Dalam tugas ini, Anda akan membuat prosedur tersimpan untuk menyertakan semua definisi tabel, transformasi, dan pernyataan penyerapan yang telah Anda buat secara manual dan berurutan sejauh ini dalam Tugas 1 - 3.

Untuk membuat prosedur tersimpan (dalam hal ini, sp_create_load_tables), tambahkan pernyataan CREATE OR REPLACE PROCEDURE di awal skrip Anda, diikuti dengan nama prosedur tersimpan dan pernyataan BEGIN. Setelah Anda menambahkan semua komponen prosedur, tambahkan pernyataan END.

Untuk menambahkan prosedur, Anda dapat menempatkan definisi tabel dan bagian penyerapan data. Anda dapat menempatkan semua definisi tabel di depan, atau mengelompokkannya berdasarkan tabel, sesuai preferensi Anda. Namun, di lab ini, tiap definisi tabel diikuti dengan bagian penyerapan data dan transformasi lain yang dilakukan pada langkah-langkah sebelumnya.

Anda juga dapat membuat kolom di tabel customer yang dapat menyimpan distance_to_closest_center dan closest_center yang dihitung. Keunggulan prosedur ini adalah jika skema berubah, atau jika Anda ingin menyertakan kolom tambahan atau membuat kolom kalkulasi, Anda dapat dengan mudah menambahkannya ke atau memperbarui prosedur tersimpan. Setelah diperbarui, prosedur tersimpan dapat disetel untuk dijalankan secara rutin.

Sekarang, buat prosedur tersimpan yang akan menjalankan semua langkah yang sebelumnya Anda jalankan di Tugas 1 - 3, sebagai satu unit. Kode berikut, saat dijalankan, akan memperbarui tabel dan mengisinya dengan tepat.

1. Salin kueri berikut ke tab kueri Untitled yang baru:

CREATE OR REPLACE PROCEDURE `thelook_ecommerce.sp_create_load_tables`() BEGIN --Create empty product_orders_fulfillment table CREATE OR REPLACE TABLE `thelook_ecommerce.product_orders_fulfillment` ( order_id INT64, user_id INT64, status STRING, product_id INT64, created_at TIMESTAMP, returned_at TIMESTAMP, shipped_at TIMESTAMP, delivered_at TIMESTAMP, cost NUMERIC, sale_price NUMERIC, retail_price NUMERIC, category STRING, name STRING, brand STRING, department STRING, sku STRING, distribution_center_id INT64) ; --load the product_order_fulfillment table from public dataset CREATE OR REPLACE TABLE thelook_ecommerce.product_orders_fulfillment AS SELECT items.*, products.id AS product_id_products, products.name AS product_name, products.category AS product_category, FROM bigquery-public-data.thelook_ecommerce.order_items AS items JOIN bigquery-public-data.thelook_ecommerce.products AS products ON (items.product_id = products.id); --Create empty centers table CREATE OR REPLACE TABLE `thelook_ecommerce.centers` ( id INT64, name STRING, latitude FLOAT64, longitude FLOAT64, point_location GEOGRAPHY); --load the centers table from public dataset and include geography transformation CREATE OR REPLACE TABLE `thelook_ecommerce.centers` AS SELECT id, name, latitude, longitude, ST_GEOGPOINT(dcenters.longitude, dcenters.latitude) AS point_location FROM `bigquery-public-data.thelook_ecommerce.distribution_centers` AS dcenters ; --Create empty customers table CREATE OR REPLACE TABLE `thelook_ecommerce.customers` ( id INT64, first_name STRING, last_name STRING, email STRING, age INT64, gender STRING, state STRING, street_address STRING, postal_code STRING, city STRING, country STRING, traffic_source STRING, created_at TIMESTAMP, latitude FLOAT64, longitude FLOAT64, point_location GEOGRAPHY); --load the customers table from public dataset and include geography transformation CREATE OR REPLACE TABLE `thelook_ecommerce.customers` AS SELECT id, first_name, last_name, email, age, gender, state, street_address, postal_code, city, country, traffic_source, created_at, latitude, longitude, ST_GEOGPOINT(users.longitude, users.latitude) AS point_location FROM `bigquery-public-data.thelook_ecommerce.users` AS users ; END ;

2. Klik Run.

Perhatikan: prosedur tersimpan akan membuat semua tabel yang diperlukan dan mengisinya dengan data yang telah diubah. Namun, prosedur tersimpan tidak akan menampilkan hasil kueri yang menunjukkan jarak antara pelanggan dan distribusi terdekat. Lanjutkan ke Langkah 7 di bawah untuk melakukannya.

3. Luaskan dropdown Save, lalu pilih Save query. Dialog Save query akan terbuka.
4. Di kolom Name, ketik sp_create_load_tables.
5. Untuk Region, pilih .
6. Klik Save. Prosedur tersimpan ini akan ditampilkan di bagian Routines set data:
7. Klik Run untuk menjalankan prosedur tersimpan ini.

Seperti yang ditunjukkan pada Langkah 5 dari Tugas 3 di atas, jalankan pernyataan SELECT SQL untuk mendapatkan jarak antara tiap pelanggan dan pusat distribusi terdekat.

8. Salin subkueri skalar berikut ke Query Editor:

SELECT customers.id as customer_id, ( SELECT MIN(ST_DISTANCE(centers.point_location, customers.point_location))/1000, FROM `thelook_ecommerce.centers` AS centers) AS distance_to_closest_center FROM `thelook_ecommerce.customers` AS customers ;

Kueri ini menghitung jarak dalam kilometer.

9. Klik Run.

Klik Periksa progres saya untuk memastikan Anda telah menyelesaikan tugas ini dengan benar.

Membuat prosedur tersimpan untuk memastikan update yang lebih mudah Catatan: Anda tidak akan menjalankan kueri terjadwal di lab ini, tetapi Anda perlu memahami berbagai cara untuk mengupdate data dan mempertahankan pipeline SQL.

Untuk menyiapkan kueri terjadwal, cukup klik Schedule dalam Query Editor. Jendela New schedule query akan terbuka, dengan beberapa detail kueri yang harus Anda tentukan. Anda dapat melakukannya dengan kueri apa pun yang perlu diupdate secara rutin.

Kesimpulan

Kerja bagus!

Anda telah berhasil menggunakan SQL dan BigQuery untuk membuat pipeline data yang sederhana dan fleksibel yang memenuhi kebutuhan bisnis.

Pertama, Anda membuat set data dan menentukan skema tabel untuk data yang akan diserap. Selanjutnya, Anda melakukan dan mempelajari serangkaian transformasi.

Kemudian, Anda menerapkan transformasi pada data sebelum memuat data yang telah ditransformasi ke dalam tabel yang baru ditentukan.

Terakhir, Anda memformalkan kueri tersebut menjadi prosedur tersimpan untuk menyertakan nilai penting yang dihitung, dan cara menyiapkan kueri terjadwal untuk update rutin.

Melalui lab ini, Anda telah mempelajari pentingnya membuat set data dan menentukan skema tabel untuk data yang ada di dalamnya. Dengan menjalankan dan memeriksa serangkaian transformasi, Anda telah mengembangkan keterampilan untuk menerapkan transformasi pada data sebelum memuat data yang telah ditransformasi ke dalam tabel yang baru ditentukan. Anda juga mempelajari cara memformalkan kueri ini menjadi prosedur tersimpan untuk menyertakan nilai penting yang dihitung dan cara menyiapkan kueri terjadwal untuk update rutin.

Anda telah memahami cara menggunakan BigQuery untuk membuat dan mengelola pipeline SQL.

Mengakhiri lab Anda

Sebelum mengakhiri lab, pastikan Anda puas telah menyelesaikan semua tugas. Jika sudah siap, klik Akhiri Lab, lalu klik Kirim.

Dengan mengakhiri lab, Anda akan menghapus akses ke lingkungan lab, dan Anda tidak akan dapat mengakses kembali pekerjaan yang telah Anda selesaikan di dalamnya.

Hak cipta 2026 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang dari tiap-tiap perusahaan yang bersangkutan.