GSP1248

Ringkasan

Di lab ini, Anda akan mempelajari cara membantu menyederhanakan alur kerja klasifikasi gambar di BigQuery menggunakan model yang diimpor (model PyTorch yang dibuat dalam format ONNX) dan kueri GoogleSQL.

Sebagai analis data baru di Cymbal Media and Entertainment, Anda ditugasi melakukan eksperimen dengan model yang diimpor dan BigQuery Machine Learning untuk inferensi guna mengklasifikasi gambar satwa liar. Project ini bertujuan mengotomatiskan proses klasifikasi gambar, menyederhanakan pembuatan konten, dan mungkin juga membangun database gambar satwa liar yang lebih besar untuk membuat konten pada masa mendatang di platform streaming Cymbal.

ONNX adalah format terbuka yang dibuat untuk merepresentasikan model machine learning. ONNX menetapkan serangkaian operator umum, yaitu elemen penyusun model machine learning dan deep learning, serta format file umum agar developer AI dapat menggunakan model dengan berbagai framework, alat, runtime, dan compiler.

BigQuery adalah platform analisis data yang terkelola sepenuhnya dengan kemampuan AI untuk membantu Anda memaksimalkan nilai dari data Anda. Platform ini dirancang agar mendukung multi-engine, multi-format, dan multi-cloud. Salah satu fitur utamanya adalah BigQuery Machine Learning untuk inferensi, yang memungkinkan Anda membuat dan menjalankan model machine learning (ML) dengan menggunakan kueri SQL.

Menjalankan model ML menggunakan Kueri GoogleSQL

Biasanya, menjalankan ML atau kecerdasan buatan (AI) pada set data besar memerlukan pemrograman dan pengetahuan yang luas tentang framework ML. Karena hal ini, hanya sekelompok kecil orang di setiap perusahaan dapat terlibat dalam pengembangan solusi. Kelompok tersebut tidak mencakup analis data yang memiliki pengetahuan ML dan keahlian pemrograman terbatas, padahal merekalah yang memahami data. Namun, dengan BigQuery ML, praktisi SQL dapat menggunakan pengetahuan, keterampilan, dan alat SQL yang ada untuk membangun dan membuat hasil dari model yang dibangun dengan ONNX, serta disimpan di bucket Cloud Storage. Kemampuan ini memberi perusahaan pilihan model dan fleksibilitas dari perspektif MLOP. Hal ini juga membantu menskalakan inisiatif ML mereka.

Set data gambar

Gambar yang digunakan di lab ini berasal dari Animals Detection Images Dataset di Kaggle.

Tujuan

Di lab ini, Anda akan mempelajari cara:

• Membuat koneksi Resource Cloud.
• Memberikan izin ke akun layanan koneksi.
• Membuat set data dan tabel BigQuery.
• Mengimpor model ONNX ke BigQuery.
• Mengklasifikasikan gambar menggunakan model yang diimpor.

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search.

Tugas 1. Membuat koneksi Resource Cloud

Dalam tugas ini, Anda akan membuat koneksi Resource Cloud di BigQuery agar dapat mengimpor gambar dari Cloud Storage ke tabel objek dalam set data Anda.

Catatan: Buat koneksi resource menggunakan Region Google Cloud yang ditetapkan dalam panduan lab Anda. Sebaiknya Anda juga membuat set data di region ini, yang akan membantu mengurangi error di lab.

1. Di Konsol Google Cloud, pada Navigation menu, klik BigQuery.

2. Jendela pop-up Welcome to BigQuery akan muncul. Klik DONE.

3. Untuk membuat koneksi, klik + ADD, lalu klik Connections to external data sources.

Catatan: Jika tidak melihat opsi + Add diikuti dengan Connections to external data sources, Anda dapat mengklik + Add data, lalu menggunakan kotak penelusuran sumber data dan menelusuri Vertex AI. Klik hasil untuk Vertex AI.

4. Di daftar Connection type, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).

5. Di kolom Connection ID, masukkan onnx_conn untuk koneksi Anda.

6. Untuk Location type, pilih Region.

7. Untuk Region, pilih .

8. Klik CREATE CONNECTION.

9. Klik GO TO CONNECTION.

10. Anda juga akan melihat koneksi ditambahkan di bagian External Connections project Anda di BigQuery Explorer. Di panel Connection info, salin ID akun layanan ke file teks untuk digunakan dalam tugas berikutnya.

Klik Check my progress untuk memverifikasi tujuan. Membuat koneksi Resource Cloud.

Tugas 2. Meninjau gambar dan file, serta memberikan akses ke akun layanan

Dalam tugas ini, Anda akan meninjau gambar dan file (model ONNX dan file classifier.csv), serta memberikan izin IAM ke akun layanan koneksi Resource Cloud.

Meninjau gambar dan model ONNX di Cloud Storage

Sebelum memulai tugas ini untuk memberikan izin ke akun layanan koneksi resource, tinjau gambar, model, dan file classifier.csv karena ketiganya disimpan di bucket Cloud Storage.

1. Di Konsol Google Cloud, pilih Navigation menu (), lalu pilih Cloud Storage > Buckets.

2. Klik bucket -bucket.

3. Bucket ini berisi folder gsp1248. Buka folder tersebut. Anda akan melihat tiga item di dalamnya:

   • Folder images berisi semua gambar yang akan Anda klasifikasikan. Buka folder images tersebut dan tinjau gambar di dalamnya. Anda akan melihat gambar singa, angsa hitam, kuda nil, beruang hitam Amerika, dan kepiting raja.
   • File resnet18.onnx adalah file model. Anda akan mengimpornya ke BigQuery dan menggunakannya di tugas berikutnya.
   • File classifier.csv akan digunakan dengan model dalam kueri untuk mengklasifikasikan gambar.

Memberikan izin IAM ke akun layanan koneksi

Dengan memberikan izin IAM ke akun layanan koneksi resource sebelum mulai bekerja di BigQuery, Anda tidak akan mengalami error akses ditolak saat menjalankan kueri.

1. Kembali ke root bucket.

2. Klik PERMISSIONS.

3. Klik GRANT ACCESS.

4. Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.

5. Di kolom Select a role, masukkan Storage Object, lalu pilih peran Storage Object Admin.

6. Klik Save.

   Hasilnya adalah ID akun layanan kini memiliki peran Storage Object Admin.

Klik Check my progress untuk memverifikasi tujuan. Memberikan izin IAM ke akun layanan koneksi

Tugas 3. Membuat set data dan tabel di BigQuery

Dalam tugas ini, Anda akan membuat set data untuk project, tabel objek untuk menyimpan gambar, dan tabel untuk daftar klasifikasi.

Membuat set data

1. Di Konsol Google Cloud, pilih Navigation menu (), lalu pilih BigQuery.

2. Di panel Explorer, untuk , pilih View actions (), lalu pilih Create dataset.

   Anda membuat set data untuk menyimpan objek database, termasuk tabel dan model.

3. Di panel Create dataset, masukkan informasi berikut:

   Kolom	Nilai
   Dataset ID	onnx_demo
   Location type > Region	pilih

   Biarkan nilai default di kolom lain.

4. Klik Create Dataset.

   Hasilnya adalah set data onnx_demo dibuat dan dicantumkan di bawah project Anda di BigQuery Explorer.

Membuat tabel objek untuk gambar

Setelah set data dibuat, Anda kini dapat membuat tabel objek sebagai referensi gambar di bucket.

Untuk membuat tabel objek, Anda akan menggunakan kueri SQL.

1. Klik + untuk membuat kueri SQL baru.

2. Di editor kueri, tempel kueri di bawah.

   CREATE OR REPLACE EXTERNAL TABLE `onnx_demo.wildlife` WITH CONNECTION `{{{project_0.default_region|lab region}}}.onnx_conn` OPTIONS ( object_metadata = 'SIMPLE', uris = ['gs://{{{project_0.project_id|set at lab start}}}-bucket/gsp1248/images/*'] );

3. Jalankan kueri ini.

   Hasilnya adalah tabel objek satwa liar ditambahkan ke set data onnx_demo dan dimuat dengan URI (lokasi penyimpanan cloud) setiap gambar hewan.

4. Di Explorer, klik tabel wildlife, lalu tinjau skema dan detailnya.

Membuat tabel untuk daftar klasifikasi

Untuk membuat daftar klasifikasi tabel, Anda akan menggunakan kueri SQL.

1. Klik + untuk membuat kueri SQL baru.

2. Di editor kueri, tempel kueri di bawah.

   LOAD DATA OVERWRITE onnx_demo.classifier (ID INT64,Classification STRING) FROM FILES ( format = 'CSV', uris = ['gs://{{{project_0.project_id|set at lab start}}}-bucket/gsp1248/classifier.csv']);

3. Jalankan kueri ini.

   Hasilnya adalah tabel classifier ditambahkan ke set data onnx_demo, yang dimuat dengan ID dan klasifikasi setiap item dalam set data. Hal ini meliputi satwa liar yang akan Anda klasifikasikan nanti di lab.

4. Di Explorer, klik tabel classifier, lalu tinjau skema dan detailnya. Ajukan kueri pada tabel untuk meninjau klasifikasi setiap item. Catatan: tabel berisi banyak item lain, bukan hanya satwa liar (seperti hewan, ikan, serangga, dan burung).

Klik Check my progress untuk memverifikasi tujuan. Membuat set data dan tabel di BigQuery

Tugas 4. Mengimpor model ke BigQuery

Dalam tugas ini, Anda akan mengimpor model resnet18 ONNX ke BigQuery agar dapat digunakan untuk mengklasifikasikan gambar.

1. Klik + untuk membuat kueri SQL baru.

2. Di editor kueri, tempel kueri di bawah.

   CREATE OR REPLACE MODEL `onnx_demo.model` OPTIONS (MODEL_TYPE='ONNX', MODEL_PATH='gs://{{{project_0.project_id|set at lab start}}}-bucket/gsp1248/resnet18.onnx')

3. Jalankan kueri ini.

   Hasilnya adalah model ditambahkan ke set data onnx_demo di bagian model.

4. Di Explorer, klik model, lalu tinjau detailnya.

Klik Check my progress untuk memverifikasi tujuan. Mengimpor model ke BigQuery

Tugas 5. Mengklasifikasikan gambar menggunakan model ONNX yang diimpor

Dalam tugas ini, Anda akan memesan slot, menetapkannya ke project, dan menggunakan kueri untuk mengklasifikasikan gambar baru dengan model ONNX.

Menambahkan reservasi slot

Agar dapat menggunakan model ONNX, Anda harus membuat pemesanan slot dan menetapkannya ke project Anda.

1. Dari menu BigQuery, klik Capacity Management.

2. Di halaman Capacity Management, klik CREATE RESERVATION.

3. Di halaman Create Reservation, masukkan reservation sebagai nama pemesanan.

4. Pilih untuk Location.

5. Pilih Small (100 Slots) untuk opsi Max reservation size selector.

6. Klik SAVE.

Tetapkan pemesanan slot ke project Anda.

1. Klik tombol Reservation Actions (3 titik vertikal) untuk pemesanan Anda.

2. Di menu pop-up, klik Create an Assignment.

3. Di jendela pop-up Create an Assignment, Anda akan melihat Job Type yang secara default berisi QUERY. Jangan ubah.

4. Klik BROWSE.

5. Di jendela pop-up, pilih nama project. Project tersebut akan ditambahkan ke kolom Select an organization, folder or project.

6. Klik CREATE.

   Hasilnya adalah project ditetapkan ke pemesanan slot yang baru saja Anda buat.

7. Tunggulah 2 menit. Penerapan penetapan pemesanan slot ke akun perlu waktu beberapa saat.

Menggunakan model untuk mengklasifikasikan gambar

1. Kembali ke BigQuery Studio.

2. Klik + untuk membuat kueri SQL baru.

3. Di editor kueri, tempel kueri di bawah.

   SELECT * FROM `{{{project_0.project_id|set at lab start}}}.onnx_demo.classifier` WHERE EXISTS ( SELECT 1 FROM ML.PREDICT(MODEL onnx_demo.model, ( SELECT ML.RESIZE_IMAGE(ML.DECODE_IMAGE(DATA), 224, 224, FALSE) AS input FROM `onnx_demo.wildlife` ) ) WHERE class_label = ID - 1 )

4. Jalankan kueri ini.

   Hasilnya adalah gambar diklasifikasikan berdasarkan baris dengan ID dan klasifikasi yang diprediksi berdasarkan model ONNX.

Klik Check my progress untuk memverifikasi tujuan. Mengklasifikasikan gambar menggunakan model ONNX yang diimpor

Selamat

Anda berhasil membuat koneksi Resource Cloud, memberikan akses ke akun layanan untuk koneksi tersebut, membuat set data dan tabel, mengimpor model ONNX ke BigQuery, dan mengklasifikasikan gambar menggunakan model tersebut.

Langkah berikutnya untuk mempelajari lebih lanjut

• Pengantar BigQuery ML
• Menskalakan machine learning dengan mesin inferensi BigQuery ML - Blog
• Open Neural Network Exchange (ONNX)

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 21 Maret 2025

Lab Terakhir Diuji pada 21 Maret 2025

Hak cipta 2025 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.