Petunjuk dan persyaratan penyiapan lab
Lindungi akun dan progres Anda. Selalu gunakan jendela browser pribadi dan kredensial lab untuk menjalankan lab ini.

Supervised Fine-Tuning dengan Gemini untuk Pemberian Teks pada Gambar

Lab 1 jam 10 menit universal_currency_alt 1 Kredit show_chart Pengantar
info Lab ini mungkin menggabungkan alat AI untuk mendukung pembelajaran Anda.
Konten ini belum dioptimalkan untuk perangkat seluler.
Untuk pengalaman terbaik, kunjungi kami dengan komputer desktop menggunakan link yang dikirim melalui email.

GSP1296

Logo lab mandiri Google Cloud

Ringkasan

Gemini adalah rangkaian model AI generatif yang dikembangkan oleh Google DeepMind dan dirancang untuk kasus penggunaan multimodal. Gemini API memberi Anda akses ke berbagai model Gemini, seperti Gemini Pro, Flash, dan Flash Lite.

Dalam lab ini, Anda akan mempelajari cara melakukan penyesuaian model generatif Gemini Flash menggunakan fitur Supervised Fine-Tuning Vertex AI. Dengan Supervised Fine-Tuning, Anda dapat menggunakan data pelatihan Anda sendiri guna lebih menyempurnakan kemampuan model dasar untuk tugas spesifik Anda.

Supervised Fine-Tuning menggunakan contoh berlabel (dalam hal ini gambar) untuk menyesuaikan model dasar Gemini. Tiap contoh menunjukkan output yang Anda inginkan dari model teks selama inferensi.

Sebelum Anda mulai melakukan penyesuaian, pastikan data pelatihan Anda berkualitas tinggi, diberi label dengan baik, dan relevan secara langsung dengan tugas target. Hal ini sangat penting karena data berkualitas rendah dapat memengaruhi performa dan menimbulkan bias pada model yang sudah disesuaikan.

Saat Anda memulai lab, lingkungan akan berisi resource yang ditampilkan dalam diagram berikut.

Arsitektur yang disediakan untuk Anda saat peluncuran lab.

Di akhir lab, Anda akan telah menggunakan arsitektur untuk melakukan beberapa tugas.

Arsitektur yang Anda bangun setelah menyelesaikan lab.

Tabel berikut memberikan penjelasan mendetail tentang tiap tugas yang berkaitan dengan arsitektur lab.

Tugas Bernomor Detail
1. Membuka notebook di Vertex AI Workbench dan memilih kernel.
2. Menginstal paket dan mengonfigurasi notebook untuk project Anda:
Anda akan menggunakan Google Gen AI SDK untuk bekerja dengan Gemini melalui Developer API dan Vertex AI. Anda harus menginstal library python dan menggunakannya di sepanjang lab. Anda juga perlu mengonfigurasi notebook agar memiliki akses ke resource di project Anda, seperti bucket Cloud Storage yang disediakan untuk Anda saat peluncuran lab.
3. Menyiapkan set data:
Dalam tugas ini, Anda akan mendownload file set data, termasuk gambar, dan menyiapkannya untuk digunakan dengan notebook Anda.
4. Membandingkan performa model dasar pengukuran dengan kebenaran nyata:
Anda akan membandingkan model dasar pengukuran Gemini Flash dengan kebenaran nyata satu gambar dalam set data.
5. Mengevaluasi model dasar pengukuran dengan set data validasi:
Anda akan menggunakan val.jsonl dengan perintah Anda dan model dasar pengukuran Gemini Flash untuk mengevaluasi hasilnya. Catatan: Anda akan menggunakan berbagai metrik evaluasi seperti rougeL_precision, rougeL_recall, dan rougeL_fmeasure untuk mengevaluasi performa model yang disesuaikan.
6. Membuat model yang disesuaikan:
Anda akan menggunakan data pelatihan train.jsonl bersama dengan model dasar pengukuran Gemini Flash guna membuat model yang disesuaikan untuk kasus penggunaan pemberian teks gambar tertentu.
7. Mengevaluasi model yang disesuaikan:
Anda akan menggunakan metrik evaluasi untuk mengevaluasi model yang disesuaikan berdasarkan set data validasi val.jsonl dan performa model dasar pengukuran Gemini Flash. Evaluasi akan dilakukan dengan metrik evaluasi seperti rougeL.

Prasyarat

Sebelum memulai lab ini, Anda sebaiknya sudah mengetahui:

  • Pemrograman Python dasar.
  • Konsep API secara umum.
  • Cara menjalankan kode Python di notebook Jupyter di Vertex AI Workbench.

Tujuan

Di lab ini, Anda akan:

  • Menjelaskan proses untuk memanfaatkan supervised fine-tuning.
  • Menyesuaikan model dasar pengukuran Gemini Flash dengan set data pelatihan Anda.
  • Mengevaluasi hasil pemberian teks gambar dengan model yang disesuaikan.
  • Membandingkan hasil model yang disesuaikan dengan model dasar pengukuran dan kebenaran nyata.

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

  • Akses ke browser internet standar (disarankan browser Chrome).
Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.
  • Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.
Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Cara memulai lab dan login ke Google Cloud Console

  1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:

    • Tombol Open Google Cloud console
    • Waktu tersisa
    • Kredensial sementara yang harus Anda gunakan untuk lab ini
    • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini
  2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

    Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

    Tips: Atur tab di jendela terpisah secara berdampingan.

    Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.
  3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

    {{{user_0.username | "Username"}}}

    Anda juga dapat menemukan Username di panel Lab Details.

  4. Klik Next.

  5. Salin Password di bawah dan tempel ke dialog Welcome.

    {{{user_0.password | "Password"}}}

    Anda juga dapat menemukan Password di panel Lab Details.

  6. Klik Next.

    Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.
  7. Klik halaman berikutnya:

    • Setujui persyaratan dan ketentuan.
    • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
    • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search. Ikon Navigation menu dan kolom Search

Tugas 1. Membuka notebook di Vertex AI Workbench dan memilih kernel

Tugas 1a. Membuka notebook

  1. Di Konsol Google Cloud, pada Navigation menu (Ikon Navigation menu), klik Vertex AI > Workbench.

  2. Cari instance lalu klik tombol Open JupyterLab.

Antarmuka JupyterLab untuk instance Workbench Anda akan terbuka di tab browser baru.

Catatan: Jika Anda tidak melihat notebook di JupyterLab, ikuti langkah tambahan berikut untuk mereset instance:

1. Tutup tab browser untuk JupyterLab, lalu kembali ke halaman beranda Workbench.

2. Pilih kotak centang di samping nama instance, lalu klik Reset.

3. Setelah tombol Open JupyterLab diaktifkan kembali, tunggu satu menit, lalu klik Open JupyterLab.

Tugas 1b. Memilih kernel

  1. Buka file .

  2. Pada dialog Select Kernel, pilih Python 3 dari daftar kernel yang tersedia.

Tugas 2. Menginstal paket dan mengonfigurasi notebook.

Di tugas ini, Anda akan menginstal paket Python yang diperlukan, memulai ulang runtime kernel, mengonfigurasi notebook untuk menggunakan project dan region Anda, serta mengimpor library.

  1. Selesaikan langkah-langkah di bagian Tugas 2, Menginstal paket dan mengonfigurasi notebook dalam notebook.
Catatan: Simpan notebook dengan mengklik File -> Save Notebook sebelum mengklik tombol Periksa progres saya untuk tiap tugas.

Klik Periksa progres saya untuk memverifikasi tujuan. Menginstal paket dan mengonfigurasi notebook.

Tugas 3. Menyiapkan set data

Di tugas ini, Anda akan mendownload file set data, termasuk gambar, dan menyiapkannya untuk digunakan dengan notebook Anda.

  1. Selesaikan bagian Menyiapkan set data di notebook.

Klik Periksa progres saya untuk memverifikasi tujuan. Menyiapkan set data.

Tugas 4. Membandingkan performa model dasar pengukuran dengan kebenaran nyata

Di tugas ini, Anda akan membandingkan model dasar pengukuran Gemini Flash dengan kebenaran nyata dari satu gambar dalam set data.

  1. Jalankan bagian Membandingkan performa model dasar pengukuran dengan kebenaran nyata di notebook.

Klik Periksa progres saya untuk memverifikasi tujuan. Membandingkan performa model dasar pengukuran dengan kebenaran nyata.

Tugas 5. Mengevaluasi model dasar pengukuran dengan set data validasi

Di tugas ini, Anda akan menggunakan val.jsonl dengan perintah dan model dasar pengukuran Gemini Flash untuk mengevaluasi hasilnya.

  1. Jalankan bagian Mengevaluasi model dasar pengukuran dengan set data validasi di notebook.

Klik Periksa progres saya untuk memverifikasi tujuan. Mengevaluasi model dasar pengukuran dengan set data validasi.

Tugas 6. Membuat model yang telah disesuaikan

Di tugas ini, Anda akan menggunakan data pelatihan train.jsonl bersama dengan model dasar pengukuran Gemini Flash untuk membuat model yang disesuaikan untuk kasus penggunaan pemberian teks gambar tertentu.

  1. Jalankan bagian Membuat model yang telah disesuaikan di notebook.
Catatan: Tugas penyesuaian akan memerlukan waktu beberapa menit hingga selesai. Tunggu hingga tugas penyesuaian selesai sebelum berlanjut ke sel berikutnya di notebook. Penting: Anda harus mengakses detail tugas penyesuaian, dengan mengklik tombol VIEW TUNING JOB dan mengakses detail Eksperimen dengan mengklik VIEW EXPERIMENT, serta menunggu hingga status tugas menjadi 'Succeeded' untuk mendapatkan kredit karena telah memeriksa progres tugas ini.

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat model yang telah disesuaikan.

Tugas 7. Mengevaluasi model yang telah disesuaikan

Di tugas ini, Anda akan menggunakan metrik evaluasi untuk mengevaluasi model yang disesuaikan terhadap set data validasi val.jsonl dan performa model dasar pengukuran Gemini Flash. Evaluasi akan dilakukan dengan metrik evaluasi seperti rougeL.

  1. Jalankan bagian Mengevaluasi model yang telah disesuaikan pada notebook.
Penting: Seperti yang tercantum dalam notebook, jika Anda melihat error saat menjalankan sel pertama di tugas ini, "Endpoint projects/... misconfigured, traffic split not set", harap tunggu. Setelah sel sebelumnya selesai dijalankan, perlu waktu sekitar 10 menit agar Vertex AI mengupdate setelan pemisahan traffic untuk endpoint yang di-deploy, dan Anda tidak akan dapat menjalankan prediksi online apa pun menggunakan endpoint ini hingga nilai tersebut menjadi 100 persen. Selagi menunggu, Anda dapat meninjau Dokumentasi Google tentang cara Menentukan metrik evaluasi. Link ini akan membantu Anda memahami rougeL dan manfaatnya untuk kasus penggunaan ini.

Klik Periksa progres saya untuk memverifikasi tujuan. Mengevaluasi model yang telah disesuaikan.

Selamat!

Di lab ini, Anda telah mempelajari cara menggunakan kemampuan supervised fine-tuning Vertex AI untuk menyesuaikan Gemini menggunakan data kustom guna meningkatkan kemampuan pemberian teks gambarnya.

Langkah berikutnya/pelajari lebih lanjut

Baca referensi berikut untuk mempelajari Gemini lebih lanjut:

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 6 Oktober 2025

Lab Terakhir Diuji pada 29 Oktober 2025

Hak cipta 2026 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.

Sebelum memulai

  1. Lab membuat project dan resource Google Cloud untuk jangka waktu tertentu
  2. Lab memiliki batas waktu dan tidak memiliki fitur jeda. Jika lab diakhiri, Anda harus memulainya lagi dari awal.
  3. Di kiri atas layar, klik Start lab untuk memulai

Gunakan penjelajahan rahasia

  1. Salin Nama Pengguna dan Sandi yang diberikan untuk lab tersebut
  2. Klik Open console dalam mode pribadi

Login ke Konsol

  1. Login menggunakan kredensial lab Anda. Menggunakan kredensial lain mungkin menyebabkan error atau dikenai biaya.
  2. Setujui persyaratan, dan lewati halaman resource pemulihan
  3. Jangan klik End lab kecuali jika Anda sudah menyelesaikan lab atau ingin mengulanginya, karena tindakan ini akan menghapus pekerjaan Anda dan menghapus project

Konten ini tidak tersedia untuk saat ini

Kami akan memberi tahu Anda melalui email saat konten tersedia

Bagus!

Kami akan menghubungi Anda melalui email saat konten tersedia

Satu lab dalam satu waktu

Konfirmasi untuk mengakhiri semua lab yang ada dan memulai lab ini

Gunakan penjelajahan rahasia untuk menjalankan lab

Menggunakan jendela Samaran atau browser pribadi adalah cara terbaik untuk menjalankan lab ini. Langkah ini akan mencegah konflik antara akun pribadi Anda dan akun Siswa, yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.