GSP1154

Ringkasan

Vertex AI adalah platform pengembangan machine learning komprehensif yang memberikan kemampuan prediktif dan AI generatif. Di platform ini, Anda dapat melatih, mengevaluasi, dan men-deploy model machine learning prediktif untuk tujuan membuat perkiraan. Selain itu, Anda dapat memanfaatkan platform ini untuk menemukan, menyesuaikan, dan menyajikan model AI generatif untuk memproduksi konten.

Vertex AI Studio dapat Anda gunakan untuk menguji dan menyesuaikan model AI generatif dengan cepat, sehingga Anda dapat memanfaatkan kemampuannya dalam aplikasi Anda. Platform ini menyediakan berbagai alat dan resource, termasuk contoh UI (antarmuka pengguna) dan coding yang memudahkan Anda mulai menggunakan AI generatif, meskipun tidak memiliki latar belakang machine learning.

Lab ini memandu Anda memahami Vertex AI Studio, tempat Anda akan menemukan potensi kecanggihan model AI generatif. Anda akan mempelajari Gemini dan menggunakannya untuk menganalisis gambar, mendesain perintah, serta mempelajari kemampuan multimodal langsung di Konsol Google Cloud. Anda tidak memerlukan API atau SDK Python karena semuanya dapat diakses melalui antarmuka pengguna yang intuitif.

Tujuan

Di lab ini, Anda akan mempelajari cara:

• Menganalisis gambar dengan multimodal Gemini.
• Mempelajari kemampuan multimodal.
• Mendesain perintah dengan contoh.
• Mendesain perintah dengan konteks.

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search.

Tugas 1. Menganalisis gambar dengan Gemini

Di bagian ini, Anda akan menggunakan Gemini untuk menganalisis gambar dan mengekstrak informasi dari gambar tersebut. Anda dapat mendesain perintah untuk berbagai tugas seperti klasifikasi, ekstraksi, dan pembuatan.

1. Pada Konsol Google Cloud, dari Navigation menu (), pilih Vertex AI > Vertex AI Studio > Create prompt.

UI ini berisi tiga bagian utama:

• System Instructions (terletak di bagian atas): serangkaian petunjuk yang diproses oleh model sebelum memproses perintah. Saat petunjuk sistem ditetapkan, petunjuk tersebut akan berlaku untuk seluruh permintaan. Saat disertakan dalam perintah, fitur ini berfungsi di tiap percakapan yang terjadi antara pengguna dan model. Sebaiknya gunakan petunjuk sistem untuk memberi tahu model cara berperilaku dan merespons perintah sesuai keinginan Anda.
• Configuration (terletak di sebelah kanan): Melalui bagian ini, Anda dapat memilih model (termasuk model pihak ketiga), mengonfigurasi parameter, menggunakan Tools (seperti grounding), dan menyetel opsi lanjutan.
• Prompt (terletak di bagian bawah): Di sini, Anda dapat membuat perintah dengan kemampuan multimodal.

2. Di bagian kiri atas, klik Untitled Prompt dan ganti nama perintah Anda menjadi Image Analysis.

3. Di bagian Configuration di sebelah kanan, pastikan model dipilih. Anda dapat mengklik switch model untuk mengubah model jika perlu, atau menjelajahi model lain yang tersedia.

Catatan: Nama dan versi model dapat berubah seiring dengan dirilisnya model baru.

4. Di bagian Configuration di sebelah kanan, aktifkan opsi Advanced, dan untuk Region, pilih .

5. Download gambar contoh. Klik kanan gambar jadwal, lalu simpan ke desktop Anda.

6. Di kanan bawah bagian Prompt, klik tombol Insert Media ().

7. Di menu Select source, klik Upload, lalu pilih gambar jadwal yang Anda download. Media dapat berupa file gambar, video, teks, atau audio.

8. Gambar akan ditampilkan di bagian Prompt. Salin teks berikut dan tempel di bawah gambar, lalu klik tombol panah Submit di kanan bawah bagian Prompt atau tekan tombol Enter.

Title the image.

Atau, lebih spesifik lagi:

Title the image in 5 words.

Apakah judulnya sesuai harapan Anda? Coba ubah perintah untuk melihat apakah Anda akan mendapatkan hasil yang berbeda atau tidak.

9. Selanjutnya, Anda akan meminta Gemini untuk mendeskripsikan gambar secara mendetail. Ganti perintah sebelumnya dengan yang berikut, lalu klik tombol panah Submit.

Describe the image in detail.

10. Di bagian Configuration, aktifkan opsi Advanced, dan sesuaikan Temperature dengan men-scroll dari kiri (0) ke kanan (2). Kirim ulang perintah untuk mengamati perubahan pada hasil yang dibandingkan dengan hasil sebelumnya.

Catatan: Temperatur mengontrol tingkat keacakan dalam pemilihan token. Temperatur yang lebih rendah cocok untuk perintah yang mengharapkan respons yang benar, sedangkan temperatur yang lebih tinggi dapat memberikan hasil yang lebih beragam, tidak terduga, atau berpotensi bias. Dengan temperatur 0, token probabilitas tertinggi selalu dipilih.

11. Ekstrak teks dari gambar. Ganti perintah sebelumnya dengan perintah berikut:

Read the text in the image.

Selanjutnya, jika Anda ingin memformat output menjadi daftar, ganti perintah sebelumnya dengan perintah berikut:

Parse the time and city in this image into a list with two columns: time and city.

Giliran Anda - coba tulis beberapa perintah yang berbeda. Apa perbedaan hasil ini dari sebelumnya?

12. Analisis informasi pada gambar. Ganti perintah sebelumnya dengan perintah berikut:

Calculate the percentage of the flights to different continents.

Apakah hasilnya sesuai harapan Anda? Anda sangat dianjurkan untuk mencoba perintah yang berbeda-beda untuk berbagai tugas. Anda juga dianjurkan untuk bereksperimen dengan berbagai setelan temperatur guna mengamati perubahan hasilnya.

13. Setelah Anda menyelesaikan desain perintah, simpan perintah tersebut dengan mengklik Save di kanan atas toolbar. Untuk region, pilih dari dropdown, lalu konfirmasi dengan mengklik Save.

14. Untuk menemukan perintah yang tersimpan, pada navigation menu sebelah kiri, buka Prompt Management.

Catatan: Setelah memilih Save, tunggu beberapa detik hingga perintah tersimpan dengan benar, lalu lanjutkan lab.

Klik Periksa progres saya untuk memverifikasi tujuan.

Mengekstrak konten gambar.

Tugas 2. Mempelajari kemampuan multimodal

Selain gambar, teks, dan audio, Gemini dapat menerima video sebagai input dan menghasilkan teks sebagai output.

1. Buka Cloud Storage > Buckets dan salin nama bucket Cloud Storage, lalu simpan bucket tersebut agar dapat digunakan di langkah berikutnya: .

2. Klik Activate Cloud Shell di bagian atas konsol Google Cloud.

3. Di terminal Cloud Shell, jalankan perintah di bawah untuk menyalin video sampel gs://spls/gsp154/video/train.mp4 (pratinjau) ke bucket Cloud Storage Anda. Ganti <Your-Cloud-Storage-Bucket> dengan nama bucket yang disalin sebelumnya.

gcloud storage cp gs://spls/gsp154/video/train.mp4 gs://<Your-Cloud-Storage-Bucket> Catatan: Pastikan untuk mengganti <Your-Cloud-Storage-Bucket> dengan nama bucket Anda.

4. Dari Navigation menu (), pilih Vertex AI > Vertex AI Studio > Create prompt.

5. Di bagian Configuration di sebelah kanan, pastikan model dipilih.

Catatan: Nama dan versi model dapat berubah seiring dengan dirilisnya model baru.

6. Aktifkan opsi Advanced, dan untuk Region, pilih .

7. Di kanan bawah bagian Prompt, klik tombol Insert Media ().

8. Di menu Select source, pilih Import from Cloud Storage.

9. Klik nama bucket Anda, lalu klik video sampel train.mp4, dan klik Select.

10. Buat informasi terkait video tersebut dengan memasukkan perintah berikut dan mengklik tombol panah Submit.

Title the video.

11. Jelaskan video secara mendetail:

Describe the video in detail.

Baca informasi selengkapnya tentang cara mendesain perintah multimodal.

Tugas 3. Mendesain perintah dengan contoh

Di bagian ini, Anda akan mempelajari cara mendesain perintah teks di Vertex AI Studio.

Desain perintah

Anda dapat memasukkan teks input yang diinginkan, misalnya pertanyaan, ke model. Model ini lalu akan memberikan respons berdasarkan cara Anda menyusun perintah. Proses mencari tahu dan merancang teks input (perintah) terbaik untuk mendapatkan respons yang diinginkan dari model disebut Desain Perintah.

Metode desain perintah

Ada tiga metode utama untuk mendesain perintah:

• Zero-shot prompting - Ini adalah metode saat LLM hanya diberi perintah yang menjelaskan tugas dan tidak ada data tambahan. Misalnya, jika ingin LLM menjawab sebuah pertanyaan, Anda cukup memberikan perintah "apa itu desain perintah?".
• One-shot prompting - Dalam metode ini, LLM diberi satu contoh untuk tugas yang harus dilakukannya. Misalnya, jika ingin LLM menulis puisi, Anda dapat memberikan satu contoh puisi.
• Few-shot prompting - Ini adalah metode saat LLM diberi beberapa contoh untuk tugas yang harus dilakukannya. Misalnya, jika Anda ingin LLM menulis artikel berita, Anda dapat memberi LLM tersebut beberapa artikel berita untuk dibaca.

Parameter

Temperatur dan Batas token adalah dua parameter penting yang dapat Anda sesuaikan untuk memengaruhi respons model.

• Temperatur mengontrol keacakan dalam pemilihan token. Temperatur yang lebih rendah akan efektif jika Anda mengharapkan respons yang benar atau tepat. Temperatur 0 berarti token probabilitas tertinggi selalu dipilih. Temperatur yang lebih tinggi dapat menyebabkan hasil yang beragam, tidak terduga, atau berpotensi bias. Model memiliki rentang temperatur 0—2 dan default 1.
• Batas token output menentukan jumlah maksimal output teks dari satu perintah. Token terdiri atas sekitar empat karakter.

Zero-shot prompting

1. Klik ikon Clear di toolbar untuk menghapus perintah.

2. Di bagian Configuration di sebelah kanan, pastikan model dipilih.

Catatan: Nama dan versi model dapat berubah seiring dengan dirilisnya model baru.

3. Aktifkan opsi Advanced, dan untuk Region, pilih .

4. Salin teks berikut ke kolom input perintah:

What is a prompt gallery?

5. Klik tombol panah Submit.

Model ini akan merespons dengan memberikan definisi lengkap dari istilah prompt gallery.

6. Berikut beberapa latihan eksplorasi yang dapat dilakukan. Dengan menggunakan perintah yang sama, di kolom Advanced di bagian Configuration:

• Ubah parameter Output Token limit ke 1024, lalu klik tombol panah SUBMIT.
• Ubah parameter Temperature ke 0.5, lalu klik tombol panah SUBMIT.
• Ubah parameter Temperature ke 2.0, lalu klik tombol panah SUBMIT.

Periksa perubahan respons jika parameternya diubah.

One-shot prompting

Anda dapat mendesain perintah dengan cara yang lebih teratur. Anda dapat memberikan konteks dan contoh masing-masing pada kolom input Context dan Examples. One-shot prompting adalah metode yang memberi model satu contoh tugas untuk dilakukannya. Pada bagian ini, Anda akan meminta model untuk melengkapi sebuah kalimat.

1. Klik ikon Clear di toolbar untuk menghapus perintah.

2. Di kanan bawah bagian Prompt, klik tombol Add Examples ().

Tindakan ini akan membuka jendela baru tempat Anda dapat menambahkan contoh untuk perintah.

3. Tambahkan teks ini ke kolom INPUT:

The color of the grass is

4. Tambahkan teks ini ke kolom OUTPUT:

The color of the grass is green

5. Klik tombol Add examples.

6. Setelah menambahkan contoh, Anda akan melihat dua bagian yang perlu diisi: {Input} dan Prompt. Untuk mengirimkan perintah, Anda harus memberikan contoh input lain, serta perintahnya.

7. Di kolom {INPUT}, tulis perintah berikut:

The color of the sky is

8. Di kolom Prompt, tulis perintah berikut:

Answer the following questions.

Bagian Prompt Anda akan terlihat seperti berikut:

9. Klik tombol panah Submit. Anda seharusnya akan menerima respons dari model yang mirip dengan yang berikut:

The color of the sky is blue

Model tersebut tidak melengkapi kalimat, tetapi memberikan kalimat lengkap sebagai respons karena Anda memberikan contoh model untuk mendasarkan outputnya. Untuk mengubah respons agar hanya melengkapi kalimat, Anda dapat menyesuaikan contoh yang diberikan di kolom OUTPUT.

10. Klik tombol Edit di kotak Prompt untuk mengedit perintah Anda:

11. Klik Examples untuk mengedit contoh, lalu ubah output menjadi:

Green

Perintah Contoh Anda sekarang akan menjadi:

input: The color of the grass is output: Green

12. Klik tombol panah Submit. Anda seharusnya akan menerima respons dari model yang mirip dengan yang berikut:

Blue

Anda dapat melihat bahwa model sekarang melengkapi kalimat berdasarkan contoh yang Anda berikan. Anda telah berhasil memengaruhi cara model menghasilkan respons.

Few-shot prompting

Di latihan berikutnya, Anda akan menggunakan model ini untuk melakukan analisis sentimen pada sebuah kalimat, seperti menentukan apakah ulasan suatu film itu positif atau negatif menggunakan few-shot prompting.

1. Klik ikon Clear di toolbar untuk menghapus perintah.

2. Di kanan bawah bagian Prompt, klik tombol Add Examples ().

3. Tambahkan contoh berikut:

INPUT	OUTPUT
A well-made and entertaining film	positive
I fell asleep after 10 minutes	negative
The movie was ok	neutral

4. Setelah Anda menambahkan contoh, klik tombol Add examples.

5. Setelah menambahkan contoh, Anda akan melihat dua bagian yang perlu diisi: {Input} dan Prompt. Untuk mengirimkan perintah, Anda harus memberikan contoh input lain, serta perintahnya.

6. Di kolom {INPUT}, tulis perintah berikut:

It was a time well spent!

7. Di kolom Prompt, tulis perintah berikut:

Perform sentiment analysis on the following text.

8. Klik tombol panah Submit. Anda seharusnya akan menerima respons dari model yang mirip dengan yang berikut:

positive

Model sekarang memberikan sentimen untuk teks input tersebut. Untuk teks It was a time well spent!, sentimennya diberi label positive.

9. Setelah Anda menyelesaikan desain perintah, beri nama perintah sebagai Sentiment Analysis.

10. Simpan perintah dengan mengklik Save di kanan atas toolbar, lalu pilih region .

Catatan: jika perintah Anda sudah disimpan dengan fungsi Simpan Otomatis, pastikan nama perintah sudah benar dan Anda dapat melihatnya di halaman Prompt Management.

Klik Periksa progres saya untuk memverifikasi tujuan.

Membuat perintah dengan teks

Tugas 4. Mendesain perintah dengan konteks

Petunjuk sistem adalah arahan awal yang menentukan perilaku dan respons model terhadap perintah berikutnya, sehingga memungkinkan penyesuaian persona, format, gaya bahasa, dan aturan tugas tertentu. Petunjuk ini tetap ada di berbagai interaksi model-pengguna dalam suatu permintaan, tetapi pengguna sebaiknya tidak menyertakan informasi sensitif karena kemungkinan diterapkannya kebijakan penggunaan data.

Petunjuk ini bersifat serbaguna, sehingga memungkinkan penerapan seperti pengembangan chatbot, pembuatan output terstruktur, dan respons khusus bahasa. Namun, petunjuk ini tidak menjamin perlindungan menyeluruh terhadap perilaku model yang tidak diinginkan.

1. Pada Konsol Google Cloud, dari Navigation menu (), pilih Vertex AI > Vertex AI Studio > Create prompt.

2. Di bagian Configuration di sebelah kanan, pastikan model dipilih.

Catatan: Nama dan versi model dapat berubah seiring dengan dirilisnya model baru.

3. Di bagian Configuration di sebelah kanan, aktifkan opsi Advanced, dan untuk Region, pilih .

Untuk bagian ini, Anda akan menambahkan petunjuk sistem untuk model dan membiarkannya merespons berdasarkan konteks yang diberikan.

4. Klik System instructions dan tambahkan konteks berikut:

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

5. Masukkan perintah berikut:

My computer is so slow! What should I do?

6. Klik tombol panah Submit.

Model seharusnya akan memberikan respons berikut:

Have you tried turning it off and on again?

7. Di System instructions, klik Clear value ().

8. Klik System instructions dan tambahkan konteks berikut:

Your name is Roy. You are a support technician of an IT department. You are here to support the users with their queries.

9. Masukkan perintah berikut:

My computer is so slow! What should I do?

10. Klik tombol panah Submit.

Model sekarang seharusnya lebih membantu dalam merespons kueri pengguna.

Jangan ragu untuk bereksperimen dengan perintah dan konteks yang berbeda untuk melihat respons model. Anda juga dapat menambahkan lebih banyak konteks ke perintah percakapan untuk melihat respons model berdasarkan konteks yang diberikan.

11. Setelah Anda menyelesaikan desain perintah, beri nama perintah sebagai Support Technician Helper.

Klik Periksa progres saya untuk memverifikasi tujuan.

Menghasilkan percakapan dengan perintah percakapan

Selamat!

Selamat! Di lab ini, Anda berhasil memanfaatkan kemampuan Gemini untuk menganalisis konten multimedia, termasuk gambar dan video. Anda telah menunjukkan kemahiran dalam teknik zero-shot prompting, one-shot prompting, dan few-shot prompting untuk question answering dan analisis sentimen. Selain itu, Anda telah memanfaatkan petunjuk sistem secara efektif untuk membangun chatbot IT dasar.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 09 April 2025

Lab Terakhir Diuji pada 09 April 2025

Hak cipta 2025 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.