GSP1154

Ringkasan

Vertex AI adalah platform pengembangan machine learning komprehensif yang memberikan kemampuan prediktif dan AI generatif. Di platform ini, Anda dapat melatih, mengevaluasi, dan men-deploy model machine learning prediktif untuk tujuan membuat perkiraan. Selain itu, Anda dapat memanfaatkan platform ini untuk menemukan, menyesuaikan, dan menyajikan model AI generatif untuk memproduksi konten. Misalnya, perusahaan asuransi terus berupaya meningkatkan efisiensi di berbagai bidang seperti pemrosesan klaim dan penilaian risiko. Vertex AI Studio menawarkan cara yang efektif untuk membuat prototipe solusi AI generatif dengan cepat guna mengatasi tantangan tersebut.

Vertex AI Studio dapat Anda gunakan untuk menguji dan menyesuaikan model AI generatif dengan cepat, sehingga Anda dapat memanfaatkan kemampuannya dalam aplikasi Anda. Platform ini menyediakan berbagai alat dan resource, termasuk antarmuka pengguna (UI) yang intuitif, yang memudahkan Anda mulai menggunakan AI generatif, meskipun Anda tidak memiliki latar belakang yang luas di bidang machine learning.

Lab ini memandu Anda memahami Vertex AI Studio, tempat Anda akan menemukan potensi kecanggihan model AI generatif seperti Gemini. Anda akan berperan sebagai orang yang membantu perusahaan asuransi membuat prototipe asisten analisis risiko. Anda akan mempelajari cara mengubah ide perintah menjadi aplikasi yang dapat di-deploy, mendesain perintah yang canggih untuk mencapai hasil generatif tertentu, dan menggunakan kemampuan multimodal untuk menganalisis berbagai jenis data, termasuk gambar—semuanya langsung di Konsol Google Cloud. Anda tidak memerlukan API atau SDK Python untuk tugas inti ini.

Tujuan

Di lab ini, Anda akan mempelajari cara:

• Membuat aplikasi dari perintah.
• Mendesain perintah yang efektif.
• Merekayasa dan mengelola perintah.
• Menggunakan perintah multimodal.

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search.

Tugas 1. Membuat aplikasi dari perintah

Dalam tugas ini, Anda akan melihat seberapa cepat Anda dapat mengembangkan ide untuk asisten AI generatif dan mengubahnya menjadi prototipe yang berfungsi menggunakan Vertex AI Studio. Anda akan berfokus pada kasus penggunaan asuransi kami: membuat perintah yang membantu profesional asuransi meringkas informasi klien untuk laporan analisis risiko, lalu menyiapkan perintah ini sebagai aplikasi sederhana.

1. Di Konsol Google Cloud, dari Navigation menu (), pilih Vertex AI > Vertex AI Studio > Overview.

2. Dari menu Vertex AI, di bagian Vertex AI Studio, pilih Create prompt. Tindakan ini akan membuka halaman editor perintah.

UI ini berisi tiga bagian utama:

• System Instructions (terletak di bagian atas): serangkaian petunjuk yang diproses oleh model sebelum memproses perintah. Saat petunjuk sistem ditetapkan, petunjuk tersebut akan berlaku untuk seluruh permintaan. Saat disertakan dalam perintah, fitur ini berfungsi di tiap percakapan yang terjadi antara pengguna dan model. Sebaiknya gunakan petunjuk sistem untuk memberi tahu model cara berperilaku dan merespons perintah sesuai keinginan Anda.
• Configuration (terletak di sebelah kanan): Melalui bagian ini, Anda dapat memilih model (termasuk model pihak ketiga), mengonfigurasi parameter, menggunakan Tools (seperti grounding), dan menyetel opsi lanjutan.
• Prompt (terletak di bagian bawah): Di sini, Anda dapat membuat perintah dengan kemampuan multimodal.

3. Setelah halaman perintah baru tanpa judul dimuat, klik Untitled Prompt di sudut kiri atas, lalu ganti nama perintah Anda menjadi Insurance Risk Summary — Prototype.

4. Di kanvas utama, klik kotak teks System instructions dan masukkan informasi berikut untuk memberi asisten AI peran yang relevan dengan skenario asuransi kita:

   You are an expert AI assistant for an insurance underwriting department. Your primary goal is to help underwriters by accurately and concisely summarizing client information and highlighting potential risk factors. Maintain a professional and objective tone. Focus only on the information provided in the prompt. Do not invent details.

5. Di bawah System instructions, di area perintah utama di bagian bawah halaman, tempel informasi berikut:

   Customer Notes for 'SafeHarbor Warehousing': "The applicant is seeking coverage for their 50,000 sq ft warehouse. The business is 5 years old. The building is a concrete tilt-up structure, originally built in 2010. They store a variety of non-hazardous dry goods. Fire safety measures include a full sprinkler system, a centrally monitored fire alarm, and documented annual inspections by a certified third party. Security measures include a 24/7 centrally monitored burglar alarm, comprehensive security camera coverage of the interior and exterior, a fully fenced perimeter, and nightly patrols by a contracted security guard service. The company reports no major property or liability losses in their 5-year history. They have specifically asked to ensure their new automated shelving and retrieval system, installed last month, is adequately covered under the policy." Your Task: 1. Briefly summarize the key details of the 'SafeHarbor Warehousing' business and its existing safety measures. 2. Based *only* on the notes provided, identify any immediate questions an underwriter should ask or potential risk factors they should consider further. Present the summary first, then the questions/risk factors as bullet points.

6. Di bagian Configuration di sebelah kanan:

   • Pastikan model dipilih. Anda dapat mengklik Switch model jika perlu mengubahnya.
   • Aktifkan opsi Advanced jika belum, dan untuk Region, pilih .

7. Klik tombol panah Submit (biasanya di kanan bawah area input perintah atau dengan menekan CTRL+Enter). Tinjau respons model.

8. Di bagian atas halaman, klik tombol Save. Dalam dialog "Save prompt", nama Insurance Risk Summary — Prototype seharusnya sudah terisi. Pastikan Region sudah benar (), lalu klik Save.

9. Sekarang, Anda akan mempelajari cara mengubah draf perintah ini menjadi aplikasi prototipe. Di kanan atas halaman, klik tombol Build with code. Dari menu dropdown yang muncul, pilih Deploy as app (Powered by Cloud Run).

10. Pada dialog "Deploy to Cloud Run" yang muncul:

    • Anda mungkin perlu Mengaktifkan layanan jika diminta (misalnya Cloud Build API, Cloud Run API). Klik Enable jika perlu, lalu tunggu hingga layanan diaktifkan.
    • Centang Acknowledgement untuk men-deploy aplikasi Anda secara publik.
    • Klik Create App.

11. Proses deployment akan dimulai dan mungkin memerlukan waktu beberapa menit. Anda mungkin melihat pembaruan status di UI yang tampilannya seperti ini:

12. Setelah selesai, klik tombol Close di kotak Manage web app. Kemudian, untuk membuka aplikasi yang baru di-deploy, klik lagi tombol Build with code di kanan atas halaman. Dari menu dropdown, sekarang pilih Open app (Powered by Cloud Run). Tindakan ini akan membuka "Vertex AI GenAI App" di tab browser baru.

13. Anda akan melihat halaman "Welcome to Vertex AI GenAI App!" beserta judul perintah Anda, "Insurance Risk Summary — Prototype".

14. Di bagian "Chatbot", di kolom input "Type a message..." di bagian bawah, masukkan pesan pengujian baru. Contoh:

    New Customer Inquiry: "Applicant 'Coastal Goods Delivery' has a fleet of 10 delivery vans, all equipped with GPS and telematics. They operate within a 100-mile radius of their depot. Drivers undergo annual safety training. They had one minor fender bender last year, no injuries, $1500 damages. What are the primary risk considerations?" Please summarize key points and identify potential risks.

15. Klik tombol panah Submit untuk mengirim pesan Anda ke aplikasi.

16. Amati respons dari aplikasi GenAI yang Anda deploy. Aplikasi ini akan memproses input Anda berdasarkan logika dan instruksi sistem yang Anda tentukan di Vertex AI Studio.

Catatan: Seperti yang ditunjukkan oleh peringatan di halaman aplikasi, aplikasi ini mengizinkan akses tanpa autentikasi secara default. Dalam skenario produksi, Anda akan mengonfigurasi setelan keamanan yang sesuai. Untuk lab ini, setelan default sudah cukup untuk eksplorasi.

17. Sekarang Anda telah menyelesaikan siklus penuh:
    • Mendesain perintah di Vertex AI Studio.
    • Men-deploy perintah tersebut sebagai aplikasi serverless menggunakan Cloud Run dengan beberapa klik.
    • Membuka dan berinteraksi langsung dengan model AI generatif Anda melalui antarmuka web. Hal ini menunjukkan kecanggihan Vertex AI Studio untuk membuat prototipe dengan cepat dan men-deploy kemampuan AI generatif.

Klik Periksa progres saya untuk memverifikasi tujuan.

Membuat aplikasi perintah dengan Vertex AI Studio.

Tugas 2. Mendesain perintah yang efektif

Di Tugas 1, Anda sudah membuat prototipe perintah awal. Sekarang, Anda akan mempelajari lebih dalam cara menyempurnakan perintah untuk mendapatkan output yang lebih tepat, terkontrol, dan bermanfaat dari model generatif. Ini adalah keterampilan inti dalam rekayasa perintah. Anda akan melanjutkan tema asuransi dengan mencoba mengekstrak informasi tertentu dari dokumen klaim atau meningkatkan kualitas ringkasan.

Zero-shot prompting

Anda akan memulai dengan membuat perintah baru untuk mempelajari desain perintah secara mendetail.

1. Pastikan Anda berada di area utama Vertex AI Studio. Jika Anda melihat aplikasi yang di-deploy dari Tugas 1, tutup tab browser tersebut untuk kembali ke Konsol Google Cloud.

2. Dari Navigation menu (), pilih Vertex AI > Vertex AI Studio > Create prompt.

3. Jika Anda memulai dengan halaman perintah baru (menampilkan "Prompt Samples"), klik Untitled Prompt di pojok kiri atas dan ganti namanya menjadi Insurance Claim Data Extraction.

4. Pahami skenario untuk bagian ini: Seorang adjuster asuransi sering menerima email atau catatan yang tidak terstruktur tentang klaim baru dan perlu mengekstrak informasi utama dengan cepat untuk dimasukkan ke sistem pengelolaan klaim mereka.

5. Di kotak System instructions, masukkan informasi berikut:

   You are an AI assistant specializing in parsing and extracting specific data points from unstructured insurance claim notifications. Your goal is to identify and list key information accurately. If a piece of information is not found, clearly state "Not found". Output the extracted information in a key: value format, with each key on a new line.

6. Di area perintah utama, tempel contoh catatan klaim tidak terstruktur berikut:

   Claim Notification Received: "Hi team, just got a call from Mrs. Eleanor Vance, policy #POL458892. She reported a kitchen fire that occurred on May 12th, 2025, around 3 PM. The main damage seems to be to the oven and surrounding cabinets. She mentioned smoke damage in the kitchen and dining area too. She thinks the total damage might be around $7,500. Her contact is 555-0123. No injuries reported, thankfully." Extract the following: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported

7. Di bagian Configuration di sebelah kanan:

   • Pilih model .
   • Tetapkan nilai Temperature ke 0.1 (untuk ekstraksi yang lebih faktual dan kurang kreatif).
   • Tetapkan Output token limit ke angka yang wajar, seperti 1024.
   • Pastikan Region yang dipilih adalah .

8. Klik tombol panah Submit. Tinjau output-nya. Upaya pertama tanpa contoh eksplisit ini disebut zero-shot prompting.

9. Setelah selesai meninjau respons dari upaya zero-shot, klik ikon Clear di toolbar atas untuk menghapus seluruh kanvas perintah. Hal ini diperlukan karena contoh biasanya hanya dapat ditambahkan ke perintah baru.

Few-Shot prompting

Sering kali, memberikan beberapa contoh (few-shot prompting) dapat meningkatkan performa model secara signifikan, terutama untuk pemformatan tertentu atau ekstraksi yang lebih mendalam.

1. Di kanan bawah bagian Prompt, klik tombol Add Examples ().

Tindakan ini akan membuka jendela baru tempat Anda dapat menambahkan contoh untuk perintah.

2. Di antarmuka "Examples" yang muncul:

   • Untuk INPUT pada contoh pertama Anda, tempel catatan tidak terstruktur berikut:
   Claim Notification Received: "Email from John Sterling (policy POL77521) re: water damage at his shop. Happened sometime last night, May 10th, 2025. A pipe burst in the ceiling. Stockroom is flooded, some damage to inventory. He's not sure on the cost yet, maybe $5k-$10k? No one was there, so no injuries." Extract the following: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported
   • Untuk OUTPUT dari contoh pertama Anda, tempel ekstraksi dengan format yang sempurna berikut:
   Policy Number: POL77521 Claimant Name: John Sterling Date of Loss: May 10th, 2025 Time of Loss: Night Type of Loss: Water damage Brief Description of Damage: Pipe burst in ceiling, stockroom flooded, some damage to inventory. Estimated Loss Amount: $5,000 - $10,000 Injuries Reported: No
   • Klik tombol Add examples untuk menyimpan contoh ini dan kembali ke perintah utama.

3. Tambahkan kembali Petunjuk Sistem: Karena menghapus perintah juga berarti menghapus petunjuk sistem, tempel kembali petunjuk tersebut ke kotak System instructions di bagian atas:

   You are an AI assistant specializing in parsing and extracting specific data points from unstructured insurance claim notifications. Your goal is to identify and list key information accurately. If a piece of information is not found, clearly state "Not found". Output the extracted information in a key: value format, with each key on a new line.

4. Berikan Input Baru dan Perintah:

   • Di area berlabel (Input) Write value here, tempel notifikasi klaim asli untuk Mrs. Eleanor Vance yang modelnya ingin Anda proses sekarang:
   Claim Notification Received: "Hi team, just got a call from Mrs. Eleanor Vance, policy #POL458892. She reported a kitchen fire that occurred on May 12th, 2025, around 3 PM. The main damage seems to be to the oven and surrounding cabinets. She mentioned smoke damage in the kitchen and dining area too. She thinks the total damage might be around $7,500. Her contact is 555-0123. No injuries reported, thankfully."

5. Di area berlabel Write your prompt here (di bawah kolom Input), Anda perlu memberikan petunjuk untuk model. Hal ini akan memberi tahu model apa yang harus dilakukan dengan teks (Input), menggunakan informasi dari bagian "the Examples" sebagai panduan. Masukkan:

   Extract the following data points from the provided claim notification: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported

6. Pastikan konfigurasi Anda (Model, Temperature, Token Limit, Region) masih ditetapkan sesuai keinginan (misalnya Temperature pada 0.1).

7. Klik tombol panah Submit lagi. Bandingkan output baru ini dengan upaya zero-shot sebelumnya. Perhatikan apakah akurasi atau formatnya telah meningkat secara signifikan karena contoh few-shot dan metode input terstruktur.

Bereksperimen dengan konfigurasi perintah

Sekarang, Anda akan mempelajari bagaimana pengaruh berbagai parameter di panel Configuration (di sebelah kanan) terhadap respons model. Pastikan perintah "Insurance Claim Data Extraction" dengan contoh few-shot aktif.

1. Bereksperimen dengan Temperature:

   • Penjelasan: Temperature mengontrol keacakan. Nilai yang lebih rendah (misalnya 0.0—0.2) membuat output lebih terfokus dan determenistik. Nilai yang lebih tinggi (misalnya 0.7—1.0) mendorong respons yang lebih beragam atau kreatif.
   • Coba: Ubah nilai Temperature ke 0.7. Klik Submit dan perhatikan jika ada perubahan. Kemudian, ubah nilai Temperature kembali ke 0.1.

2. Bereksperimen dengan Output Token Limit:

   • Penjelasan: Konfigurasi ini menetapkan jumlah maksimum token (bagian kata) yang dapat dihasilkan model untuk responsnya.
   • Coba: Tetapkan Output token limit ke angka yang sangat kecil, seperti 20. Klik Submit dan amati output yang terpotong. Reset ke nilai yang sesuai (misalnya 1024, atau default).

3. Bereksperimen dengan Top-P:

   • Penjelasan: Top-P (sampling inti) juga mengontrol keacakan. Parameter ini hanya mempertimbangkan token yang paling mungkin yang massa probabilitas gabungannya melebihi nilai Top-P. Nilai 1.0 mempertimbangkan semua token. Menurunkan nilai Top-P (misalnya ke 0.8) membuat output lebih terfokus, mirip dengan menurunkan nilai Temperature.
   • Coba: Dengan Temperature di angka 0.1 (atau sedikit lebih tinggi, seperti 0.5, untuk mengamati efek Top-P dengan lebih baik), tetapkan Top-P ke 0.8. Klik Submit. Lalu, tetapkan Top-P ke 1.0, klik Submit, dan amati apakah ada perbedaan kecil.

4. Tinjau sekilas setelan lainnya di panel konfigurasi Advanced:

   • Safety Filter Settings: Setelan ini aktif secara default untuk membantu memblokir konten berbahaya. Untuk lab ini, Anda akan menggunakan setelan default.

Klik Periksa progres saya untuk memverifikasi tujuan.

Rekayasa perintah di Vertex AI Studio.

Tugas 3. Merekayasa dan mengelola perintah

Setelah memiliki perintah yang berfungsi, sering kali Anda ingin bereksperimen dengan perubahan pada petunjuk atau konfigurasi model untuk melihat apakah Anda dapat meningkatkan kualitas respons. Fitur "Compare" di Vertex AI Studio dirancang untuk hal ini. Untuk bagian ini, Anda akan menggunakan perintah yang baru saja dibuat.

1. Pastikan Anda berada di area utama Vertex AI Studio. Jika Anda melihat aplikasi yang di-deploy dari Tugas 1, tutup tab browser tersebut untuk kembali ke Konsol Google Cloud.

2. Pertama, buat perintah baru. Dari Navigation menu (), pilih Vertex AI > Vertex AI Studio > Create prompt.

3. Klik Untitled Prompt di pojok kiri atas dan ganti nama perintah baru ini menjadi Comparison Base — Restaurant Risks.

4. Siapkan perintah dasar sederhana ini:

   • Di kotak System instructions, masukkan:
   You are an insurance risk analyst assistant. Your task is to identify potential risk factors from a given scenario. Be concise.
   • Di area perintah utama (pada kotak "Write your prompt here"), tempel skenario berikut:
   Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.
   • Di bagian Configuration di sebelah kanan:
     • Pilih model .
     • Tetapkan Temperature ke 0.2.
     • Pastikan Region yang dipilih adalah .

5. Klik tombol panah Submit. Tinjau respons awal model.

6. Klik tombol Save. Konfirmasi nama Comparison Base — Restaurant Risks dan simpan. Anda biasanya harus menyimpan perintah sebelum dapat menggunakannya secara efektif dalam beberapa alur kerja perbandingan, terutama jika Anda berencana untuk membandingkan dengan perintah yang disimpan nanti.

7. Sekarang, dengan perintah Comparison Base — Restaurant Risks ini dan responsnya ditampilkan, klik tombol Compare di toolbar atas.

   Catatan: Jika diminta, pilih Exit without saving, lalu klik Continue.

8. Antarmuka "Compare" akan terbuka. Perintah Comparison Base — Restaurant Risks Anda, konfigurasinya, dan respons terbarunya biasanya akan ditampilkan di kolom di sebelah kiri.

Membandingkan dengan mengubah petunjuk perintah

Sekarang Anda akan melihat bagaimana perubahan petunjuk memengaruhi output untuk "The Fiery Grill". Di tampilan Compare, panel perbandingan mungkin tidak memiliki kolom "System Instructions" terpisah. Jika demikian, Anda harus menambahkan panduan tingkat sistem ke perintah utama.

1. Di area tengah antarmuka Compare (atau di sebelah kanan perintah pertama), klik tombol + Compare new prompt.

2. Panel pengeditan perintah baru akan muncul di sebelah kanan.

3. Konfigurasi perintah baru (kedua) ini sebagai variasi:

   • Di satu kotak teks besar untuk perintah di panel kanan ini, tempel kombinasi petunjuk dan skenario berikut:
   You are an expert insurance risk analyst assistant. Your task is to identify potential risk factors from a given scenario. For each risk factor, also briefly suggest a potential mitigation strategy or question for the underwriter. Be clear and structured. Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.
   • Konfigurasi untuk variasi ini:
     • Pastikan Model sama dengan perintah pertama: .
     • Pertahankan nilai Temperature pada 0.2.
     • Biarkan konfigurasi lainnya (Token Limit, Region, dll.) tetap sama dengan perintah pertama untuk mengisolasi efek perubahan petunjuk.
     • Scroll ke bawah di panel dan klik Apply.

4. Setelah variasi perintah baru disiapkan dengan teks dan konfigurasinya di panel kanan, klik tombol Submit prompts (biasanya ada di bagian atas antarmuka "Compare").

5. Tunggu hingga kedua perintah ini menghasilkan respons. Tinjau kedua respons secara berdampingan. Apakah perintah kedua sekarang menyertakan strategi atau pertanyaan mitigasi, karena petunjuk yang dimodifikasi?

6. Untuk menyimpannya sebagai perintah baru, klik Save as new, masukkan [Nama perintah] yang diinginkan, lalu klik Save.

Membandingkan dengan setelan Temperature berbeda

Sekarang, Anda akan menggunakan panel perbandingan untuk menguji nilai Temperature yang berbeda.

1. Di kotak teks di dalam panel perintah kedua (yang di sebelah kanan),

   • Teks Perintah: Kembalikan teks perintah ke versi asli yang lebih sederhana (tanpa petunjuk sistem tambahan tentang mitigasi). Salin dan tempel perintah dari Comparison Base — Restaurant Risks (panel kiri):
   Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.

   *Jika tampilan Compare tidak memiliki kotak petunjuk sistem untuk panel ini, pastikan petunjuk sistem "You are an insurance risk analyst assistant..." ditambahkan di sini jika sebelumnya dihapus, atau gunakan petunjuk sistem asli jika berlaku secara global dari panel kiri.

   

2. Klik ikon Edit (pensil) di panel perintah kedua di bawah kotak teks:

   • Perubahan Konfigurasi: Di setelan konfigurasi untuk panel perintah kedua ini, ubah nilai Temperature ke 2.0. Pastikan Model masih .
   • Scroll ke bawah di panel dan klik Apply.

3. Klik Submit prompts lagi.

4. Perhatikan perbedaan dalam responsnya. Apakah nilai Temperature yang lebih tinggi (2.0) dalam perintah kedua menyebabkan daftar faktor risiko menjadi kurang fokus, lebih spekulatif, atau sangat berbeda dibandingkan output dengan Temperature 0.2? Catatan: Menetapkan setelan Temperature setinggi ini kemungkinan akan menghasilkan output yang kurang koheren atau relevan, tetapi hal ini menunjukkan efek ekstrem dari parameter tersebut.

5. Untuk memperbarui perubahan, klik tombol Update yang ada di bawah panel perintah kedua.

Membandingkan berbagai model dan konfigurasi

Sekarang Anda akan mencoba membandingkan model dasar dengan model dan setelan yang berbeda untuk mengamati perbedaan dalam penalaran atau gaya output.

1. Di kotak teks di dalam panel perintah kedua (yang di sebelah kanan),

   • Teks Perintah: Gunakan skenario "Fiery Grill" asli yang sama dan mintalah tiga faktor risiko seperti di Comparison Base — Restaurant Risk (panel kiri). (Sekali lagi, pastikan petunjuk sistem dasar ada untuk panel ini, baik dengan menambahkannya jika perlu atau jika UI mengalihkannya secara implisit).

2. Klik ikon Edit (pensil) di panel perintah kedua di bawah kotak teks:

   • Perubahan Konfigurasi untuk variasi ini:
     • Ubah Model ke (pilih dari dropdown model untuk panel ini).
     • Tetapkan nilai Temperature ke 0.2.
     • Tetapkan Output token limit ke 65535 (atau nilai maksimum yang diizinkan oleh model di UI).
     • Scroll ke bawah di panel dan klik Apply.

3. Klik Submit prompts.

4. Tinjau respons. Bandingkan output dari (panel kiri) dengan (panel kanan).

Perhatikan perbedaan pada faktor risiko yang diidentifikasi, detail yang diberikan, struktur respons, atau cara berpikir model dalam skenario tersebut.

5. Pastikan untuk mengklik tombol Update yang ada di bawah panel perintah kedua untuk menyimpan perubahan baru.

Opsi perbandingan lainnya (ringkasan singkat)

Vertex AI Studio menawarkan cara lain untuk menambahkan perintah untuk dibandingkan:

1. Perhatikan tombol + Compare saved prompt di area tempat Anda menambahkan "perintah baru" untuk dibandingkan.

   • Dengan mengklik tombol ini, Anda dapat memilih salah satu perintah yang telah disimpan sebelumnya dari "Prompt Management" untuk dibandingkan. Catatan: Seperti yang ditunjukkan di UI (dan untuk mengklarifikasi cakupan "histori percakapan"), perbandingan perintah memiliki batasan. Misalnya, tidak mendukung perintah chat, perintah dengan media, atau perintah dengan histori percakapan yang melibatkan lebih dari satu pertukaran.

2. Anda juga mungkin melihat tombol + Ground truth.

   • Fitur ini memungkinkan Anda memasukkan respons "ideal" atau "sempurna" untuk perintah Anda. Jika kebenaran nyata diberikan, sistem mungkin akan menawarkan metrik evaluasi yang lebih mendetail, yang dapat berguna untuk pengujian perintah tingkat lanjut, tetapi di luar cakupan lab pengantar ini. Untuk tujuan kita, perbandingan visual secara berdampingan sudah cukup.

3. Untuk keluar dari tampilan "Compare" dan kembali ke antarmuka pengeditan perintah utama (misalnya, untuk terus mengerjakan versi yang Anda sukai), klik panah kembali di kiri atas antarmuka "Compare".

Prompt Management

Saat bereksperimen dengan berbagai petunjuk, contoh, dan konfigurasi, hasil kerja Anda harus disimpan. Dengan menyimpan perintah, Anda dapat:

• Mengatur eksperimen Anda.
• Menggunakan kembali perintah yang efektif dengan mudah.

Vertex AI Studio menyediakan Prompt Management untuk tujuan ini.

Menyimpan perintah

Anggap Anda baru saja menyelesaikan iterasi yang ingin disimpan, misalnya, salah satu variasi perintah dari latihan perbandingan, atau versi perintah "Insurance Claim Data Extraction" yang telah disempurnakan.

1. Pastikan perintah yang ingin Anda simpan aktif di antarmuka pengeditan perintah utama (misalnya, Anda mungkin baru saja keluar dari tampilan "Compare" dan membuka versi lain, atau Anda berada di perintah Comparison Base — Restaurant Risks).

2. Jika sudah menyimpan perintah, Anda akan melihat tombol Autosave di toolbar atas. Setelah Anda menyimpan perintah untuk pertama kalinya, Autosave akan aktif secara default. Jika ingin menonaktifkan fitur ini, Anda dapat mengklik tombol tersebut dan memilih Turn off Autosave.

Mengakses Prompt Management

Setelah menyimpan perintah, Anda dapat mengelolanya di Prompt Management.

1. Pertama, buat perintah baru. Dari Navigation menu (), pilih Vertex AI > Vertex AI Studio > Prompt Management.

2. Anda akan melihat daftar perintah yang disimpan, biasanya termasuk nama, media, model, dan tanggal terakhir diubah.

3. Dari halaman ini, Anda dapat melihat, menghapus, atau mengekspor perintah yang disimpan, dan mengakses alat pengoptimalan untuk meningkatkan kualitas perintah.

Klik Periksa progres saya untuk memverifikasi tujuan.

Membandingkan, mengevaluasi, dan mengelola perintah.

Tugas 4. Menggunakan perintah multimodal dengan Gemini

Dalam tugas ini, Anda akan menggunakan antarmuka perintah utama di Vertex AI Studio dengan model Gemini untuk menganalisis gambar dan mengekstrak informasi dari gambar tersebut. Tugas ini menunjukkan cara mendesain perintah untuk berbagai tugas analisis seperti deskripsi, ekstraksi teks, dan question answering berdasarkan konten visual.

1. Pada Konsol Google Cloud, dari Navigation menu (), pilih Vertex AI > Vertex AI Studio > Create prompt.

2. Di bagian kiri atas, klik Untitled Prompt dan ganti nama perintah Anda menjadi Timetable Image Analysis.

3. Di panel Configuration di sebelah kanan:

   • Pastikan model dipilih. Anda dapat mengklik Switch model jika perlu mengubahnya.
   • Aktifkan opsi Advanced, dan untuk Region, pilih .

4. Download contoh gambar jadwal ke komputer lokal Anda:

   • Klik kanan gambar di bawah dan simpan:

5. Di bagian Prompt (di bagian bawah halaman), klik tombol Insert Media (), yang biasanya ada di sisi kanan area input perintah.

6. Di menu Select source yang muncul, klik Upload, lalu pilih file gambar jadwal yang baru saja Anda download dari komputer. Gambar akan langsung muncul di area input perintah.

Catatan: Anda akan melihat beberapa opsi untuk mendapatkan sumber media. Opsi ini biasanya mencakup Upload langsung, memberikan file Melalui URL, mengimpor dari Cloud Storage atau Google Drive, dan bahkan menautkan video YouTube. Untuk lab ini, Anda akan berfokus pada metode upload langsung.

7. Sekarang, Anda dapat meminta model untuk melakukan beberapa tugas pada gambar. Di bawah gambar yang disisipkan di kolom input perintah, tempel perintah berikut:

1. Provide a concise title for this image (under 5 words). 2. Describe the image in one or two sentences. 3. Extract all visible text from the image. Present the flight schedule as a clearly formatted list with columns for "Time" and "City".

8. Klik tombol panah Submit (kanan bawah di bagian Prompt) dan tinjau respons model tersebut.

9. Selanjutnya, Anda dapat mengajukan pertanyaan yang memerlukan penalaran berdasarkan informasi yang diekstrak. Ganti perintah teks sebelumnya (biarkan gambar tetap di tempatnya) dengan perintah berikut:

Based on the flight schedule shown in the image, what percentage of the listed flights depart before 11:30 AM? Show your calculation if possible.

10. Klik tombol panah Submit dan periksa responsnya.

11. Sekilas amati efek dari temperatur. Di panel Configuration di sebelah kanan:

    • Sesuaikan nilai Temperature ke 0.8.
    • Kirim ulang perintah yang sama persis dari langkah 9 ("Based on the flight schedule... percentage...").
    • Perhatikan apakah gaya, tingkat keyakinan, atau detail penjelasannya berubah.
    • Setelah mengamati, kembalikan nilai Temperature ke nilai yang lebih rendah seperti 0.2 agar respons lebih mudah diprediksi.

Catatan: Temperature mengontrol keacakan. Nilai yang lebih rendah (misalnya 0.0—0.2) cocok untuk respons faktual, sedangkan nilai yang lebih tinggi (misalnya 0.7+) dapat menghasilkan output yang lebih beragam atau kreatif, yang mungkin kurang cocok untuk analisis atau ekstraksi data yang presisi.

12. Setelah puas bereksplorasi, simpan hasil kerja Anda. Klik tombol Save di toolbar atas.
    • Nama Timetable Image Analysis seharusnya sudah terisi.
    • Pastikan Region adalah .
    • Klik Save di dialog.

Catatan: Setelah mengklik Save, tunggu beberapa saat agar perintah tersimpan sebelum melanjutkan jika Anda ingin langsung beralih.

Klik Periksa progres saya untuk memverifikasi tujuan.

Menganalisis gambar dengan Gemini di Vertex AI Studio.

Tugas 5. Menjelajahi Media Studio Vertex AI

Selain teks, Vertex AI Studio menawarkan alat canggih untuk menghasilkan berbagai jenis media langsung dari perintah teks atau dengan menyempurnakan media yang ada. Dalam tugas ini, Anda akan mempelajari cara membuat gambar, video, dan suara.

1. Pastikan Anda berada di Vertex AI Studio. Jika belum, buka dari Navigation menu () dengan memilih Vertex AI > Vertex AI Studio > Media Studio. Halaman akan terlihat seperti berikut:

Membuat Gambar dengan Imagen

Anda akan mulai dengan membuat gambar.

1. Di halaman landing Media Studio, di bagian "Start with a text prompt", klik Imagen — Generate images.

2. Di area perintah teks di bagian bawah, masukkan perintah deskriptif. Contoh:

   A close-up, photorealistic image of a single honeybee collecting pollen from a vibrant purple lavender flower, with a softly blurred garden background.

3. Di panel Settings di sebelah kanan:

   • Pastikan Model ditetapkan ke Imagen 4 (atau model Imagen terbaru yang tersedia).
   • Untuk Aspect Ratio, pilih 1:1.
   • Tetapkan Number of results ke 4 untuk konten pertama yang dihasilkan ini.
   • Tinjau setelan Safety (misalnya Person generation, Safety filter threshold) dan tetap gunakan setelan defaultnya atau sesuaikan dengan keinginan untuk perintah yang tidak berfokus pada orang.

4. Klik tombol Submit di kanan bawah area perintah.

5. Setelah beberapa saat, gambar yang Anda buat akan muncul di area utama.

6. Klik salah satu thumbnail gambar yang dihasilkan untuk membuka tampilan detail.

7. Di panel Image details di sebelah kanan:
   • Lihat AI actions yang tersedia seperti Inpaint (untuk menambahkan/menghapus elemen menggunakan penyamaran), Outpaint (untuk memperluas gambar), dan Export image (yang mungkin menawarkan peningkatan skala).
   • Perhatikan apakah SynthID detected ditampilkan dengan tanda centang hijau.
   • (Opsional): pilih salah satu opsi Inpaint atau Outpaint dan berkreasilah untuk melihat kemampuan Imagen.

Apa itu SynthID?

SynthID adalah teknologi yang dikembangkan oleh Google DeepMind yang menyematkan watermark digital langsung ke dalam piksel gambar buatan AI. Watermark ini didesain agar tidak terlihat oleh mata manusia, tetapi dapat dideteksi oleh algoritma. Tujuannya adalah membantu mengidentifikasi gambar sebagai buatan AI, sehingga mendukung transparansi dan praktik AI yang bertanggung jawab, meskipun gambar tersebut nantinya dimodifikasi (misalnya dikompres, difilter).

Membuat Video dengan Veo

Selanjutnya, Anda akan membuat video pendek. Anda akan menggunakan toolbar navigasi cepat dalam alat Media Studio.

1. Di toolbar vertikal kecil di paling kiri halaman (dengan ikon untuk berbagai jenis media: gambar, audio, musik, video), klik ikon video (yang terlihat seperti kamera video) untuk beralih ke alat pembuatan video. Tindakan ini akan membuka antarmuka Veo.

2. Di area perintah teks di bagian bawah, masukkan perintah untuk video pendek. Contoh:

Drone shot slowly flying over vast green hills at golden hour.

3. Di panel Settings di sebelah kanan:

   • Pastikan Model ditetapkan ke Veo 2 (atau model Veo terbaru yang tersedia).
   • Tetapkan Aspect Ratio ke 16:9.
   • Pastikan Number of results tetap di angka 1.
   • Tetapkan Video length ke 5 seconds (atau durasi singkat serupa).
   • Untuk Output directory, klik Browse.
     • Jika bucket project Anda () tercantum, pilih bucket tersebut.
     • Jika tidak, atau jika Anda perlu menentukan jalurnya, Anda mungkin perlu mengetik gs:///` (pastikan ada garis miring di bagian akhir) atau menggunakan navigasi untuk menemukan bucket Anda.
     • Klik Select untuk mengonfirmasi direktori output.
   • Pastikan Enable prompt enhancement dicentang.
   • Tinjau setelan Safety.

4. Klik tombol Submit.

5. Pembuatan video dapat memakan waktu lebih lama daripada pembuatan gambar. Setelah siap, video akan muncul dan Anda dapat memutarnya dalam antarmuka.

6. (Opsional): Anda juga dapat mengklik video untuk menjelajahi AI Actions yang terkait, seperti menambahkan soundtrack atau voiceover.

Klik Periksa progres saya untuk memverifikasi tujuan.

Menjelajahi Media Studio Vertex AI.

Membuat Suara dengan Chirp (Opsional)

Jika Anda ingin mempelajari suara buatan AI:

1. Di toolbar vertikal kecil di paling kiri, klik ikon Audio (terlihat seperti mikrofon) untuk beralih ke alat pembuatan suara. Tindakan ini akan membuka antarmuka Chirp.

2. Anda mungkin akan diminta untuk mengaktifkan Cloud Text-to-Speech API jika API tersebut belum aktif untuk project Anda. Jika demikian, klik Enable dan tunggu hingga API diaktifkan (proses ini mungkin memerlukan waktu beberapa saat).

3. Setelah antarmuka siap, di area perintah teks di bagian bawah, masukkan teks yang ingin Anda sintesiskan. Contoh:

Welcome to the world of generative AI on Google Cloud

4. Di panel Settings di sebelah kanan:

   • Pilih Model (misalnya Chirp 3. HD Voices).
   • Pilih Bahasa yang diinginkan (misalnya English (US)).
   • Pilih Voice dari menu dropdown. Anda dapat mencoba beberapa jenis suara untuk mendengar karakteristiknya.
   • Pelajari Advanced options jika tersedia dan diinginkan.

5. Klik tombol Submit.

6. Setelah pemrosesan, Anda dapat langsung memutar audio yang dihasilkan di antarmuka.

Selamat!

Selamat! Di lab ini, Anda berhasil menggunakan Vertex AI Studio untuk membuat prototipe aplikasi AI generatif untuk skenario asuransi, mulai dari desain dan deployment awal hingga rekayasa dan perbandingan perintah tingkat lanjut. Anda berlatih menyempurnakan output teks untuk tugas analisis tertentu dan mempelajari kemampuan multimodal yang menarik untuk menghasilkan gambar, video, dan suara. Kemampuan dasar ini akan mendukung Anda untuk membangun solusi AI generatif yang lebih canggih di Google Cloud.

Langkah berikutnya/pelajari lebih lanjut

• Pelajari lebih dalam kemampuan model AI generatif yang Anda jelajahi (seperti Gemini untuk analisis teks dan gambar, Imagen, Veo, dan Chirp) dengan membuka dokumentasi Vertex AI Model Garden resmi.
• Tingkatkan keterampilan rekayasa perintah Anda dengan Panduan strategi desain perintah Google Cloud yang komprehensif untuk praktik terbaik dan teknik lanjutan.
• Pelajari cara mengintegrasikan dan mengotomatiskan fungsi AI generatif ini ke dalam aplikasi Anda dengan mempelajari dokumentasi Vertex AI SDK.
• Lanjutkan proses pembelajaran Anda dengan mengikuti lebih banyak kursus dan lab AI Generatif di Google Cloud Skills Boost.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 19 Mei 2025

Lab Terakhir Diuji pada 19 Mei 2025

Hak cipta 2025 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.