GENAI110

Ringkasan

Agent Development Kit (ADK) adalah framework open source modular dan dapat diperluas untuk membangun agen AI. Meskipun ADK menyediakan modul evaluasi bawaannya sendiri, lab ini menunjukkan cara menggunakan Layanan Evaluasi AI Generatif Agent Platform untuk menilai performa agen berbasis ADK. Pendekatan ini menawarkan toolkit yang lebih luas, dapat dijelaskan, dan dikontrol kualitasnya untuk mengevaluasi model generatif atau aplikasi menggunakan metrik kustom dan tolok ukur yang selaras dengan manusia.

Di lab ini, Anda akan mempelajari panduan langkah demi langkah untuk mengevaluasi agen ADK menggunakan Evaluasi AI Generatif Agent Platform.

Lab ini didasarkan pada notebook ini dari repo GoogleCloudPlatform/generative-ai.

Tujuan

Di lab ini, Anda akan mempelajari cara melakukan tugas berikut:

• Membangun dan menjalankan agen ADK lokal.
• Membuat dan memformat set data evaluasi agen.
• Mengevaluasi performa agen menggunakan:
  • Evaluasi penggunaan alat tunggal.
  • Evaluasi berbasis lintasan.
  • Evaluasi kualitas respons.
• Menggunakan Layanan Evaluasi Agent Platform untuk membuat metrik yang dapat dijelaskan dan hasil tolok ukur.

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Cara memulai lab dan login ke Konsol Google Cloud

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Penggunaan akun Google Cloud sendiri untuk lab ini mungkin dikenai biaya tambahan.

7. Klik untuk melanjutkan ke halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan daftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search.

Tugas 1. Menyiapkan lingkungan di Agent Platform Workbench

1. Di Konsol Google Cloud, dari Navigation menu (), pilih Agent Platform > Notebooks > Workbench.

2. Klik Enable APIs, lalu klik Enable untuk mengonfirmasi.

3. Di bagian Instances, klik Open JupyterLab di samping instance vertex-ai-jupyterlab Anda. JupyterLab akan diluncurkan di tab baru.

4. Di halaman JupyterLab Launcher, klik Terminal untuk membuka Shell.

5. Download notebook dan file pendukung untuk lab ini dengan perintah:

   gcloud storage cp gs://{{{project_0.project_id| YOUR_GCP_PROJECT_ID}}}-bucket/* .

6. Buka file .

7. Pada dialog Select Kernel, pilih Python 3 (Local) dari daftar kernel yang tersedia.

8. Jalankan sel kode pertama di bagian header Install Agent Development Kit (ADK) and other required packages untuk menginstal dependensi. Untuk menjalankan sel, klik tombol putar di bagian atas, atau tandai sel dan tekan SHIFT+ENTER di keyboard.

9. Untuk menggunakan paket yang baru diinstal di runtime Jupyter ini, Anda harus memulai ulang kernel. Tunggu hingga [*] di samping sel berubah menjadi [1] yang menunjukkan bahwa sel telah selesai, lalu di menu Jupyter Lab, pilih Kernel > Restart Kernel and Clear Outputs of All Cells....

10. Saat diminta untuk mengonfirmasi, pilih Restart.

11. Setelah kernel dimulai ulang, jalankan sel berikutnya di bagian Set Google Cloud project information untuk menetapkan informasi project Google Cloud dan melakukan inisialisasi Agent Platform.

12. Jalankan sel berikutnya di bagian Import libraries pada notebook.

Klik Periksa progres saya untuk memverifikasi tujuan. Menetapkan informasi project Google Cloud

Tugas 2. Membaca dan menjalankan bagian notebook lainnya

Baca dan jalankan sesuai yang ada di sel-sel dalam notebook. Di bagian-bagiannya, Anda akan:

• Menetapkan alat untuk menentukan fungsi get_product_details() dan get_product_price() yang nantinya akan digunakan agen Anda sebagai alat.
• Menetapkan Model untuk menentukan model Gemini yang akan digunakan agen Anda.
• Merangkai agen dengan menentukan fungsi yang membangun Agen, memberinya alat yang telah Anda tentukan di atas, dan menggunakannya untuk menghasilkan respons terhadap kueri.
• Menguji Agen untuk melihat beberapa contoh respons, termasuk output berformat Markdown yang mengutip fungsi yang dipanggil.

Klik Periksa progres saya untuk memverifikasi tujuan. Membangun agen ADK

• Mempelajari cara Mengevaluasi agen ADK dengan Evaluasi AI Generatif Agent Platform.
• Menyiapkan Set Data Evaluasi Agen yang terdiri atas serangkaian perintah dan panggilan alat yang diharapkan (lintasan referensi).
• Menjalankan Evaluasi penggunaan alat tunggal untuk memastikan apakah agen memilih alat tunggal yang benar atau tidak untuk tugas tertentu.
• Menjalankan Evaluasi Lintasan untuk menilai apakah agen tidak hanya memilih alat yang tepat, tetapi juga menggunakannya dalam urutan yang Anda inginkan.
• Mempelajari cara Memvisualisasikan Hasil Evaluasi.
• Mempelajari cara Menentukan metrik kustom dan mengevaluasinya.

Klik Periksa progres saya untuk memverifikasi tujuan. Mengevaluasi agen ADK dengan Evaluasi AI Generatif Agent Platform

• Bagian bonus Bawa Set Data Anda Sendiri (BYOD) menunjukkan cara mengevaluasi respons agen yang dihasilkan di tempat lain dengan menyediakan set data evaluasi yang berisi respons tersebut.

Klik Periksa progres saya untuk memverifikasi tujuan. Mengevaluasi BYOD terhadap agen LangGraph menggunakan AI Generatif

Klik Periksa progres saya untuk memverifikasi tujuan. Membersihkan eksperimen

Selamat!

Anda telah berhasil mengevaluasi agen ADK menggunakan Evaluasi AI Generatif Agent Platform. Anda telah membangun dan menjalankan agen secara lokal, menyiapkan set data evaluasi kustom, serta menilai penggunaan alat, lintasan tindakan, dan kualitas respons akhir agen menggunakan alat evaluasi bawaan.

Anda telah mengevaluasi agen menggunakan komponen berikut:

• ADK (Agent Development Kit) untuk membangun dan menjalankan agen
• Set data evaluasi terstruktur dengan penggunaan dan referensi alat yang diharapkan
• Layanan Evaluasi AI Generatif Agent Platform
• Metrik evaluasi penggunaan alat
• Pencocokan lintasan untuk akurasi langkah demi langkah
• Evaluasi terhadap metrik kustom

Manual Terakhir Diperbarui pada 28 Agustus 2026

Lab Terakhir Diuji pada 28 Agustus 2026

Hak cipta 2026 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.