GENAI110

Übersicht

Das Agent Development Kit (ADK) ist ein modulares, erweiterbares Open-Source-Framework zum Erstellen von KI-Agenten. Es verfügt zwar über ein integriertes Bewertungsmodul, in diesem Lab wird jedoch gezeigt, wie Sie den Gen AI Evaluation Service auf der Agent Platform verwenden, um die Leistung eines ADK-basierten KI-Agenten zu bewerten. Diese Heransgehensweise bietet ein umfangreicheres nachvollziehbares und qualitätskontrolliertes Toolkit zur Bewertung generativer Modelle oder Anwendungen anhand von benutzerdefinierten Messwerten und auf den Menschen ausgerichteten Benchmarks.

In diesem Lab erfahren Sie detailliert, wie Sie Ihren ADK-Agenten mit dem Gen AI Evaluation Service auf der Agent Platform bewerten.

Dieses Lab basiert auf diesem Notebook aus dem Repository GoogleCloudPlatform/generative-ai.

Ziel

Aufgaben in diesem Lab:

• Lokalen ADK-Agenten erstellen und ausführen
• Dataset für die Bewertung des KI-Agenten erstellen und formatieren
• Leistung des KI-Agenten anhand von Folgendem bewerten:
  • Bewertung der Nutzung eines einzelnen Tools
  • Bewertung der Vorgehensweise
  • Bewertung der Antwortqualität
• Mit dem Evaluation Service auf der Agent Platform erklärbare Messwerte und Benchmark-Ergebnisse generieren

Einrichtung und Anforderungen

Vor dem Klick auf „Lab starten“

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Dialogfeld geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich „Details zum Lab“ mit diesen Informationen:

   • Button „Google Cloud Console öffnen“
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Gegebenenfalls weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen. Wenn Sie Chrome verwenden, können Sie auch rechtsklicken und Link in Inkognitofenster öffnen auswählen.

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite „Anmelden“ geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich „Details zum Lab“.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich „Details zum Lab“.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder 2-Faktor-Authentifizierung hinzu, da dies nur ein temporäres Konto ist.
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie auf Google Cloud-Produkte und ‑Dienste zugreifen möchten, klicken Sie auf das Navigationsmenü oder geben Sie den Namen des Produkts oder Dienstes in das Feld Suchen ein.

Aufgabe 1: Umgebung in Agent Platform Workbench vorbereiten

1. Wählen Sie in der Google Cloud Console im Navigationsmenü () die Option Agent Platform > Notebooks > Workbench aus.

2. Klicken Sie auf APIs aktivieren und dann auf Aktivieren, um den Vorgang zu bestätigen.

3. Klicken Sie unter Instanzen neben Ihrer Instanz vertex-ai-jupyterlab auf JupyterLab öffnen. JupyterLab wird in einem neuen Tab gestartet.

4. Klicken Sie auf der Seite „JupyterLab Launcher“ auf Terminal, um eine Shell zu öffnen.

5. Laden Sie mit dem folgenden Befehl ein Notebook und eine Hilfsdatei für dieses Lab herunter:

   gcloud storage cp gs://{{{project_0.project_id| YOUR_GCP_PROJECT_ID}}}-bucket/* .

6. Öffnen Sie die -Datei.

7. Wählen Sie im Dialogfeld Kernel auswählen in der Liste der verfügbaren Kernel die Option Python 3 (lokal) aus.

8. Führen Sie die erste Codezelle unter der Überschrift Install Agent Development Kit (ADK) and other required packages (Agent Development Kit (ADK) und andere erforderliche Pakete installieren) aus, um Abhängigkeiten zu installieren. Wenn Sie eine Zelle ausführen möchten, klicken Sie oben auf den Button zum Ausführen oder markieren Sie die Zelle und drücken Sie UMSCHALTTASTE + EINGABETASTE auf der Tastatur.

9. Sie müssen den Kernel neu starten, um die neu installierten Pakete in dieser Jupyter-Laufzeit zu verwenden. Warten Sie, bis sich das [*] neben der Zelle in [1] ändert. Das bedeutet, dass die Zelle abgeschlossen ist. Wählen Sie dann in den JupyterLab-Menüs Kernel > Restart Kernel and Clear All Cells… (Kernel > Kernel neu starten und alle Zellen löschen…) aus.

10. Wenn Sie zur Bestätigung aufgefordert werden, wählen Sie Restart (Neu starten) aus.

11. Nachdem der Kernel neu gestartet wurde, führen Sie die nächste Zelle unter Set Google Cloud project information (Informationen zum Google Cloud-Projekt festlegen) aus, um Informationen zum Google Cloud-Projekt festzulegen und Agent Platform zu initialisieren.

12. Führen Sie die nächste Zelle im Abschnitt Import libraries (Bibliotheken importieren) des Notebooks aus.

Klicken Sie auf Fortschritt prüfen. Google Cloud-Projektinformationen festlegen

Aufgabe 2: Rest des Notebooks lesen und ausführen

Lesen Sie die Zellen des Notebooks und arbeiten Sie sie durch. In den einzelnen Abschnitten werden Sie Folgendes tun:

• Tools festlegen, um die Funktionen get_product_details() und get_product_price() zu definieren, die Ihr KI-Agent später als Tools verwenden soll.
• Das Modell festlegen, um das Gemini-Modell zu definieren, das Ihr KI-Agent verwenden soll.
• Den KI-Agenten erstellen, indem Sie eine Funktion zum Erstellen eines KI-Agenten definieren und ihm die oben definierten Tools zur Verfügung stellen, damit er eine Antwort auf eine Anfrage generiert.
• Den KI-Agenten testen, um einige Beispielantworten zu sehen, einschließlich Markdown-formatierter Ausgaben, in denen die aufgerufenen Funktionen angegeben sind.

Klicken Sie auf Fortschritt prüfen. ADK-Agenten erstellen

• Mehr über die Bewertung von ADK-Agenten mit dem Gen AI Evaluation Service auf der Agent Platform erfahren
• Ein Dataset für die Bewertung des KI-Agenten vorbereiten, das aus einer Reihe von Prompts und den erwarteten Toolaufrufen (Referenzvorgehensweise) besteht.
• Bewertung der Nutzung eines einzelnen Tools ausführen, um festzustellen, ob der KI-Agent das richtige Tool für eine bestimmte Aufgabe auswählt.
• Vorgehensweise bewerten ausführen, um zu prüfen, ob der KI-Agent nicht nur die richtigen Tools auswählt, sondern sie auch in der von Ihnen vorgesehenen Reihenfolge verwendet.
• Bewertungsergebnisse visualisieren.
• Benutzerdefinierten Messwert definieren und anhand dessen eine Bewertung durchführen.

Klicken Sie auf Fortschritt prüfen. ADK-Agenten mit dem Gen AI Evaluation Service auf der Agent Platform bewerten

• Im Bonusabschnitt Bring-Your-Own-Dataset (BYOD) erfahren Sie, wie Sie die Antworten von KI-Agenten bewerten, die an anderer Stelle generiert wurden. Dazu stellen Sie ein Bewertungs-Dataset mit diesen Antworten bereit.

Klicken Sie auf Fortschritt prüfen. BYOD-Bewertung von LangGraph-Agenten mit generativer KI durchführen

Klicken Sie auf Fortschritt prüfen. Test bereinigen

Herzlichen Glückwunsch!

Sie haben einen ADK-Agenten mit dem Gen AI Evaluation Service auf der Agent Platform bewertet. Dazu haben Sie den KI-Agenten lokal erstellt und ausgeführt, ein benutzerdefiniertes Bewertungs-Dataset vorbereitet und die Toolnutzung, Vorgehensweise und Qualität der endgültigen Antwort des KI-Agenten mithilfe integrierter Bewertungstools bewertet.

Sie haben den KI-Agenten mit den folgenden Komponenten bewertet:

• ADK (Agent Development Kit) zum Erstellen und Ausführen des KI-Agenten
• Strukturiertes Bewertungs-Dataset mit erwarteter Toolnutzung und Referenzen
• Gen AI Evaluation Service auf der Agent Platform
• Bewertungsmesswerte für die Toolnutzung
• Abgleich der Vorgehensweise im Hinblick auf detaillierte Accuracy
• Bewertung anhand eines benutzerdefinierten Messwerts

Anleitung zuletzt am 28. August 2026 aktualisiert

Lab zuletzt am 28. August 2026 getestet

Copyright 2026 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.