GENAI110

Présentation

Agent Development Kit (ADK) est un framework Open Source modulaire et extensible permettant de créer des agents IA. Même si ADK fournit son propre module d'évaluation intégré, cet atelier montre comment utiliser Gen AI Evaluation Service d'Agent Platform pour évaluer les performances d'un agent basé sur ADK. Ce service propose une boîte à outils plus complète, explicable et soumise à un contrôle qualité pour évaluer les modèles ou applications génératifs à l'aide de métriques personnalisées et de benchmarks alignés sur les attentes humaines.

Dans cet atelier, vous allez suivre un guide par étapes pour évaluer votre agent ADK à l'aide de Gen AI Evaluation Service d'Agent Platform.

Cet atelier est basé sur ce notebook du dépôt GoogleCloudPlatform/generative-ai.

Objectif

Dans cet atelier, vous allez apprendre à effectuer les tâches suivantes :

• Créer et exécuter un agent ADK local
• Créer et mettre en forme un ensemble de données pour évaluer l'agent
• Évaluer les performances de l'agent à l'aide de :
  • l'évaluation de l'utilisation d'un outil unique ;
  • l'évaluation basée sur la trajectoire ;
  • l'évaluation de la qualité des réponses.
• Utiliser Gen AI Evaluation Service d'Agent Platform pour générer des métriques explicables et des résultats de benchmark

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).

• Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :

   • Le bouton "Ouvrir la console Google Cloud"
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier, si nécessaire

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans une fenêtre en navigation privée si vous utilisez Chrome).

   L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. N'utilisez pas les identifiants de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires pourront vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche.

Tâche 1 : Préparer l'environnement dans Agent Platform Workbench

1. Dans la console Google Cloud, accédez au menu de navigation (), puis sélectionnez Agent Platform > Notebooks > Workbench.

2. Cliquez sur Activer les API, puis sur Activer pour confirmer.

3. Sous Instances, cliquez sur Ouvrir JupyterLab à côté de votre instance vertex-ai-jupyterlab. JupyterLab s'ouvre dans un nouvel onglet.

4. Sur la page du lanceur de JupyterLab, cliquez sur Terminal pour ouvrir un shell.

5. Téléchargez un notebook et un fichier utilitaire pour cet atelier à l'aide de la commande suivante :

   gcloud storage cp gs://{{{project_0.project_id| YOUR_GCP_PROJECT_ID}}}-bucket/* .

6. Ouvrez le fichier .

7. Dans la boîte de dialogue Select Kernel (Sélectionner le kernel), sélectionnez Python 3 (Local) dans la liste des kernels disponibles.

8. Exécutez la première cellule de code sous l'en-tête Install Agent Development Kit (ADK) and other required packages (Installer l'Agent Development Kit (ADK) et les autres packages requis) pour installer les dépendances. Pour exécuter une cellule, cliquez sur le bouton de lecture en haut de la page ou mettez en surbrillance la cellule et appuyez sur MAJ+ENTRÉE sur votre clavier.

9. Pour utiliser les packages récemment installés dans cet environnement d'exécution Jupyter, vous devez redémarrer le kernel. Attendez que le symbole [*] à côté de la cellule soit remplacé par [1], ce qui indiquera que la cellule aura été exécutée. Ensuite, dans les menus JupyterLab, sélectionnez Kernel > Restart Kernel and Clear Outputs of All Cells… (Kernel > Redémarrer le kernel et supprimer les résultats de toutes les cellules).

10. Lorsque vous êtes invité à confirmer votre choix, sélectionnez Restart (Redémarrer).

11. Une fois le kernel redémarré, exécutez la cellule suivante sous Set Google Cloud project information (Définir les informations du projet Google Cloud) pour définir les informations du projet Google Cloud et initialiser Agent Platform.

12. Exécutez la cellule suivante dans la section Import libraries (Importer des bibliothèques) du notebook.

Cliquez sur Vérifier ma progression pour valider les objectifs. Définir les informations du projet Google Cloud

Tâche 2 : Lire et exécuter le reste du notebook

Lisez et exécutez les cellules du notebook. Dans ses sections, vous allez :

• définir les outils pour indiquer les fonctions get_product_details() et get_product_price() que votre agent utilisera ultérieurement comme outils ;
• définir le modèle pour indiquer le modèle Gemini que votre agent utilisera ;
• créer l'agent en définissant une fonction qui crée un agent, en lui fournissant les outils que vous avez définis ci-dessus, et qui l'utilise pour générer une réponse à une requête ;
• tester l'agent pour voir quelques exemples de réponses, y compris un résultat au format Markdown citant les fonctions appelées ;

Cliquez sur Vérifier ma progression pour valider les objectifs. Créer un agent ADK

• découvrir comment évaluer un agent ADK à l'aide de Gen AI Evaluation Service d'Agent Platform ;
• préparer un ensemble de données d'évaluation de l'agent composé d'un ensemble de prompts et de leurs appels d'outils attendus (trajectoire de référence) ;
• exécuter l'évaluation de l'utilisation d'un outil unique pour déterminer si l'agent choisit le bon outil unique pour une tâche donnée ;
• exécuter l'évaluation de la trajectoire pour déterminer si l'agent choisit les bons outils et les utilise dans l'ordre prévu ;
• découvrir comment visualiser les résultats de l'évaluation ;
• découvrir comment définir une métrique personnalisée et l'évaluer ;

Cliquez sur Vérifier ma progression pour valider les objectifs. Évaluer un agent ADK à l'aide de Gen AI Evaluation Service d'Agent Platform

• lire la section bonus Bring-Your-Own-Dataset (BYOD) (Importez vos propres données), qui explique comment évaluer les réponses de l'agent générées ailleurs en fournissant un ensemble de données d'évaluation contenant ces réponses.

Cliquez sur Vérifier ma progression pour valider les objectifs. Effectuer une évaluation BYOD d'agents LangGraph à l'aide de la GenAI

Cliquez sur Vérifier ma progression pour valider les objectifs. Nettoyer les ressources de l'expérience

Félicitations !

Vous avez réussi à évaluer un agent ADK à l'aide de Gen AI Evaluation Service d'Agent Platform. Vous avez créé et exécuté l'agent en local, préparé un ensemble de données d'évaluation personnalisé et évalué l'utilisation des outils par l'agent, la trajectoire d'action et la qualité de la réponse finale en vous servant des outils d'évaluation intégrés.

Vous avez évalué l'agent à l'aide des composants suivants :

• ADK (Agent Development Kit) pour créer et exécuter l'agent
• Ensemble de données d'évaluation structuré avec l'utilisation attendue des outils et des références
• Gen AI Evaluation Service d'Agent Platform
• Métriques d'évaluation de l'utilisation des outils
• Correspondance de trajectoire pour assurer la justesse étape par étape
• Évaluation sur une métrique personnalisée

Dernière mise à jour du manuel : 28 août 2026

Dernier test de l'atelier : 28 août 2026

Copyright 2026 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms de société et de produit peuvent être des marques des sociétés auxquelles ils sont associés.