GSP1209

Présentation

Le SDK Google Gen AI fournit une interface unifiée permettant d'accéder aux services d'API d'IA générative de Google. Il simplifie l'intégration de fonctionnalités d'IA générative dans des applications et des services, ce qui permet aux développeurs d'utiliser les modèles d'IA avancés de Google pour diverses tâches. Dans cet atelier, vous allez découvrir le SDK Google Gen AI et apprendre à vous connecter aux services d'IA, à envoyer des requêtes variées et à affiner les réponses de Gemini. Vous allez également acquérir une expérience pratique de techniques plus avancées pour vous préparer à profiter de la puissance de l'IA générative dans vos propres projets.

Objectifs

Dans cet atelier, vous allez apprendre à utiliser le SDK Google Gen AI pour Python afin d'interagir avec les services et modèles d'IA générative de Google, y compris Gemini. Vous effectuerez les tâches suivantes :

• Installer le SDK Gen AI
• Se connecter à un service d'API
• Envoyer des requêtes textuelles et multimodales
• Définir des instructions système
• Configurer les paramètres du modèle et les filtres de sécurité
• Gérer les interactions avec le modèle (chat multitour, streaming de contenu, requêtes asynchrones)
• Utiliser des fonctionnalités avancées (comptage de jetons, mise en cache du contexte, appel de fonction, prédiction par lots, embeddings textuels)

Prérequis

Avant de commencer cet atelier, vous devez :

• avoir des connaissances de base en programmation Python ;
• connaître les concepts généraux sur les API ;
• savoir exécuter du code Python dans un notebook Jupyter dans Vertex AI Workbench.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).

Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :

   • Le bouton "Ouvrir la console Google Cloud"
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche.

Tâche 1 : Ouvrir le notebook dans Vertex AI Workbench

1. Dans la console Google Cloud, accédez au menu de navigation () et cliquez sur Vertex AI > Workbench.

2. Recherchez l'instance , puis cliquez sur le bouton Ouvrir JupyterLab.

L'interface JupyterLab de votre instance Workbench s'ouvre dans un nouvel onglet de navigateur.

Tâche 2 : Configurer le notebook

Ouvrez votre fichier notebook, importez vos bibliothèques et choisissez votre modèle.

1. Ouvrez le fichier .

2. Dans la boîte de dialogue Select Kernel (Sélectionner le kernel), sélectionnez Python 3 dans la liste des kernels disponibles.

3. Parcourez les sections suivantes du notebook :

   • Commencer
   • Utiliser le SDK Google Gen AI
   • Se connecter à un service d'API d'IA générative

Pour Project ID (ID du projet), utilisez et pour Location (Emplacement), utilisez .

Remarque : Ignorez les cellules du notebook avec la mention Colab only (Colab uniquement). Si l'exécution d'une cellule renvoie l'erreur 429, patientez une minute avant de la réexécuter pour poursuivre.

Cliquez sur Vérifier ma progression pour valider l'objectif. Importer des bibliothèques et configurer le notebook

Tâche 3 : Interagir avec le modèle

Pour en savoir plus sur tous les modèles d'IA et toutes les API sur Vertex AI, consultez Modèles Google et Model Garden.

Choisir un modèle

• Exécutez la section Choisir un modèle du notebook.

Envoyer des requêtes textuelles

Générez des réponses à vos requêtes à l'aide de la méthode generate_content. Vous pouvez transmettre du texte à generate_content et utiliser la propriété .text pour obtenir le contenu textuel de la réponse.

• Exécutez la section Envoyer des requêtes textuelles du notebook.

Envoyer des requêtes multimodales

Vous pouvez inclure du texte, des documents PDF, des images, et des fichiers audio et vidéo dans vos requêtes, et obtenir des réponses sous forme de texte ou de code.

Vous pouvez également transmettre l'URL du fichier dans Part.from_uri dans la requête adressée directement au modèle.

• Exécutez la section Envoyer des requêtes multimodales du notebook.

Définir les instructions système

Les instructions système vous permettent de contrôler le comportement du modèle. Définissez une instruction système pour fournir au modèle un contexte supplémentaire pour qu'il comprenne la tâche, renvoie des réponses plus personnalisées et respecte des consignes pendant toute l'interaction de l'utilisateur.

• Exécutez la section Définir des instructions système du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Interagir avec le modèle

Tâche 4 : Configurer et contrôler le modèle

Configurer les paramètres du modèle

Vous pouvez inclure des valeurs de paramètres dans chaque appel que vous envoyez à un modèle pour contrôler la manière dont il génère sa réponse. Pour en savoir plus, consultez la section Tester les valeurs de paramètres.

• Exécutez la section Configurer les paramètres du modèle du notebook.

Configurer des filtres de sécurité

L'API Gemini fournit des filtres de sécurité que vous pouvez configurer pour restreindre ou autoriser certains types de contenus. Couvrant plusieurs catégories, ces filtres vous permettent d'ajuster les paramètres selon les besoins de votre cas d'utilisation. Pour en savoir plus, consultez la page Configurer des filtres de sécurité.

Lorsque vous envoyez une requête au modèle, le contenu est analysé et obtient un score de sécurité. Vous pouvez vérifier les scores de sécurité du contenu généré en imprimant les réponses du modèle, comme dans cet exemple :

• Exécutez la section Configurer des filtres de sécurité du notebook.

Commencer un chat multitour

L'API Gemini vous permet d'avoir des conversations en mode Forme libre comportant plusieurs tours.

• Exécutez la section Commencer un chat multitour du notebook.

Contrôler la sortie générée

La fonctionnalité de génération contrôlée de l'API Gemini vous permet de contraindre la sortie du modèle à un format structuré. Vous pouvez fournir les schémas sous forme de modèles Pydantic ou de chaînes JSON.

Vous pouvez également définir un schéma de réponse dans un dictionnaire Python. Vous ne pouvez utiliser que les champs ci-dessous. Tous les autres champs sont ignorés.

• enum
• items
• maxItems
• nullable
• properties
• required

Dans cet exemple, vous indiquez au modèle qu'il doit analyser les données des avis sur les produits, extraire les entités clés, effectuer une classification des sentiments (choix multiples), fournir des explications supplémentaires et générer les résultats au format JSON.

• Exécutez la section Contrôler la sortie générée du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Configurer et contrôler le modèle

Tâche 5 : Gérer l'interaction du modèle

Générer un flux de contenu

Par défaut, le modèle renvoie une réponse lorsque tout le processus de génération est terminé. Vous pouvez également utiliser la méthode generate_content_stream pour afficher la réponse progressivement à mesure qu'elle est générée. Le modèle renvoie alors des fragments de la réponse dès qu'ils sont générés.

• Exécutez la section Générer un flux de contenu du notebook.

Envoyer des requêtes asynchrones

Vous pouvez envoyer des requêtes asynchrones à l'aide du module client.aio. Ce module expose toutes les méthodes asynchrones analogues disponibles sur client.

Par exemple, client.aio.models.generate_content est la version asynchrone de client.models.generate_content.

• Exécutez la section Envoyer des requêtes asynchrones du notebook.

Compter et calculer les jetons

Vous pouvez utiliser la méthode count_tokens pour calculer le nombre de jetons d'entrée avant d'envoyer une requête à l'API Gemini. Pour en savoir plus, consultez la page Lister et compter les jetons.

Compter les jetons

• Exécutez la section Compter les jetons du notebook.

Calculer les jetons

• Exécutez la section Calculer les jetons du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Gérer l'interaction du modèle

Tâche 6 : Fonctionnalités avancées

Appel de fonction

L'appel de fonction vous permet de fournir un ensemble d'outils que le modèle peut utiliser pour répondre à la requête de l'utilisateur. Vous créez une description de fonction dans votre code, puis vous transmettez cette description à un modèle de langage dans une requête. La réponse du modèle inclut le nom d'une fonction correspondant à la description et les arguments avec lesquels l'appeler.

Pour plus d'exemples d'appel de fonction, consultez ce notebook.

• Exécutez la section Appel de fonction du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Appel de fonction

Utiliser la mise en cache du contexte

La mise en cache du contexte vous permet de stocker les jetons d'entrée fréquemment utilisés dans un cache dédié et d'y faire référence pour les requêtes suivantes. Il n'est donc plus nécessaire de transmettre à plusieurs reprises le même ensemble de jetons à un modèle.

Remarque : La mise en cache du contexte n'est disponible que pour les modèles stables avec des versions fixes (par exemple, gemini-2.0-flash-001). Vous devez inclure le suffixe de version (par exemple, -001).

Créer un cache

• Exécutez la section Créer un cache du notebook.

Utiliser un cache

• Exécutez la section Utiliser un cache du notebook.

Supprimer un cache

• Exécutez la section Supprimer un cache du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Utiliser la mise en cache du contexte

Prédiction par lots

Contrairement aux réponses en ligne (synchrones), pour lesquelles vous êtes limité à une requête d'entrée à la fois, les prédictions par lots pour l'API Gemini dans Vertex AI vous permettent d'envoyer un grand nombre de requêtes à Gemini en une seule requête par lot. Les réponses du modèle sont ensuite insérées de manière asynchrone dans l'emplacement de sortie de votre espace de stockage dans Cloud Storage ou BigQuery.

Les prédictions par lots sont généralement plus efficaces et plus économiques que les prédictions en ligne pour traiter un grand nombre d'entrées qui ne sont pas sensibles à la latence.

Préparer les entrées par lot

L'entrée des requêtes par lot spécifie les éléments à envoyer à votre modèle pour la prédiction.

Les requêtes par lot pour Gemini acceptent les sources de stockage BigQuery et Cloud Storage. Pour en savoir plus sur les formats d'entrée par lot, consultez la page Génération de texte par lot.

Dans cet atelier, nous utilisons Cloud Storage comme exemple. Les exigences pour l'entrée Cloud Storage sont les suivantes :

• Format de fichier : JSON Lines (JSONL)
• Emplacement : us-central1
• Autorisations de lecture appropriées pour le compte de service

Chaque requête que vous envoyez à un modèle peut inclure des paramètres qui contrôlent la manière dont le modèle génère sa réponse. Pour en savoir plus sur les paramètres Gemini, consultez la page Tester les valeurs de paramètres.

Voici l'un des exemples de requête du fichier JSONL d'entrée batch_requests_for_multimodal_input_2.jsonl :

{"request":{"contents": [{"role": "user", "parts": [{"text": "List objects in this image."}, {"file_data": {"file_uri": "gs://cloud-samples-data/generative-ai/image/office-desk.jpeg", "mime_type": "image/jpeg"}}]}],"generationConfig":{"temperature": 0.4}}}

• Exécutez la section Préparer les entrées par lot du notebook.

Préparer l'emplacement de sortie par lot

Une fois la tâche de prédiction par lots terminée, le résultat est stocké dans l'emplacement spécifié dans votre requête.

• L'emplacement se présente sous la forme d'un préfixe d'URI Cloud Storage ou BigQuery, comme gs://path/to/output/data ou bq://projectId.bqDatasetId.

• Si vous ne spécifiez pas de source, gs://STAGING_BUCKET/gen-ai-batch-prediction est utilisé pour la source Cloud Storage et bq://PROJECT_ID.gen_ai_batch_prediction.predictions_TIMESTAMP est utilisé pour la source BigQuery.

Dans cet atelier, nous utilisons un bucket Cloud Storage comme exemple d'emplacement de sortie.

Vous pouvez spécifier l'URI de votre bucket Cloud Storage dans BUCKET_URI. Si vous ne le faites pas, un bucket Cloud Storage de la forme gs://PROJECT_ID-TIMESTAMP sera créé pour vous.

• Exécutez la section Préparer l'emplacement de sortie par lot du notebook.

Envoyer une requête de prédiction par lots

Pour effectuer une requête de prédiction par lots, vous devez spécifier un ID de modèle source, une source d'entrée et un emplacement de sortie dans lequel Vertex AI stocke les résultats de la prédiction par lots.

Pour en savoir plus, consultez la page API de prédiction par lots. Vous pouvez également vérifier l'état dans la console à l'adresse https://console.cloud.google.com/vertex-ai/batch-predictions.

• Exécutez la section Envoyer une requête de prédiction par lots du notebook.

Remarque : L'exécution de la prédiction par lots peut prendre quelques minutes.

Récupérer des résultats de prédiction par lots

Lorsqu'une tâche de prédiction par lots est terminée, le résultat de la prédiction est stocké dans l'emplacement spécifié dans votre requête. Il est également disponible dans batch_job.dest.bigquery_uri ou batch_job.dest.gcs_uri.

Exemple de résultat :

{"status": "", "processed_time": "2024-11-13T14:04:28.376+00:00", "request": {"contents": [{"parts": [{"file_data": null, "text": "List objects in this image."}, {"file_data": {"file_uri": "gs://cloud-samples-data/generative-ai/image/gardening-tools.jpeg", "mime_type": "image/jpeg"}, "text": null}], "role": "user"}], "generationConfig": {"temperature": 0.4}}, "response": {"candidates": [{"avgLogprobs": -0.10394711927934126, "content": {"parts": [{"text": "Here's a list of the objects in the image:\n\n* **Watering can:** A green plastic watering can with a white rose head.\n* **Plant:** A small plant (possibly oregano) in a terracotta pot.\n* **Terracotta pots:** Two terracotta pots, one containing the plant and another empty, stacked on top of each other.\n* **Gardening gloves:** A pair of striped gardening gloves.\n* **Gardening tools:** A small trowel and a hand cultivator (hoe). Both are green with black handles."}], "role": "model"}, "finishReason": "STOP"}], "modelVersion": "gemini-2.0-flash-001@default", "usageMetadata": {"candidatesTokenCount": 110, "promptTokenCount": 264, "totalTokenCount": 374}}}

• Exécutez la section Récupérer des résultats de prédiction par lots du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Récupérer des résultats de prédiction par lots

Obtenir des embeddings textuels

Vous pouvez obtenir des embeddings textuels pour un extrait de texte à l'aide de la méthode embed_content. Par défaut, tous les modèles produisent une sortie avec 768 dimensions. Toutefois, certains modèles permettent aux utilisateurs de choisir une dimensionnalité de sortie comprise entre 1 et 768. Pour en savoir plus, consultez la page API d'embeddings textuels Vertex AI.

• Exécutez la section Obtenir des embeddings textuels du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Obtenir des embeddings textuels

Félicitations !

Félicitations ! Vous avez exploré le SDK Google Gen AI et appris à vous connecter aux services d'IA, à envoyer des requêtes variées et à affiner les réponses du modèle Gemini. Vous avez également acquis une expérience pratique de techniques plus avancées, comme gérer les interactions, utiliser la mise en cache du contexte et même travailler avec des embeddings. Vous êtes désormais bien équipé pour profiter de la puissance de l'IA générative dans vos propres projets.

Étapes suivantes et informations supplémentaires

Consultez les ressources suivantes pour en savoir plus sur Gemini :

• Présentation de Gemini
• Documentation sur l'IA générative sur Vertex AI
• Chaîne YouTube sur l'IA générative
• Livre de recettes Vertex AI, doté d'un index de recherche et proposant une sélection de notebooks pour l'IA générative
• Dépôt Google Cloud pour l'IA générative, contenant d'autres notebooks et exemples

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 5 mai 2025

Dernier test de l'atelier : 5 mai 2025

Copyright 2025 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.