GSP1210

Présentation

Cet atelier présente Gemini, une famille de modèles d'IA générative multimodaux développés par Google. Vous utiliserez l'API Gemini pour découvrir comment Gemini Flash peut comprendre et générer des réponses à partir de texte, d'images et de vidéos.

Grâce à ses fonctionnalités multimodales, Gemini peut exécuter les actions suivantes :

• Analyser des images : détecter des objets, comprendre des interfaces utilisateur, interpréter des diagrammes et trouver des similitudes et des différences dans des images.
• Traiter des vidéos : générer des descriptions, extraire des tags et des temps forts, et répondre à des questions sur du contenu vidéo.

Vous allez tester ces fonctionnalités en effectuant des tâches pratiques à l'aide de l'API Gemini dans Vertex AI.

Prérequis

Avant de commencer cet atelier, vous devez :

• avoir des connaissances de base en programmation Python ;
• connaître les concepts généraux sur les API ;
• savoir exécuter du code Python dans un notebook Jupyter dans Vertex AI Workbench.

Objectifs

Au cours de cet atelier, vous allez :

• interagir avec l'API Gemini dans Vertex AI ;
• utiliser le modèle Gemini Flash pour analyser des images et des vidéos ;
• fournir à Gemini des prompts contenant du texte, des images et des vidéos pour générer des réponses informatives ;
• découvrir des applications concrètes des capacités multimodales de Gemini.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).

Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :

   • Le bouton "Ouvrir la console Google Cloud"
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche.

Tâche 1 : Ouvrir le notebook dans Vertex AI Workbench

1. Dans la console Google Cloud, accédez au menu de navigation () et cliquez sur Vertex AI > Workbench.

2. Recherchez l'instance , puis cliquez sur le bouton Ouvrir JupyterLab.

L'interface JupyterLab de votre instance Workbench s'ouvre dans un nouvel onglet de navigateur.

Remarque : Si vous ne voyez pas de notebooks dans JupyterLab, veuillez suivre la procédure ci-dessous pour réinitialiser l'instance.

1. Fermez l'onglet du navigateur pour JupyterLab, puis revenez à la page d'accueil de Workbench.

2. Cochez la case à côté du nom de l'instance, puis cliquez sur Réinitialiser.

3. Une fois que le bouton Ouvrir JupyterLab est à nouveau activé, patientez une minute, puis cliquez dessus.

Tâche 2 : Configurer le notebook

1. Ouvrez le fichier .

2. Dans la boîte de dialogue Select Kernel (Sélectionner le kernel), sélectionnez Python 3 dans la liste des kernels disponibles.

3. Parcourez les sections Getting Started (Premiers pas) et Import libraries (Importer des bibliothèques) du notebook.

   • Pour Project ID (ID du projet), utilisez et pour Location (Emplacement), utilisez .

Remarque : Vous pouvez ignorer les cellules du notebook avec la mention Colab only (Colab uniquement). Si l'exécution d'une cellule renvoie l'erreur 429, patientez une minute avant de la réexécuter pour poursuivre.

Tâche 3 : Utiliser le modèle Gemini Flash

Gemini Flash est un modèle multimodal compatible avec les prompts multimodaux. Il vous permet d'inclure du texte, des images et des vidéos dans vos prompts, et d'obtenir des réponses textuelles ou de code.

Dans cette tâche, vous allez parcourir les cellules du notebook indiquées pour apprendre à utiliser le modèle Gemini Flash. Revenez ici pour vérifier votre progression par rapport aux différents objectifs.

Comprendre un groupe d'images

Gemini est capable de raisonner à l'aide de plusieurs images. Dans cet exemple, vous allez utiliser Gemini pour calculer le coût total d'un panier de courses à partir d'une image montrant des fruits et d'une autre affichant des prix.

Parcourez la section Comprendre un groupe d'images du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Comprendre un groupe d'images

Générer la description d'une vidéo

Gemini peut également extraire des tags d'une vidéo et récupérer des informations supplémentaires en plus du contenu vidéo. Dans cet exemple, vous allez utiliser Gemini pour extraire des tags et récupérer des informations supplémentaires à partir de différentes vidéos :

Parcourez la section Générer la description d'une vidéo du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Générer la description d'une vidéo

Compréhension audio

Gemini peut traiter directement de l'audio pour comprendre un contexte de grande taille. Dans cet exemple, vous allez utiliser Gemini pour traiter de l'audio afin de comprendre un contexte de grande taille :

Parcourez la section Compréhension audio du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Compréhension audio

Raisonner dans un codebase

Gemini peut traiter directement de l'audio pour comprendre un contexte de grande taille. Dans cet exemple, vous allez utiliser Gemini pour traiter de l'audio afin de comprendre un contexte de grande taille :

Parcourez la section Raisonner dans un codebase du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Raisonner dans un codebase

Compréhension vidéo et audio

Dans cet exemple, vous allez tester les capacités multimodales et de contexte de grande taille natives de Gemini avec un entrelacement de données vidéo et d'entrées audio :

Parcourez la section Compréhension vidéo et audio du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Compréhension vidéo et audio

Toutes les modalités (images, vidéo, audio, texte) à la fois

Gemini est un modèle multimodal natif qui prend en charge l'entrelacement de données provenant de différentes modalités. Dans cet exemple, vous allez essayer de combiner des entrées audio, visuelles, textuelles et de code dans la même séquence d'entrée.

Parcourez la section Toutes les modalités (images, vidéo, audio, texte) à la fois du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Toutes les modalités (images, vidéo, audio, texte) à la fois

Générer des recommandations basées sur les images fournies

Gemini peut comparer des images et fournir des recommandations. Cela est particulièrement utile pour les entreprises du secteur du commerce qui souhaitent fournir aux utilisateurs des recommandations de produits en fonction de leur configuration.

Parcourez la section Générer des recommandations basées sur les images fournies du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Générer des recommandations basées sur les images fournies

Comprendre les relations entre des entités dans des diagrammes techniques

Grâce à ses capacités multimodales, Gemini peut comprendre des diagrammes et effectuer des actions concrètes, comme suggérer des améliorations ou générer du code. Dans cet exemple, vous allez voir Gemini analyser un diagramme de relations d'entités, comprendre les relations entre les tables, identifier les besoins d'optimisation dans un environnement spécifique comme BigQuery et même générer le code correspondant.

Parcourez la section Comprendre les relations entre des entités dans des diagrammes techniques du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Comprendre les relations entre des entités dans des diagrammes techniques

Comparer des images pour identifier des similitudes et des différences

Gemini peut comparer des images et identifier les similitudes ou les différences entre des objets. Dans cet exemple, vous allez utiliser Gemini pour comparer deux images du même lieu et déterminer leurs différences.

Parcourez la section Comparer des images pour identifier des similitudes et des différences du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Comparer des images pour identifier des similitudes et des différences

Félicitations !

Vous avez terminé l'atelier. Vous avez appris à utiliser l'API Gemini dans Vertex AI pour générer des réponses à partir de prompts contenant du texte et une ou plusieurs images.

Étapes suivantes et informations supplémentaires

Consultez les ressources suivantes pour en savoir plus sur Gemini :

• Présentation de Gemini
• Documentation sur l'IA générative sur Vertex AI
• Chaîne YouTube sur l'IA générative
• Livre de recettes Vertex AI, doté d'un index de recherche et proposant une sélection de notebooks pour l'IA générative
• Dépôt Google Cloud pour l'IA générative, contenant d'autres notebooks et exemples

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 19 mai 2025

Dernier test de l'atelier : 19 mai 2025

Copyright 2025 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.