GSP1278

Présentation

Cet atelier propose une exploration complète de Gemini, les modèles d'IA multimodaux avancés de Google. Grâce au SDK Google Gen AI pour Python, vous apprendrez à interagir avec ces modèles à l'aide de l'API Gemini, en explorant un large éventail de modalités individuelles, y compris le texte, le PDF, l'image, la vidéo, le code et l'audio. Vous apprendrez ensuite à combiner plusieurs modalités, ce qui vous permettra de découvrir la capacité de Gemini à traiter et analyser simultanément différents formats de données. Enfin, vous étudierez un cas d'utilisation réel dans le secteur du commerce/de l'e-commerce, qui illustre les applications pratiques de Gemini pour générer des recommandations et améliorer l'expérience client.

Gemini

Gemini est une famille de modèles d'IA générative puissants développés par Google DeepMind, capables de comprendre et de générer plusieurs formes de contenu, comme du texte, du code, des images, du son et des vidéos.

API Gemini dans Vertex AI

L'API Gemini dans Vertex AI fournit une interface unifiée pour interagir avec les modèles Gemini. Elle permet aux développeurs d'intégrer facilement ces puissantes fonctionnalités d'IA dans leurs applications. Pour connaître les dernières actualités et les fonctionnalités spécifiques des versions les plus récentes, veuillez consulter la documentation officielle sur Gemini.

Modèles Gemini

• Gemini Pro : conçu pour les tâches de raisonnement complexe, par exemple :
  • l'analyse et la synthèse de grands volumes d'informations ;
  • le raisonnement multimodal sophistiqué (sur du texte, du code, des images, etc.) ;
  • la résolution efficace de problèmes à l'aide de codebases complexes.
• Gemini Flash : optimisé pour être rapide et efficace, il offre :
  • des temps de réponse inférieurs à une seconde et un haut débit ;
  • une qualité élevée à moindre coût pour une grande variété de tâches ;
  • des fonctionnalités multimodales améliorées, dont une meilleure compréhension spatiale, de nouvelles modalités de sortie (texte, audio, images) et l'utilisation native d'outils (recherche Google, exécution de code et fonctions tierces).

Prérequis

Avant de commencer cet atelier, vous devez :

• avoir des connaissances de base en programmation Python ;
• connaître les concepts généraux sur les API ;
• savoir exécuter du code Python dans un notebook Jupyter dans Vertex AI Workbench.

Objectifs

Dans cet atelier, vous allez apprendre à utiliser le SDK Google Gen AI pour Python et interagir avec le modèle Gemini pour :

• explorer des scénarios individuels de texte, de PDF, d'image, de vidéo, de code et d'audio ;
• examiner différentes combinaisons de modalités ;
• analyser un cas d'utilisation dans le domaine de l'e-commerce ;
• comparer des images en identifiant des similitudes, des anomalies ou des différences ;
• comprendre les relations entre des entités dans des diagrammes techniques.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).

Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :

   • Le bouton "Ouvrir la console Google Cloud"
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche.

Tâche 1 : Ouvrir le notebook dans Vertex AI Workbench

1. Dans la console Google Cloud, accédez au menu de navigation () et cliquez sur Vertex AI > Workbench.

2. Recherchez l'instance , puis cliquez sur le bouton Ouvrir JupyterLab.

L'interface JupyterLab de votre instance Workbench s'ouvre dans un nouvel onglet de navigateur.

Remarque : Si vous ne voyez pas de notebooks dans JupyterLab, veuillez suivre la procédure ci-dessous pour réinitialiser l'instance.

1. Fermez l'onglet du navigateur pour JupyterLab, puis revenez à la page d'accueil de Workbench.

2. Cochez la case à côté du nom de l'instance, puis cliquez sur Réinitialiser.

3. Une fois que le bouton Ouvrir JupyterLab est à nouveau activé, patientez une minute, puis cliquez dessus.

Tâche 2 : Configurer le notebook

1. Ouvrez le fichier .

2. Dans la boîte de dialogue Select Kernel (Sélectionner le kernel), sélectionnez Python 3 dans la liste des kernels disponibles.

3. Parcourez la section Getting Started (Premiers pas) du notebook. L'ID et l'emplacement du projet sont préconfigurés pour vous.

Remarque : Si l'exécution d'une cellule renvoie l'erreur 429, patientez une minute avant de la réexécuter pour poursuivre.

Cliquez sur Vérifier ma progression pour valider l'objectif. Installer les packages et importer les bibliothèques

Tâche 3 : Modalités individuelles

Dans cette section, vous allez explorer les différentes modalités compatibles avec Gemini.

1. Parcourez la section Individual Modalities (Modalités individuelles) du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Modalités individuelles sur le texte, le PDF et l'image

Cliquez sur Vérifier ma progression pour valider l'objectif. Modalités individuelles sur la vidéo

Cliquez sur Vérifier ma progression pour valider l'objectif. Modalités individuelles sur l'audio

Remarque : Si vous rencontrez une erreur ClientError 499 lors de l'exécution d'une cellule de notebook, indiquant que la tâche a été annulée avant d'être terminée, veuillez essayer de réexécuter la cellule de code.

Cliquez sur Vérifier ma progression pour valider l'objectif. Modalités individuelles sur le codebase

Tâche 4 : Combiner plusieurs modalités

Dans cette section, vous allez découvrir comment entrelacer plusieurs modalités à l'aide de Gemini.

1. Parcourez la section Combining multiple modalities (Combiner plusieurs modalités) du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Combiner plusieurs modalités à la fois

Tâche 5 : Cas d'utilisation : commerce/e-commerce

Dans cette section, vous allez découvrir un cas d'utilisation de Gemini pour générer des recommandations pour le secteur du commerce.

1. Parcourez la section Use Case: retail / e-commerce (Cas d'utilisation : commerce/e-commerce) du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Cas d'utilisation dans le domaine de l'e-commerce

Tâche 6 : Cas d'utilisation – relations entre des entités dans des diagrammes techniques

Dans cette section, vous allez découvrir un cas d'utilisation de Gemini pour comprendre des diagrammes et effectuer des actions concrètes, comme suggérer des améliorations ou générer du code.

1. Parcourez la section Use Case: Entity relationships in technical diagrams (Cas d'utilisation : relations entre des entités dans des diagrammes techniques) du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Relations entre des entités dans des diagrammes techniques

Tâche 7 : Cas d'utilisation – comparer des images pour identifier des similitudes, des anomalies ou des différences

Dans cette section, vous allez explorer un cas d'utilisation de Gemini pour comparer des images et identifier les similitudes ou les différences entre des objets.

1. Parcourez la section Use Case: Similarity/Differences (Cas d'utilisation : similitudes/différences) du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Comparer des images pour identifier des similitudes, des anomalies ou des différences

Félicitations !

Dans cet atelier, vous avez appris à utiliser le modèle Gemini pour des cas d'utilisation multimodaux. Pour en savoir plus sur Gemini, consultez le site de documentation Vertex AI ci-dessous.

Étapes suivantes et informations supplémentaires

Consultez les ressources suivantes pour en savoir plus sur Gemini :

• Présentation de Gemini
• Documentation sur l'IA générative sur Vertex AI
• Chaîne YouTube sur l'IA générative
• Livre de recettes Vertex AI, doté d'un index de recherche et proposant une sélection de notebooks pour l'IA générative
• Dépôt Google Cloud pour l'IA générative, contenant d'autres notebooks et exemples

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 14 octobre 2025

Dernier test de l'atelier : 14 octobre 2025

Copyright 2025 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.