GSP1154

Présentation

Vertex AI est une plate-forme de développement de machine learning complète qui offre des fonctionnalités d'IA prédictive et générative. Elle permet d'entraîner, d'évaluer et de déployer des modèles de machine learning prédictifs à des fins de prévision. Vous pouvez également utiliser la plate-forme pour découvrir, régler et mettre en service des modèles d'IA générative permettant de générer des contenus.

Vertex AI Studio vous permet de tester et de personnaliser rapidement des modèles d'IA générative afin d'exploiter leurs capacités dans vos applications. La plate-forme fournit un large éventail d'outils et de ressources, y compris une UI (interface utilisateur) et des exemples de code, qui vous aident à vous lancer avec l'IA générative même sans aucune expérience en machine learning.

Dans cet atelier, vous allez découvrir Vertex AI Studio et apprendre à exploiter tout le potentiel des modèles d'IA générative de pointe. Vous explorerez Gemini et l'utiliserez pour analyser des images, concevoir des requêtes et explorer les fonctionnalités multimodales directement dans la console Google Cloud. Pas besoin d'API ni de SDK Python : tout est accessible via une interface utilisateur intuitive.

Objectifs

Dans cet atelier, vous allez apprendre à effectuer les tâches suivantes :

• Analyser des images avec Gemini multimodal
• Explorer les fonctionnalités multimodales
• Concevoir des requêtes avec des exemples
• Concevoir des requêtes avec du contexte

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).

Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :

   • Le bouton "Ouvrir la console Google Cloud"
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche.

Tâche 1 : Analyser des images avec Gemini

Dans cette section, vous allez utiliser Gemini pour analyser une image et en extraire des informations. Vous pouvez concevoir des requêtes pour diverses tâches telles que la classification, l'extraction et la génération.

1. Dans le menu de navigation () de la console Google Cloud, sélectionnez Vertex AI > Vertex AI Studio > Créer une requête.

L'UI comprend trois sections principales :

• Instructions système (en haut) : ensemble d'instructions que le modèle traite avant de traiter les requêtes. Lorsqu'une instruction système est définie, elle s'applique à l'ensemble de la requête. Elle fonctionne sur plusieurs tours d'utilisateur et de modèle lorsqu'elle est incluse dans la requête. Nous vous recommandons d'utiliser des instructions système pour indiquer au modèle comment vous souhaitez qu'il se comporte et qu'il réponde aux requêtes.
• Configuration (à droite) : cette section vous permet de sélectionner des modèles (y compris des modèles tiers), de configurer des paramètres, d'utiliser des outils (comme l'ancrage) et de définir des options avancées.
• Requête (en bas) : cette section vous permet de créer une requête qui utilise les fonctionnalités multimodales.

2. En haut à gauche, cliquez sur Requête sans titre et renommez votre requête Image Analysis.

3. Dans la section Configuration à droite, vérifiez que le modèle est sélectionné. Vous pouvez cliquer sur Changer de modèle pour modifier le modèle si nécessaire, ou parcourir les autres modèles disponibles.

Remarque : Le nom et la version du modèle peuvent changer avec la publication de nouveaux modèles.

4. Dans la section Configuration à droite, activez/désactivez les options avancées, puis sélectionnez pour Région.

5. Téléchargez l'image d'exemple. Effectuez un clic droit sur l'image du tableau d'horaires, puis enregistrez-la sur votre bureau.

6. En bas à droite de la section Requête, cliquez sur le bouton Insérer un média ().

7. Dans le menu Sélectionner une source, cliquez sur Importer, puis sélectionnez l'image du tableau d'horaires que vous avez téléchargée. Le média peut correspondre à une image, une vidéo, un texte ou un fichier audio.

8. L'image s'affichera dans la section Requête. Copiez le texte ci-dessous et collez-le sous l'image, puis cliquez sur le bouton en forme de flèche Envoyer en bas à droite de la section "Requête" ou appuyez sur Entrée.

Title the image.

Vous pouvez aussi être plus précis :

Title the image in 5 words.

Le titre répond-il à vos attentes ? Essayez de modifier la requête pour voir si vous obtenez des résultats différents.

9. Ensuite, vous allez demander à Gemini de décrire l'image en détail. Remplacez la requête précédente par celle proposée ci-dessous, puis cliquez sur le bouton en forme de flèche Envoyer.

Describe the image in detail.

10. Dans la section Configuration, activez/désactivez les options avancées et ajustez la température en déplaçant le curseur de la gauche (0) vers la droite (2). Renvoyez la requête et observez toute modification du résultat par rapport au résultat précédent.

Remarque : La température permet de contrôler le caractère aléatoire de la sélection des jetons. Des températures basses sont idéales pour les requêtes visant une réponse vraie ou correcte, tandis que des températures élevées peuvent entraîner des résultats plus diversifiés, inattendus ou potentiellement biaisés. Avec une température de 0, le jeton dont la probabilité est la plus élevée est toujours sélectionné.

11. Extrayez le texte de l'image. Remplacez la requête précédente par ce qui suit :

Read the text in the image.

Ensuite, si vous souhaitez que le résultat soit présenté sous forme de liste, remplacez la requête que vous venez d'effectuer par ce qui suit :

Parse the time and city in this image into a list with two columns: time and city.

À vous de jouer  : testez d'autres requêtes ! En quoi ces résultats sont-ils différents des précédents ?

12. Analysez les informations contenues dans l'image. Remplacez la requête précédente par ce qui suit :

Calculate the percentage of the flights to different continents.

Le résultat répond-il à vos attentes ? Nous vous encourageons vivement à tester différentes requêtes pour diverses tâches. Vous êtes également invité à tester différents paramètres de température pour observer les variations du résultat.

13. Une fois que vous avez conçu la requête, enregistrez-la en cliquant sur Enregistrer en haut à droite de la barre d'outils. Pour la région, sélectionnez dans le menu déroulant, puis confirmez votre choix en cliquant sur Enregistrer.

14. Pour retrouver vos requêtes enregistrées, accédez au menu de navigation de gauche, puis à Gestion des requêtes.

Remarque : Après avoir sélectionné Enregistrer, attendez quelques secondes que les requêtes soient bien enregistrées, puis passez aux étapes suivantes de l'atelier.

Cliquez sur Vérifier ma progression pour valider les objectifs.

Extraire le contenu de l'image

Tâche 2 : Explorer les fonctionnalités multimodales

En plus de traiter des images, du texte et des contenus audio, Gemini peut accepter des vidéos en entrée et générer du texte en sortie.

1. Accédez à Cloud Storage > Buckets, copiez le nom de votre bucket Cloud Storage et enregistrez-le pour l'utiliser à l'étape suivante : .

2. Cliquez sur Activer Cloud Shell  en haut de la console Google Cloud.

3. Dans votre terminal Cloud Shell, exécutez la commande ci-dessous pour copier l'échantillon vidéo gs://spls/gsp154/video/train.mp4 (aperçu) dans votre bucket Cloud Storage. Remplacez <Your-Cloud-Storage-Bucket> par le nom du bucket que vous avez copié précédemment.

gcloud storage cp gs://spls/gsp154/video/train.mp4 gs://<Your-Cloud-Storage-Bucket> Remarque : Veillez à remplacer <Your-Cloud-Storage-Bucket> par le nom de votre bucket.

4. Dans le menu de navigation (), sélectionnez Vertex AI > Vertex AI Studio > Créer une requête.

5. Dans la section Configuration à droite, vérifiez que le modèle est sélectionné.

Remarque : Le nom et la version du modèle peuvent changer avec la publication de nouveaux modèles.

6. Activez/désactivez les options avancées, puis sélectionnez pour Région.

7. En bas à droite de la section Requête, cliquez sur le bouton Insérer un média ().

8. Dans le menu Sélectionner une source, sélectionnez Importer depuis Cloud Storage.

9. Cliquez sur le nom de votre bucket, puis sur l'échantillon vidéo train.mp4 et sur Sélectionner.

10. Générez des informations sur la vidéo en insérant la requête ci-dessous et en cliquant sur le bouton en forme de flèche Envoyer.

Title the video.

11. Décrivez la vidéo en détail :

Describe the video in detail.

Consultez des informations supplémentaires sur la conception de requêtes multimodales.

Tâche 3 : Concevoir des requêtes avec des exemples

Dans cette section, vous allez apprendre à concevoir des requêtes textuelles dans Vertex AI Studio.

Conception de requête

Vous pouvez saisir le texte de votre choix, par exemple une question. Ensuite, le modèle renvoie une réponse en fonction de la structure de votre requête. La conception de requête désigne le processus consistant à créer le meilleur texte d'entrée (requête) pour obtenir le résultat attendu du modèle.

Méthodes de conception des requêtes

Vous disposez de trois méthodes principales pour concevoir des requêtes :

• Requête zero-shot : le LLM ne reçoit qu'une requête décrivant la tâche, sans aucune donnée supplémentaire. Par exemple, si le LLM doit répondre à une question, vous pouvez simplement lui envoyer une requête du type : "Qu'est-ce que la conception de requête ?".
• Requête one-shot : le LLM reçoit un seul exemple de la tâche qu'on lui demande d'accomplir. Ainsi, si vous souhaitez que le LLM écrive un poème, vous pouvez lui donner un exemple de poème unique.
• Requête few-shot : le LLM reçoit quelques exemples de la tâche qu'on lui demande d'accomplir. Si vous souhaitez que le LLM écrive un article d'actualité, vous pouvez lui donner plusieurs exemples d'articles à lire.

Paramètres

"Température" et "Limite de jetons" sont deux paramètres essentiels que vous pouvez ajuster pour influencer la réponse du modèle.

• Le paramètre Température contrôle le caractère aléatoire de la sélection des jetons. Une température basse est idéale si vous attendez une réponse vraie ou correcte. Une température de 0 signifie que le jeton ayant la probabilité la plus élevée est toujours sélectionné. Une température élevée peut entraîner des résultats diversifiés, inattendus ou potentiellement biaisés. Le modèle présente une plage de températures allant de 0 à 2 et une température par défaut de 1.
• La limite de jetons de sortie détermine la quantité maximale de texte pouvant être générée à partir d'une requête. Un jeton correspond environ à quatre caractères.

Requête zero-shot

1. Cliquez sur l'icône Effacer dans la barre d'outils pour effacer la requête.

2. Dans la section Configuration à droite, vérifiez que le modèle est sélectionné.

Remarque : Le nom et la version du modèle peuvent changer avec la publication de nouveaux modèles.

3. Activez/désactivez les options avancées, puis sélectionnez pour Région.

4. Copiez la question suivante dans le champ de saisie de la requête :

What is a prompt gallery?

5. Cliquez sur le bouton en forme de flèche Envoyer.

Le modèle renvoie une définition complète du terme "prompt gallery" (galerie des requêtes).

6. Procédez à quelques ajustements pour tester les effets des différents paramètres. Avec la même requête, dans le champ Avancé de la section Configuration, effectuez les opérations suivantes :

• Réglez Limite de jetons de sortie sur 1024, puis cliquez sur le bouton en forme de flèche ENVOYER.
• Réglez Température sur 0.5, puis cliquez sur le bouton en forme de flèche ENVOYER.
• Réglez Température sur 2.0, puis cliquez sur le bouton en forme de flèche ENVOYER.

Examinez l'évolution des réponses du modèle en fonction des modifications de ces paramètres.

Requête one-shot

Vous pouvez concevoir des requêtes de façon plus organisée. Vous pouvez inclure du contexte et des exemples dans les champs de saisie appropriés. Avec une requête one-shot, le modèle reçoit un seul exemple de la tâche qu'on lui demande d'accomplir. Dans cette section, vous allez demander au modèle de terminer une phrase.

1. Cliquez sur l'icône Effacer dans la barre d'outils pour effacer la requête.

2. En bas à droite de la section Requête, cliquez sur le bouton Ajouter des exemples ().

Vous ouvrez ainsi une nouvelle fenêtre vous permettant d'ajouter des exemples pour la requête.

3. Ajoutez l'extrait suivant dans le champ ENTRÉE :

The color of the grass is

4. Ajoutez l'extrait suivant dans le champ RÉSULTAT :

The color of the grass is green

5. Cliquez sur le bouton Ajouter des exemples.

6. Une fois que vous avez ajouté votre exemple, vous devez voir deux sections à remplir : {Input} et Prompt. Pour envoyer votre requête, vous devrez fournir un autre exemple d'entrée, ainsi que la requête.

7. Dans le champ {INPUT}, saisissez ce qui suit :

The color of the sky is

8. Dans le champ Requête, saisissez ce qui suit :

Answer the following questions.

Votre section Requête doit ressembler à ceci :

9. Cliquez sur le bouton en forme de flèche Envoyer. Vous devriez recevoir une réponse du modèle semblable à la suivante :

The color of the sky is blue

Au lieu de terminer la phrase, le modèle a répondu par une phrase complète, car vous lui avez fourni un exemple sur lequel il a pu s'appuyer pour formuler sa réponse. Pour que la réponse se limite à terminer la phrase, vous pouvez adapter l'exemple fourni dans le champ RÉSULTAT.

10. Cliquez sur le bouton Modifier dans la zone Requête pour modifier votre requête :

11. Cliquez sur "Exemples" pour modifier l'exemple, puis définissez la sortie comme suit :

Green

Votre exemple de requête doit maintenant être comme suit :

input: The color of the grass is output: Green

12. Cliquez sur le bouton en forme de flèche Envoyer. Vous devriez recevoir une réponse du modèle semblable à la suivante :

Blue

Vous constatez que le modèle termine désormais la phrase en se basant sur l'exemple que vous lui avez fourni. Vous avez réussi à modifier la façon dont le modèle produit des réponses.

Requête few-shot

Dans le prochain exercice, vous allez utiliser le modèle pour effectuer une analyse des sentiments à partir d'une phrase. Il s'agira d'utiliser les requêtes few-shot pour déterminer si une critique de film est positive ou négative.

1. Cliquez sur l'icône Effacer dans la barre d'outils pour effacer la requête.

2. En bas à droite de la section Requête, cliquez sur le bouton Ajouter des exemples ().

3. Ajoutez les exemples suivants :

ENTRÉE	RÉSULTAT
A well-made and entertaining film	positive
I fell asleep after 10 minutes	negative
The movie was ok	neutral

4. Ensuite, cliquez sur le bouton Ajouter des exemples.

5. Une fois que vous avez ajouté votre exemple, vous devez voir deux sections à remplir : {Input} et Prompt. Pour envoyer votre requête, vous devrez fournir un autre exemple d'entrée, ainsi que la requête.

6. Dans le champ {INPUT}, saisissez ce qui suit :

It was a time well spent!

7. Dans le champ Requête, saisissez ce qui suit :

Perform sentiment analysis on the following text.

8. Cliquez sur le bouton en forme de flèche Envoyer. Vous devriez recevoir une réponse du modèle semblable à la suivante :

positive

Le modèle répond à présent en renvoyant un sentiment basé sur le texte d'entrée. Il a classé la phrase It was a time well spent! dans la catégorie positive.

9. Une fois que vous avez terminé de concevoir la requête, nommez-la Sentiment Analysis.

10. Enregistrez la requête en cliquant sur Enregistrer en haut à droite de la barre d'outils et sélectionnez la région .

Remarque : Si votre requête est déjà enregistrée automatiquement, assurez-vous que son nom est correct et qu'elle s'affiche sur la page "Gestion des requêtes".

Cliquez sur Vérifier ma progression pour valider les objectifs.

Créer des requêtes avec du texte

Tâche 4 : Concevoir des requêtes avec du contexte

Les instructions système sont des directives initiales qui façonnent le comportement d'un modèle et ses réponses aux requêtes suivantes. Elles permettent de personnaliser le persona, le format, le ton et des règles de tâches spécifiques. Elles sont conservées tout au long des interactions entre l'utilisateur et le modèle au sein d'une requête. Toutefois, les utilisateurs doivent éviter d'y inclure des informations sensibles en raison de potentielles règles d'utilisation des données.

Ces instructions sont polyvalentes et permettent de développer des chatbots, de générer des sorties structurées et de créer des réponses propres à une langue, mais elles ne garantissent pas une protection complète contre les comportements involontaires des modèles.

1. Dans le menu de navigation () de la console Google Cloud, sélectionnez Vertex AI > Vertex AI Studio > Créer une requête.

2. Dans la section Configuration à droite, vérifiez que le modèle est sélectionné.

Remarque : Le nom et la version du modèle peuvent changer avec la publication de nouveaux modèles.

3. Dans la section Configuration à droite, activez/désactivez les options avancées, puis sélectionnez pour Région.

Dans cette section, vous allez ajouter des instructions système pour le modèle et le laisser répondre en fonction du contexte fourni.

4. Cliquez sur Instructions système, puis ajoutez le contexte suivant :

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

5. Insérez la requête suivante :

My computer is so slow! What should I do?

6. Cliquez sur le bouton en forme de flèche Envoyer.

Le modèle doit répondre comme suit :

Have you tried turning it off and on again?

7. Dans Instructions système, cliquez sur Effacer la valeur ().

8. Cliquez sur Instructions système, puis ajoutez le contexte suivant :

Your name is Roy. You are a support technician of an IT department. You are here to support the users with their queries.

9. Insérez la requête suivante :

My computer is so slow! What should I do?

10. Cliquez sur le bouton en forme de flèche Envoyer.

Le modèle devrait désormais apporter une réponse plus utile à la requête de l'utilisateur.

N'hésitez pas à faire des tests avec divers contextes et requêtes pour observer la réaction du modèle. Vous pouvez également ajouter du contexte à la requête de chat pour voir comment le modèle répond en fonction du contexte fourni.

11. Une fois que vous avez terminé de concevoir la requête, nommez-la Support Technician Helper.

Cliquez sur Vérifier ma progression pour valider les objectifs.

Créer des conversations avec une requête de chat

Félicitations !

Félicitations ! Dans cet atelier, vous avez exploité les capacités de Gemini pour analyser des contenus multimédias, y compris des images et des vidéos. Vous avez démontré votre maîtrise des techniques de requêtes zero-shot, one-shot et few-shot pour les systèmes de questions-réponses et l'analyse des sentiments. De plus, vous avez utilisé efficacement des instructions système pour créer un chatbot IT de base.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 9 avril 2025

Dernier test de l'atelier : 9 avril 2025

Copyright 2025 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.