GSP1154

Présentation

Vertex AI est une plate-forme de développement de machine learning complète qui offre des fonctionnalités d'IA prédictive et générative. Elle permet d'entraîner, d'évaluer et de déployer des modèles de machine learning prédictifs à des fins de prévision. Vous pouvez également utiliser cette plate-forme pour découvrir, régler et mettre en service des modèles d'IA générative afin de produire du contenu. Par exemple, les compagnies d'assurance cherchent constamment à améliorer leur efficacité dans des domaines comme le traitement des demandes d'indemnisation et l'évaluation des risques. Vertex AI Studio offre un moyen efficace de prototyper rapidement des solutions d'IA générative pour relever ces défis.

Vertex AI Studio vous permet de tester et de personnaliser rapidement des modèles d'IA générative afin d'exploiter leurs capacités dans vos applications. Cette plate-forme fournit un large éventail d'outils et de ressources, y compris une interface utilisateur intuitive, qui vous aident à vous lancer avec l'IA générative même si vous n'avez pas une grande expérience en machine learning.

Dans cet atelier, vous allez découvrir Vertex AI Studio et apprendre à exploiter tout le potentiel des modèles d'IA générative de pointe comme Gemini. Vous endosserez le rôle d'une personne qui doit aider une compagnie d'assurance à créer un prototype d'assistant d'analyse des risques. Vous apprendrez à transformer une idée de prompt en une application déployable, à concevoir des prompts sophistiqués pour obtenir des résultats génératifs spécifiques et à utiliser des fonctionnalités multimodales pour analyser différents types de données, y compris des images, le tout directement dans la console Google Cloud. Vous n'avez pas besoin d'API ni de SDK Python pour effectuer ces tâches de base.

Objectifs

Dans cet atelier, vous allez apprendre à :

• créer des applications à partir de prompts ;
• concevoir des prompts efficaces ;
• concevoir et gérer des prompts ;
• utiliser des prompts multimodaux.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).

Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :

   • Le bouton "Ouvrir la console Google Cloud"
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche.

Tâche 1 : Créer des applications à partir de prompts

Dans cette tâche, vous allez voir la rapidité à laquelle vous pouvez transformer une idée d'assistant d'IA générative en prototype opérationnel à l'aide de Vertex AI Studio. Vous allez travailler sur notre cas d'utilisation dans le domaine de l'assurance : créer un prompt qui aide un professionnel du secteur à résumer les informations d'un client pour un rapport d'analyse des risques, puis préparer ce prompt sous forme d'une application simple.

1. Dans le menu de navigation () de la console Google Cloud, sélectionnez Vertex AI > Vertex AI Studio > Vue d'ensemble.

2. Dans le menu Vertex AI, sous Vertex AI Studio, sélectionnez Créer un prompt. La page de l'éditeur de prompts s'ouvre.

L'UI comprend trois sections principales :

• Instructions système (en haut) : ensemble d'instructions que le modèle traite avant de traiter les prompts. Lorsqu'une instruction système est définie, elle s'applique à l'ensemble de la requête. Elle fonctionne sur plusieurs tours d'utilisateur et de modèle lorsqu'elle est incluse dans le prompt. Nous vous recommandons d'utiliser des instructions système pour indiquer au modèle comment vous souhaitez qu'il se comporte et qu'il réponde aux prompts.
• Configuration (à droite) : cette section vous permet de sélectionner des modèles (y compris des modèles tiers), de configurer des paramètres, d'utiliser des outils (comme l'ancrage) et de définir des options avancées.
• Prompt (en bas) : cette section vous permet de créer un prompt qui utilise les fonctionnalités multimodales.

3. Une fois que la page du nouveau prompt sans titre se charge, cliquez sur Prompt sans titre en haut à gauche et renommez votre prompt Insurance Risk Summary - Prototype.

4. Dans le canevas principal, cliquez dans la zone de texte Instructions système et saisissez ce qui suit pour attribuer à votre assistant IA un rôle adapté pour notre scénario d'assurance :

   You are an expert AI assistant for an insurance underwriting department. Your primary goal is to help underwriters by accurately and concisely summarizing client information and highlighting potential risk factors. Maintain a professional and objective tone. Focus only on the information provided in the prompt. Do not invent details.

5. Sous les instructions système, dans la zone de prompt principale en bas de la page, collez ce qui suit :

   Customer Notes for 'SafeHarbor Warehousing': "The applicant is seeking coverage for their 50,000 sq ft warehouse. The business is 5 years old. The building is a concrete tilt-up structure, originally built in 2010. They store a variety of non-hazardous dry goods. Fire safety measures include a full sprinkler system, a centrally monitored fire alarm, and documented annual inspections by a certified third party. Security measures include a 24/7 centrally monitored burglar alarm, comprehensive security camera coverage of the interior and exterior, a fully fenced perimeter, and nightly patrols by a contracted security guard service. The company reports no major property or liability losses in their 5-year history. They have specifically asked to ensure their new automated shelving and retrieval system, installed last month, is adequately covered under the policy." Your Task: 1. Briefly summarize the key details of the 'SafeHarbor Warehousing' business and its existing safety measures. 2. Based *only* on the notes provided, identify any immediate questions an underwriter should ask or potential risk factors they should consider further. Present the summary first, then the questions/risk factors as bullet points.

6. Dans la section Configuration à droite :

   • Assurez-vous que le modèle est sélectionné. Vous pouvez cliquer sur Switch model (Changer de modèle) si vous avez besoin de le modifier.
   • Si ce n'est pas déjà fait, affichez les paramètres avancés, puis sélectionnez pour Région.

7. Cliquez sur le bouton en forme de flèche Envoyer (généralement en bas à droite de la zone de saisie du prompt) ou appuyez sur Ctrl+Entrée. Examinez la réponse du modèle.

8. En haut de la page, cliquez sur le bouton Enregistrer. Dans la boîte de dialogue "Save prompt", le nom Insurance Risk Summary - Prototype doit être prérempli. Vérifiez que la région est correcte (), puis cliquez sur Enregistrer.

9. Vous allez maintenant découvrir comment transformer ce brouillon de prompt en prototype d'application. En haut à droite de la page, cliquez sur le bouton Compiler avec du code. Dans le menu déroulant qui s'affiche, sélectionnez Déployer en tant qu'application (reposant sur Cloud Run).

10. Dans la boîte de dialogue "Déployer dans Cloud Run" qui s'affiche :

    • Si un message vous y invite, vous devrez peut-être activer les services (l'API Cloud Build, l'API Cloud Run, etc.) Si nécessaire, cliquez sur Activer et attendez que les services soient activés.
    • Cochez la case indiquant que vous acceptez les conditions pour déployer votre application publiquement.
    • Cliquez sur Créer une application.

11. Le processus de déploiement commence et peut prendre quelques minutes. Des informations sur la progression peuvent s'afficher comme suit dans l'UI :

12. Une fois l'opération terminée, cliquez sur le bouton Fermer dans la boîte de dialogue Gérer l'application Web. Pour ouvrir l'application que vous venez de déployer, cliquez à nouveau sur le bouton Compiler avec du code en haut à droite de la page. Dans le menu déroulant, sélectionnez Ouvrir l'application (reposant sur Cloud Run). Votre application "Vertex AI GenAI" s'ouvre alors dans un nouvel onglet du navigateur.

13. La page intitulée "Bienvenue dans l'application Vertex AI GenAI" devrait s'afficher avec le titre de votre prompt, "Insurance Risk Summary - Prototype".

14. Au bas de la section "Chatbot", tapez un nouveau message de test dans le champ de saisie "Saisissez un message…". Exemple :

    New Customer Inquiry: "Applicant 'Coastal Goods Delivery' has a fleet of 10 delivery vans, all equipped with GPS and telematics. They operate within a 100-mile radius of their depot. Drivers undergo annual safety training. They had one minor fender bender last year, no injuries, $1500 damages. What are the primary risk considerations?" Please summarize key points and identify potential risks.

15. Cliquez sur le bouton en forme de flèche "Envoyer" pour envoyer votre message à l'application.

16. Examinez la réponse de votre application GenAI déployée. Elle doit traiter votre entrée en fonction de la logique et des instructions système que vous avez définies dans Vertex AI Studio.

Remarque : Comme l'indique l'avertissement sur la page de l'application, celle-ci autorise par défaut les accès non authentifiés. Dans un scénario de production, vous devez configurer les paramètres de sécurité appropriés. Pour cet atelier, la valeur par défaut est suffisante pour l'exploration.

17. Vous avez maintenant terminé le cycle complet :
    • Vous avez conçu un prompt dans Vertex AI Studio.
    • Vous l'avez déployé en quelques clics en tant qu'application sans serveur à l'aide de Cloud Run.
    • Vous avez ouvert votre modèle d'IA générative via une interface Web et interagi directement avec lui. Cela atteste de la puissance de Vertex AI Studio pour le prototypage et le déploiement rapides de capacités d'IA générative.

Cliquez sur Vérifier ma progression pour valider les objectifs.

Créer une application de prompt avec Vertex AI Studio

Tâche 2 : Concevoir des prompts efficaces

Dans la tâche 1, vous avez prototypé un prompt initial. Vous allez maintenant découvrir plus en détail comment affiner les prompts pour obtenir des résultats plus précis, contrôlés et utiles à partir des modèles génératifs. Il s'agit d'une compétence essentielle en prompt engineering (ingénierie des prompts). Toujours dans le thème de l'assurance, vous allez essayer d'extraire des informations spécifiques d'un document de demande d'indemnisation ou d'améliorer la qualité de synthèse.

Prompt zero-shot

Vous commencerez par créer un prompt pour explorer la conception de prompts détaillés.

1. Vérifiez que vous êtes dans la zone principale de Vertex AI Studio. Si votre application déployée à la tâche 1 est ouverte, fermez cet onglet pour revenir à la console Google Cloud.

2. Dans le menu de navigation (), sélectionnez Vertex AI > Vertex AI Studio > Créer un prompt.

3. Si vous avez commencé avec une nouvelle page de prompt (affichant "Exemples de prompts"), cliquez sur Prompt sans titre en haut à gauche et renommez-la Insurance Claim Data Extraction.

4. Familiarisez-vous avec le scénario de cette section : Un expert en assurance reçoit souvent des notes ou des e-mails non structurés concernant de nouvelles demandes d'indemnisation. Il doit alors extraire rapidement les informations clés pour les saisir dans son système de gestion des demandes d'indemnisation.

5. Dans la zone Instructions système, saisissez ce qui suit :

   You are an AI assistant specializing in parsing and extracting specific data points from unstructured insurance claim notifications. Your goal is to identify and list key information accurately. If a piece of information is not found, clearly state "Not found". Output the extracted information in a key: value format, with each key on a new line.

6. Dans la zone de prompt principale, collez l'exemple suivant d'une note de demande d'indemnisation non structurée :

   Claim Notification Received: "Hi team, just got a call from Mrs. Eleanor Vance, policy #POL458892. She reported a kitchen fire that occurred on May 12th, 2025, around 3 PM. The main damage seems to be to the oven and surrounding cabinets. She mentioned smoke damage in the kitchen and dining area too. She thinks the total damage might be around $7,500. Her contact is 555-0123. No injuries reported, thankfully." Extract the following: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported

7. Dans la section Configuration à droite :

   • Sélectionnez le modèle .
   • Définissez la température sur 0.1 (pour une extraction plus factuelle et moins créative).
   • Définissez une limite de jetons de sortie raisonnable, par exemple 1024.
   • Vérifiez que la région est .

8. Cliquez sur le bouton en forme de flèche Envoyer. Examinez le résultat. Cette première tentative sans exemples explicites est appelée prompt zero-shot.

9. Après avoir examiné la réponse de votre tentative zéro-shot, cliquez sur l'icône Effacer dans la barre d'outils du haut pour effacer l'intégralité du canevas de prompt. Cette étape est nécessaire, car vous ne pouvez en général ajouter des exemples qu'à un nouveau prompt.

Prompt few-shot

Fournir quelques exemples (prompt few-shot) peut souvent améliorer les performances du modèle de manière considérable, en particulier pour un formatage spécifique ou une extraction nuancée.

1. En bas à droite de la section Prompt, cliquez sur le bouton Ajouter des exemples ().

Vous ouvrez ainsi une nouvelle fenêtre vous permettant d'ajouter des exemples pour le prompt.

2. Dans l'interface "Exemples" qui s'affiche :

   • Dans le champ ENTRÉE de votre premier exemple, collez la note non structurée suivante :
   Claim Notification Received: "Email from John Sterling (policy POL77521) re: water damage at his shop. Happened sometime last night, May 10th, 2025. A pipe burst in the ceiling. Stockroom is flooded, some damage to inventory. He's not sure on the cost yet, maybe $5k-$10k? No one was there, so no injuries." Extract the following: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported
   • Dans le champ SORTIE de votre premier exemple, collez l'extraction parfaitement mise en forme suivante :
   Policy Number: POL77521 Claimant Name: John Sterling Date of Loss: May 10th, 2025 Time of Loss: Night Type of Loss: Water damage Brief Description of Damage: Pipe burst in ceiling, stockroom flooded, some damage to inventory. Estimated Loss Amount: $5,000 - $10,000 Injuries Reported: No
   • Cliquez sur le bouton Ajouter des exemples pour enregistrer cet exemple et revenir au prompt principal.

3. Ajoutez à nouveau les instructions système. Comme la suppression du prompt a également effacé les instructions système, collez-les à nouveau dans la zone "Instructions système" en haut de la page :

   You are an AI assistant specializing in parsing and extracting specific data points from unstructured insurance claim notifications. Your goal is to identify and list key information accurately. If a piece of information is not found, clearly state "Not found". Output the extracted information in a key: value format, with each key on a new line.

4. Fournissez la nouvelle entrée et le prompt :

   • Dans la zone (Entrée) Saisissez la valeur ici, collez la notification de demande d'indemnisation d'origine de Mme Eleanor Vance que le modèle doit traiter maintenant :
   Claim Notification Received: "Hi team, just got a call from Mrs. Eleanor Vance, policy #POL458892. She reported a kitchen fire that occurred on May 12th, 2025, around 3 PM. The main damage seems to be to the oven and surrounding cabinets. She mentioned smoke damage in the kitchen and dining area too. She thinks the total damage might be around $7,500. Her contact is 555-0123. No injuries reported, thankfully."

5. Dans la zone Saisissez votre prompt ici (sous le champ "Entrée"), vous devez fournir l'instruction au modèle. Cela indique au modèle ce qu'il doit faire du texte (Entrée) en se basant sur les exemples. Saisissez ce qui suit :

   Extract the following data points from the provided claim notification: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported

6. Vérifiez que vos configurations (modèle, température, limite de jetons, région) sont toujours définies comme vous le souhaitez (par exemple, la température est définie sur 0.1).

7. Cliquez à nouveau sur le bouton en forme de flèche Envoyer. Comparez ce nouveau résultat à la tentative zero-shot exécutée précédemment. Notez si la justesse ou la mise en forme se sont considérablement améliorées grâce à l'exemple few-shot et à la méthode d'entrée structurée.

Tester des configurations de prompt

À présent, vous allez voir comment les différents paramètres du panneau Configuration (à droite) peuvent affecter la réponse du modèle. Vérifiez que votre prompt "Insurance Claim Data Extraction" avec l'exemple few-shot est actif.

1. Faites des tests avec la température :

   • Explication : la température contrôle la randomisation. Les valeurs les plus basses (par exemple, entre 0.0 et 0.2) rendent le résultat plus ciblé et déterministe. Les valeurs les plus élevées (par exemple, entre 0.7 et 1.0) encouragent des réponses plus variées ou créatives.
   • À vous de jouer : définissez la température sur 0.7. Cliquez sur Envoyer et notez les modifications. Puis, réduisez la température à 0.1.

2. Faites des tests avec la limite de jetons de sortie :

   • Explication : cette option définit le nombre maximal de jetons (parties de mots) que le modèle peut générer pour sa réponse.
   • À vous de jouer : définissez la limite de jetons de sortie sur un nombre très bas, par exemple 20. Cliquez sur Envoyer et examinez le résultat tronqué. Définissez la valeur sur un nombre approprié (par exemple, 1024 ou la valeur par défaut).

3. Faites des tests avec top-P :

   • Explication : top-P (l'échantillonnage du noyau) contrôle également la randomisation. Il ne prend en compte que les jetons les plus probables dont la masse de probabilité combinée dépasse la valeur top-P. Une valeur de 1.0 prend en compte tous les jetons. En réduisant la valeur top-P (par exemple, à 0.8), vous obtenez des résultats plus ciblés, comme lorsque vous diminuez la température.
   • À vous de jouer : avec une température de 0.1 (ou légèrement supérieure, par exemple 0.5, pour mieux observer les effets de top-P), définissez top-P sur 0.8. Cliquez sur Envoyer. Ensuite, définissez top-P sur 1.0, cliquez sur Envoyer et observez s'il y a des différences subtiles.

4. Passez en revue rapidement les autres paramètres dans le panneau de configuration Avancé :

   • Paramètres du filtre de sécurité : ils sont activés par défaut pour aider à bloquer les contenus dangereux. Pour cet atelier, vous utiliserez les paramètres par défaut.

Cliquez sur Vérifier ma progression pour valider les objectifs.

Prompt engineering dans Vertex AI Studio

Tâche 3 : Concevoir et gérer des prompts

Une fois que votre prompt est opérationnel, vous aurez peut-être envie de modifier souvent les instructions ou les configurations du modèle pour voir si vous pouvez améliorer la réponse. La fonctionnalité "Comparer" de Vertex AI Studio a été conçue à cet effet. Dans cette section, vous allez utiliser le prompt que vous venez de créer.

1. Vérifiez que vous êtes dans la zone principale de Vertex AI Studio. Si votre application déployée à la tâche 1 est ouverte, fermez cet onglet pour revenir à la console Google Cloud.

2. Accédez à "Créer un prompt". Dans le menu de navigation (), sélectionnez Vertex AI > Vertex AI Studio > Créer un prompt.

3. Cliquez sur Prompt sans titre en haut à gauche et renommez ce nouveau prompt Comparison Base - Restaurant Risks.

4. Configurez ce prompt de base simple :

   • Dans la zone Instructions système, saisissez :
   You are an insurance risk analyst assistant. Your task is to identify potential risk factors from a given scenario. Be concise.
   • Dans la zone de prompt principale (où il est indiqué "Saisissez votre prompt ici"), collez le texte suivant :
   Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.
   • Dans la section Configuration à droite :
     • Sélectionnez le modèle .
     • Définissez la température sur 0.2.
     • Vérifiez que la région est .

5. Cliquez sur le bouton en forme de flèche Envoyer. Examinez la réponse initiale du modèle.

6. Cliquez sur le bouton Enregistrer. Confirmez le nom Comparison Base - Restaurant Risks et enregistrez-le. En général, vous devez enregistrer un prompt avant de pouvoir l'utiliser dans certains workflows de comparaison, en particulier si vous prévoyez de le comparer par la suite à un prompt enregistré.

7. Maintenant que le prompt Comparison Base - Restaurant Risks et sa réponse sont affichés, cliquez sur le bouton Comparer dans la barre d'outils du haut.

   Remarque : Si un message vous y invite, cliquez sur Quitter sans enregistrer, puis sur Continuer.

8. L'interface "Comparer" s'ouvre. Le prompt Comparison Base - Restaurant Risks, ses configurations et sa dernière réponse sont généralement affichés dans une colonne sur la gauche.

Comparer en modifiant les instructions du prompt

Vous allez maintenant voir comment la modification des instructions affecte le résultat pour "The Fiery Grill". Dans la vue Comparer, il se peut que les panneaux de comparaison ne comportent pas de champ "Instructions système" distinct. Dans ce cas, vous devez ajouter les consignes au niveau du système au début du prompt principal.

1. Dans la zone centrale de l'interface Comparer (ou à droite de votre premier prompt), cliquez sur le bouton + Comparer un nouveau prompt.

2. Un volet de modification du nouveau prompt s'affiche à droite.

3. Configurez ce nouveau prompt (le deuxième) en tant que variante :

   • Ce volet de droite contient une grande zone de texte pour le prompt. Collez-y le texte suivant, qui combine les instructions et le scénario :
   You are an expert insurance risk analyst assistant. Your task is to identify potential risk factors from a given scenario. For each risk factor, also briefly suggest a potential mitigation strategy or question for the underwriter. Be clear and structured. Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.
   • Configurations pour cette variante :
     • Vérifiez que le modèle est identique à celui du premier prompt : .
     • Conservez la valeur 0.2 pour la température.
     • Gardez les mêmes autres configurations (limite de jetons, région, etc.) que celles du premier prompt pour isoler l'effet de la modification des instructions.
     • Faites défiler le volet vers le bas et cliquez sur Appliquer.

4. Une fois que la nouvelle variante du prompt est configurée avec son texte et ses configurations dans le volet de droite, cliquez sur le bouton Envoyer des prompts (généralement situé en haut de l'interface "Comparer").

5. Attendez que les deux prompts génèrent des réponses. Comparez les deux réponses côte à côte. Le deuxième prompt inclut-il désormais des stratégies d'atténuation ou des questions, en raison des instructions modifiées ?

6. Pour l'enregistrer en tant que nouveau prompt, cliquez sur Enregistrer en tant que nouveau prompt, saisissez le [nom de prompt] souhaité, puis cliquez sur Enregistrer.

Effectuer la comparaison avec un autre paramètre de température

Vous allez maintenant utiliser un volet de comparaison pour tester une autre température.

1. Dans la zone de texte du volet du deuxième prompt (à droite) :

   • Texte du prompt : rétablissez la version d'origine plus simple du texte du prompt (sans les instructions système ajoutées concernant l'atténuation). Copiez et collez le prompt de Comparison Base - Restaurant Risks (volet de gauche) :
   Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.

   * Si la vue de comparaison ne comporte pas de zone d'instructions système pour ce volet, assurez-vous que les instructions système "You are an insurance risk analyst assistant..." sont ajoutées ici si elles ont été effacées, ou utilisez les instructions système d'origine si elles s'appliquent globalement à partir du volet de gauche.

   

2. Cliquez sur l'icône Modifier (en forme de crayon) dans le volet du deuxième prompt sous la zone de texte :

   • Modification de la configuration : dans les paramètres de configuration de ce volet du deuxième prompt, définissez la température sur 2.0. Vérifiez que le modèle est toujours .
   • Faites défiler le volet vers le bas et cliquez sur Appliquer.

3. Cliquez à nouveau sur Envoyer des prompts.

4. Examinez les différences entre les réponses. La température plus élevée (2.0) dans le deuxième prompt rend-elle la liste des facteurs de risque moins ciblée, plus spéculative ou très différente par rapport au résultat obtenu avec la température de 0.2 ? Remarque : Si vous définissez une température aussi élevée, les résultats seront probablement moins cohérents ou adaptés, mais cela permet de démontrer l'effet extrême de ce paramètre.

5. Pour appliquer les modifications, cliquez sur le bouton Mettre à jour situé sous le volet du deuxième prompt.

Comparer différents modèles et configurations

Vous allez maintenant comparer votre modèle de base à un autre modèle et à des paramètres différents pour observer les différences de raisonnement ou de style de résultat.

1. Dans la zone de texte du volet du deuxième prompt (à droite) :

   • Texte du prompt : utilisez le même scénario d'origine "Fiery Grill" et demandez trois facteurs de risque comme dans Comparison Base - Restaurant Risks (volet de gauche). Une fois de plus, vérifiez que l'instruction système de base est bien présente dans ce volet, soit en la préfixant si nécessaire, soit si l'UI la reprend implicitement.

2. Cliquez sur l'icône Modifier (en forme de crayon) dans le volet du deuxième prompt sous la zone de texte :

   • Modifications de la configuration pour cette variante :
     • Changez de modèle et choisissez (sélectionnez-le dans le menu déroulant des modèles de ce volet).
     • Définissez la température sur 0.2.
     • Définissez la limite de jetons de sortie sur 65535 (ou sur la valeur maximale autorisée par le modèle dans l'UI).
     • Faites défiler le volet vers le bas et cliquez sur Appliquer.

3. Cliquez sur Envoyer des prompts.

4. Examinez les réponses. Comparez le résultat de (volet de gauche) à celui de (volet de droite).

Notez les différences dans les facteurs de risque identifiés, les détails fournis, la structure de la réponse ou la façon dont la réponse semble raisonner dans le scénario.

5. Veillez à cliquer sur le bouton Mettre à jour situé sous le volet du deuxième prompt pour enregistrer les nouvelles modifications.

Autres options de comparaison (aperçu rapide)

Vertex AI Studio propose d'autres méthodes pour ajouter des prompts à comparer :

1. Notez le bouton + Comparer un prompt enregistré dans la zone où vous avez ajouté un "nouveau prompt" pour la comparaison.

   • En cliquant dessus, vous pouvez sélectionner un de vos prompts précédemment enregistrés dans la section "Gestion des prompts" pour le comparer au nouveau. Remarque : Comme indiqué dans l'UI (et pour clarifier la portée de "l'historique de conversation"), la comparaison des prompts présente des limites. Par exemple, elle ne prend pas en charge les prompts de chat, les prompts avec du contenu multimédia ni les prompts avec un historique de conversation impliquant plus d'un échange.

2. Vous pouvez également voir un bouton + Vérité terrain.

   • Cette fonctionnalité vous permet d'indiquer une réponse "idéale" ou "parfaite" pour votre prompt. Si vous fournissez une vérité terrain, le système peut proposer des métriques d'évaluation plus détaillées, ce qui peut être utile pour les tests de prompts avancés, mais cela dépasse le cadre de cet atelier d'introduction. Pour notre objectif, une comparaison visuelle côte à côte suffit.

3. Pour quitter la vue "Comparer" et revenir à l'interface principale de modification des prompts (par exemple, pour continuer à travailler sur la version de votre choix), cliquez sur la flèche de retour en haut à gauche de l'interface "Comparer".

Gestion des prompts

Lorsque vous testez des instructions, configurations et exemples variés, il est essentiel d'enregistrer votre travail. Enregistrer les prompts vous permet :

• d'organiser vos tests ;
• de réutiliser facilement les prompts efficaces.

Vertex AI Studio propose un outil de gestion des prompts à cet effet.

Enregistrer un prompt

Supposons que vous venez de terminer une itération que vous souhaitez enregistrer (par exemple, l'une des variantes de prompt de vos exercices de comparaison ou une version améliorée de votre prompt "Insurance Claim Data Extraction").

1. Vérifiez que le prompt que vous souhaitez enregistrer est actif dans l'interface principale de modification des prompts (par exemple, vous venez peut-être de quitter la vue "Comparer" et avez ouvert une version préférée, ou vous vous trouvez dans le prompt Comparison Base - Restaurant Risks).

2. Si vous avez déjà enregistré votre prompt, vous verrez un bouton Enregistrement automatique dans la barre d'outils du haut. Une fois que vous avez enregistré votre prompt, l'enregistrement automatique est activé par défaut. Si vous souhaitez désactiver cette fonctionnalité, vous pouvez cliquer sur le bouton et sélectionner Désactiver l'enregistrement automatique.

Accéder à la gestion des prompts

Une fois que vous avez enregistré des prompts, vous pouvez les gérer dans la section Gestion des prompts.

1. Accédez à "Créer un prompt". Dans le menu de navigation (), sélectionnez Vertex AI > Vertex AI Studio > Gestion des prompts.

2. Une liste de vos prompts enregistrés s'affiche. Elle inclut souvent leur nom, leur contenu multimédia, leur modèle et la date de leur dernière modification.

3. Sur cette page, vous pouvez afficher, supprimer ou exporter vos prompts enregistrés, et accéder à des outils d'optimisation permettant de les améliorer.

Cliquez sur Vérifier ma progression pour valider les objectifs.

Comparer, évaluer et gérer les prompts

Tâche 4 : Utiliser des prompts multimodaux avec Gemini

Dans cette tâche, vous allez utiliser l'interface de prompt principale de Vertex AI Studio avec le modèle Gemini pour analyser une image et en extraire des informations. Vous verrez ainsi comment concevoir des prompts pour différentes tâches analytiques telles que la description, l'extraction de texte et les réponses à des questions basées sur du contenu visuel.

1. Dans le menu de navigation () de la console Google Cloud, sélectionnez Vertex AI > Vertex AI Studio > Créer un prompt.

2. En haut à gauche, cliquez sur Prompt sans titre et renommez votre prompt Timetable Image Analysis.

3. Dans le panneau Configuration à droite :

   • Assurez-vous que le modèle est sélectionné. Vous pouvez cliquer sur Switch model (Changer de modèle) si vous avez besoin de le modifier.
   • Affichez les paramètres avancés, puis sélectionnez pour Région.

4. Téléchargez l'exemple d'image de tableau d'horaires sur votre machine locale :

   • Effectuez un clic droit sur l'image ci-dessous et enregistrez-la :

5. Dans la section Prompt (en bas de la page), cliquez sur le bouton d'insertion d'un élément multimédia (), qui se trouve généralement sur la droite de la zone de saisie du prompt.

6. Dans le menu Sélectionner une source qui s'affiche, cliquez sur Importer, puis sélectionnez le fichier image du tableau d'horaires que vous venez de télécharger sur votre ordinateur. L'image apparaîtra directement dans la zone de saisie du prompt.

Remarque : Plusieurs options sont disponibles pour trouver vos contenus multimédias. Il s'agit généralement de l'importation directe, de l'importation d'un fichier via une URL, de l'importation depuis Cloud Storage ou Google Drive, et même de l'ajout d'un lien vers une vidéo YouTube. Dans cet atelier, nous allons nous intéresser à la méthode d'importation directe.

7. Vous pouvez maintenant demander au modèle d'effectuer quelques tâches sur l'image. Sous l'image insérée dans le champ de saisie du prompt, collez le prompt suivant :

1. Provide a concise title for this image (under 5 words). 2. Describe the image in one or two sentences. 3. Extract all visible text from the image. Present the flight schedule as a clearly formatted list with columns for "Time" and "City".

8. Cliquez sur le bouton en forme de flèche Envoyer (en bas à droite de la section "Prompt") et examinez la réponse du modèle.

9. Vous pouvez ensuite poser une question qui nécessite un raisonnement basé sur les informations extraites. Remplacez le prompt textuel précédent par ce qui suit (laissez l'image en place) :

Based on the flight schedule shown in the image, what percentage of the listed flights depart before 11:30 AM? Show your calculation if possible.

10. Cliquez sur le bouton en forme de flèche Envoyer et examinez la réponse.

11. Observez brièvement l'effet de la température. Dans le panneau Configuration à droite :

    • Réglez la température sur 0.8.
    • Renvoyez le même prompt que celui de l'étape 9 ("Based on the flight schedule... percentage...").
    • Notez si le style, la confiance ou le niveau de détail de l'explication changent.
    • Après avoir examiné les résultats, abaissez la température à une valeur plus faible, par exemple 0.2 pour obtenir des réponses plus prévisibles.

Remarque : La température contrôle la randomisation. Les valeurs les plus basses (par exemple, entre 0.0 et 0.2) sont adaptées aux réponses factuelles, tandis que les valeurs les plus élevées (par exemple, à partir de 0.7) peuvent produire des résultats plus variés ou créatifs, qui peuvent être moins adaptés à une extraction ou une analyse de données précise.

12. Une fois que votre exploration vous satisfait, enregistrez votre travail. Cliquez sur le bouton Enregistrer dans la barre d'outils du haut.
    • Le nom Timetable Image Analysis doit être prérempli.
    • Vérifiez que la région est .
    • Cliquez sur Enregistrer dans la boîte de dialogue.

Remarque : Après avoir cliqué sur Enregistrer, patientez quelques instants que le prompt soit enregistré avant de continuer et de quitter la page immédiatement.

Cliquez sur Vérifier ma progression pour valider les objectifs.

Analyser des images avec Gemini dans Vertex AI Studio

Tâche 5 : Explorer Vertex AI Media Studio

Au-delà du texte, Vertex AI Studio offre des outils performants pour générer différents types de contenus multimédias directement à partir de prompts textuels ou en améliorant des contenus multimédias existants. Dans cette tâche, vous allez découvrir comment générer des images, des vidéos et des contenus vocaux.

1. Vérifiez que vous êtes dans Vertex AI Studio. Si vous n'y êtes pas déjà, accédez à Vertex AI > Vertex AI Studio > Media Studio depuis le menu de navigation (). La page doit se présenter comme suit :

Générer une image avec Imagen

Vous allez commencer par générer une image.

1. Sur la page de destination Media Studio, sous la section "Commencer par un prompt textuel", cliquez sur Imagen - Générer des images.

2. Dans la zone de prompt textuel en bas de la page, saisissez un prompt descriptif. Exemple :

   A close-up, photorealistic image of a single honeybee collecting pollen from a vibrant purple lavender flower, with a softly blurred garden background.

3. Dans le panneau Paramètres à droite :

   • Vérifiez que le champ Modèle est défini sur Imagen 4 (ou le dernier modèle Imagen disponible).
   • Pour Format, sélectionnez 1:1.
   • Définissez Nombre de résultats sur 4 pour cette première génération.
   • Vérifiez les paramètres Sécurité (par exemple, "Génération de personnes" et "Seuil du filtre de sécurité"). Conservez les valeurs par défaut ou ajustez-les selon vos préférences pour ce prompt non axé sur les personnes.

4. Cliquez sur le bouton Envoyer en bas à droite de la zone de prompt.

5. Après quelques instants, les images générées s'affichent dans la zone principale.

6. Cliquez sur l'une des miniatures des images générées pour ouvrir la vue détaillée.

7. Dans le volet Détails de l'image à droite :
   • Observez les actions d'IA disponibles, telles que Inpaint (pour ajouter ou supprimer des éléments à l'aide d'un masque), Outpaint (pour agrandir l'image) et Exporter l'image (qui peut proposer l'amélioration d'images).
   • Vérifiez si la mention SynthID detected (SynthID détecté) s'affiche avec une coche verte.
   • Facultatif : Sélectionnez l'une des options Inpaint ou Outpaint, et testez-la pour découvrir les capacités d'Imagen.

Qu'est-ce que SynthID ?

SynthID est une technologie développée par Google DeepMind, qui intègre un filigrane numérique directement dans les pixels des images générées par l'IA. Ce filigrane est conçu pour être imperceptible à l'œil humain, mais détectable par un algorithme. Son but est d'aider à identifier les images générées par IA. Cela encourage la transparence et les pratiques pour une IA responsable, même si l'image est modifiée par la suite (par exemple, compressée ou filtrée).

Générer une vidéo avec Veo

Vous allez ensuite générer une courte vidéo. Pour ce faire, utilisez la barre d'outils de navigation rapide dans les outils Media Studio.

1. Dans la petite barre d'outils verticale tout à gauche de la page (avec des icônes pour différents types de contenus multimédias : image, audio, musique, vidéo), cliquez sur l'icône de la vidéo (qui ressemble à une caméra vidéo) pour passer à l'outil de génération de vidéos. L'interface Veo s'ouvre.

2. Dans la zone de prompt en bas de la page, saisissez un prompt pour générer une courte vidéo. Exemple :

Drone shot slowly flying over vast green hills at golden hour.

3. Dans le panneau Paramètres à droite :

   • Assurez-vous que le modèle est défini sur Veo 2 (ou le dernier modèle Veo disponible).
   • Définissez le format sur 16:9.
   • Laissez le nombre de résultats à 1.
   • Définissez la durée de la vidéo sur 5 seconds (ou une durée courte similaire).
   • Dans le champ Répertoire de sortie, cliquez sur Parcourir.
     • Si le bucket de votre projet () est listé, sélectionnez-le.
     • Si ce n'est pas le cas ou si vous devez spécifier le chemin, vous devrez peut-être saisir gs:///` (n'oubliez pas la barre oblique finale) ou utiliser la navigation pour trouver votre bucket.
     • Cliquez sur Sélectionner pour confirmer le répertoire de sortie.
   • Assurez-vous que la case Enable prompt enhancement (Activer l'amélioration des prompts) est cochée.
   • Vérifiez les paramètres Sécurité.

4. Cliquez sur le bouton Envoyer.

5. La génération de vidéos peut prendre plus de temps que la génération d'images. Une fois prête, la vidéo s'affiche et vous devriez pouvoir la lire dans l'interface.

6. Facultatif : Vous pouvez cliquer sur la vidéo pour explorer les actions d'IA qui lui sont associées, comme ajouter une bande-son ou une voix off.

Cliquez sur Vérifier ma progression pour valider les objectifs.

Découvrir Vertex AI Media Studio

Générer un contenu vocal avec Chirp (facultatif)

Si vous souhaitez explorer des voix générées par l'IA :

1. Dans la petite barre d'outils verticale tout à gauche, cliquez sur l'icône audio (qui ressemble à un micro) pour passer à l'outil de génération de voix. L'interface Chirp s'ouvre.

2. Un message peut vous inviter à activer l'API Cloud Text-to-Speech si elle n'est pas déjà active pour votre projet. Le cas échéant, cliquez sur Activer et attendez que l'API soit activée (cela peut prendre quelques instants).

3. Une fois l'interface prête, saisissez le texte que vous souhaitez synthétiser dans la zone de prompt de texte en bas de la page. Exemple :

Welcome to the world of generative AI on Google Cloud

4. Dans le panneau Paramètres à droite :

   • Sélectionnez un modèle (par exemple, Chirp 3. HD Voices).
   • Sélectionnez la langue de votre choix (par exemple, English (US)).
   • Sélectionnez une voix dans la liste déroulante. Vous pouvez en essayer plusieurs pour découvrir leurs spécificités.
   • Explorez les options avancées si elles sont disponibles et si vous souhaitez les utiliser.

5. Cliquez sur le bouton Envoyer.

6. Une fois le traitement effectué, vous devriez pouvoir lire l'audio généré directement dans l'interface.

Félicitations !

Félicitations ! Dans cet atelier, vous avez utilisé Vertex AI Studio pour créer le prototype d'une application d'IA générative dans le domaine de l'assurance, de la conception initiale et du déploiement au prompt engineering avancé et à la comparaison des prompts. Vous avez appris à améliorer les résultats textuels pour des tâches analytiques spécifiques et à explorer les fonctionnalités multimodales intéressantes pour générer des images, des vidéos et des contenus vocaux. Ces compétences de base vous permettront de créer des solutions d'IA générative sophistiquées sur Google Cloud.

Étapes suivantes et informations supplémentaires

• Approfondissez vos connaissances sur les capacités des modèles d'IA générative que vous avez découverts (comme Gemini pour l'analyse de texte et d'images, Imagen, Veo et Chirp) en consultant la documentation officielle de Vertex AI Model Garden.
• Améliorez vos compétences en prompt engineering grâce au guide complet sur les stratégies de conception des prompts de Google Cloud, qui présente les bonnes pratiques et les techniques avancées.
• Découvrez comment intégrer et automatiser ces fonctionnalités d'IA générative dans vos applications en consultant la documentation des SDK Vertex AI.
• Poursuivez votre apprentissage avec d'autres ateliers et cours sur l'IA générative sur Google Cloud Skills Boost.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 19 mai 2025

Dernier test de l'atelier : 19 mai 2025

Copyright 2025 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.