Présentation

Dans cet atelier, vous apprendrez à créer et exécuter des pipelines de ML avec Vertex Pipelines.

Objectifs de la formation

• Utiliser le SDK Kubeflow Pipelines pour créer des pipelines de ML évolutifs
• Créer et exécuter un pipeline d'introduction en trois étapes acceptant du texte en entrée
• Créer et exécuter un pipeline qui entraîne, évalue et déploie un modèle de classification AutoML
• Utiliser des composants prédéfinis, fournis via la bibliothèque google_cloud_pipeline_components, pour interagir avec les services Vertex AI
• Planifier un job de pipeline avec Cloud Scheduler

Préparation

Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.

1. Connectez-vous à Qwiklabs dans une fenêtre de navigation privée.

2. Vérifiez le temps imparti pour l'atelier (par exemple : 01:15:00) : vous devez pouvoir le terminer dans ce délai.
   Une fois l'atelier lancé, vous ne pouvez pas le mettre en pause. Si nécessaire, vous pourrez le redémarrer, mais vous devrez tout reprendre depuis le début.

3. Lorsque vous êtes prêt, cliquez sur Démarrer l'atelier.

4. Notez vos identifiants pour l'atelier (Nom d'utilisateur et Mot de passe). Ils vous serviront à vous connecter à Google Cloud Console.

5. Cliquez sur Ouvrir la console Google.

6. Cliquez sur Utiliser un autre compte, puis copiez-collez les identifiants de cet atelier lorsque vous y êtes invité.
   Si vous utilisez d'autres identifiants, des messages d'erreur s'afficheront ou des frais seront appliqués.

7. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.

Activer Cloud Shell

Cloud Shell est une machine virtuelle qui contient des outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Google Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud. gcloud est l'outil de ligne de commande associé à Google Cloud. Il est préinstallé sur Cloud Shell et permet la saisie semi-automatique via la touche Tabulation.

1. Dans Google Cloud Console, dans le volet de navigation, cliquez sur Activer Cloud Shell ().

2. Cliquez sur Continuer.
   Le provisionnement et la connexion à l'environnement prennent quelques instants. Une fois connecté, vous êtes en principe authentifié, et le projet est défini sur votre ID_PROJET. Exemple :

Exemples de commandes

• Afficher le nom du compte actif :

gcloud auth list

(Résultat)

Credentialed accounts: - <myaccount>@<mydomain>.com (active)

(Exemple de résultat)

Credentialed accounts: - google1623327_student@qwiklabs.net

• Afficher l'ID du projet :

gcloud config list project

(Résultat)

[core] project = <ID_Projet>

(Exemple de résultat)

[core] project = qwiklabs-gcp-44776a13dea667a6

Tâche 1 : Configurer l'environnement cloud

Cloud Shell possède quelques variables d'environnement, parmi lesquelles "GOOGLE_CLOUD_PROJECT", qui contient le nom de notre projet Cloud actuel. Nous l'utilisons à plusieurs endroits tout au long de cet atelier. Pour la voir, exécutez la commande suivante :

echo $GOOGLE_CLOUD_PROJECT

Activer les API

• Lors des étapes suivantes, vous verrez où ces services sont requis (et pourquoi). Mais pour commencer, exécutez la commande suivante afin d'autoriser votre projet à accéder aux services Compute Engine, Container Registry et Vertex AI :

gcloud services enable compute.googleapis.com \ containerregistry.googleapis.com \ aiplatform.googleapis.com \ cloudbuild.googleapis.com \ cloudfunctions.googleapis.com

Un message semblable à celui qui suit s'affiche pour vous indiquer que l'opération s'est correctement déroulée :

Operation "operations/acf.cc11852d-40af-47ad-9d59-477a12847c9e" finished successfully.

Tâche 2. Créer un bucket Cloud Storage

Pour exécuter une tâche d'entraînement sur Vertex AI, vous avez besoin d'un bucket de stockage dans lequel enregistrer les ressources de modèle. Le bucket doit être régional. Les instructions de cet atelier indiquent us-central, mais vous pouvez utiliser une autre région.

1. Pour créer un bucket dans le terminal Cloud Shell, exécutez la commande suivante :

BUCKET_NAME=gs://$GOOGLE_CLOUD_PROJECT-bucket gsutil mb -l us-central1 $BUCKET_NAME

2. Autorisez ce bucket à accéder à votre compte de service Compute :

gcloud projects describe $GOOGLE_CLOUD_PROJECT > project-info.txt PROJECT_NUM=$(cat project-info.txt | sed -nre 's:.*projectNumber\: (.*):\1:p') SVC_ACCOUNT="${PROJECT_NUM//\'/}-compute@developer.gserviceaccount.com" gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT --member serviceAccount:$SVC_ACCOUNT --role roles/storage.objectAdmin

Vertex Pipelines dispose désormais des autorisations nécessaires pour écrire des fichiers dans ce bucket.

Tâche 3 : Activer les API recommandées

1. Dans la console Google Cloud, accédez au menu de navigation (), puis cliquez sur Vertex AI > Tableau de bord.
2. Cliquez sur Activer toutes les API recommandées.

Tâche 4 : Lancer une instance de Vertex AI Notebooks

1. Dans la console Google Cloud, accédez au menu de navigation et cliquez sur Vertex AI > Workbench. Sélectionnez Notebooks gérés par l'utilisateur.

2. Sur la page "Instances de notebook", cliquez sur Créer et choisissez la dernière version de TensorFlow Enterprise 2.6 (avec LTS) dans Environnement.

3. Dans la boîte de dialogue Nouveau notebook, vérifiez le nom de la VM deep learning. Si vous ne souhaitez pas modifier la région ni la zone, laissez tous les paramètres tels quels, puis cliquez sur Créer. Le démarrage de la nouvelle VM prend deux à trois minutes.

4. Cliquez sur Ouvrir JupyterLab.
   Une fenêtre JupyterLab s'ouvre dans un nouvel onglet.

Tâche 5 : Cloner un dépôt du cours dans votre instance de Vertex AI Notebooks

Pour cloner le notebook "training-data-analyst" dans votre instance JupyterLab :

1. Dans JupyterLab, cliquez sur l'icône Terminal pour ouvrir un nouveau terminal.

2. À l'invite, exécutez la commande suivante :

   git clone https://github.com/GoogleCloudPlatform/training-data-analyst

3. Pour vérifier que vous avez bien cloné le dépôt, double-cliquez sur le répertoire "training-data-analyst" et vérifiez que vous pouvez voir son contenu.
   Vous y trouverez les fichiers de tous les ateliers de ce cours basés sur des notebooks Jupyter.

Tâche 6 : Créer et exécuter des pipelines de ML avec Vertex Pipelines

1. Dans l'interface du notebook, accédez à training-data-analyst > courses > machine_learning > deepdive2 > machine_learning_in_the_enterprise > labs, et ouvrez pipelines_intro_kfp.ipynb.

2. Dans l'interface du notebook, cliquez sur Modifier > Supprimer tous les éléments de sortie.

3. Lisez attentivement les instructions du notebook et complétez le code sur les lignes contenant la mention #TODO.

Conseil : Pour exécuter la cellule actuellement sélectionnée, cliquez dessus et appuyez sur MAJ+ENTRÉE. Vous trouverez les autres commandes de cellule dans l'interface du notebook, sous Exécuter.

• Des conseils ont parfois été ajoutés pour vous aider à effectuer des tâches. Mettez le texte en surbrillance pour lire les conseils (texte en blanc).
• Si vous avez besoin d'aide, reportez-vous à la solution complète. Pour cela, accédez à training-data-analyst > courses > machine_learning > deepdive2 > machine_learning_in_the_enterprise > solutions, puis ouvrez le fichier pipelines_intro_kfp.ipynb.

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur End Lab (Terminer l'atelier). Qwiklabs supprime les ressources que vous avez utilisées, puis efface le compte.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez le nombre d'étoiles correspondant à votre note, saisissez un commentaire, puis cliquez sur Submit (Envoyer).

Le nombre d'étoiles que vous pouvez attribuer à un atelier correspond à votre degré de satisfaction :

• 1 étoile = très mécontent(e)
• 2 étoiles = insatisfait(e)
• 3 étoiles = ni insatisfait(e), ni satisfait(e)
• 4 étoiles = satisfait(e)
• 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez utiliser l'onglet Support (Assistance).

Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.