Présentation

Dans cet atelier, vous allez identifier les opérations Map et Reduce, exécuter le pipeline et utiliser les paramètres de la ligne de commande.

Objectif

• Identifier les opérations Map et Reduce
• Exécuter le pipeline
• Utiliser les paramètres de la ligne de commande

Préparation

Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.

1. Connectez-vous à Qwiklabs dans une fenêtre de navigation privée.

2. Vérifiez le temps imparti pour l'atelier (par exemple : 01:15:00) : vous devez pouvoir le terminer dans ce délai.
   Une fois l'atelier lancé, vous ne pouvez pas le mettre en pause. Si nécessaire, vous pourrez le redémarrer, mais vous devrez tout reprendre depuis le début.

3. Lorsque vous êtes prêt, cliquez sur Démarrer l'atelier.

4. Notez vos identifiants pour l'atelier (Nom d'utilisateur et Mot de passe). Ils vous serviront à vous connecter à Google Cloud Console.

5. Cliquez sur Ouvrir la console Google.

6. Cliquez sur Utiliser un autre compte, puis copiez-collez les identifiants de cet atelier lorsque vous y êtes invité.
   Si vous utilisez d'autres identifiants, des messages d'erreur s'afficheront ou des frais seront appliqués.

7. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.

Activer Google Cloud Shell

Google Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud.

Google Cloud Shell vous permet d'accéder à vos ressources Google Cloud grâce à une ligne de commande.

1. Dans la barre d'outils située en haut à droite dans la console Cloud, cliquez sur le bouton "Ouvrir Cloud Shell".

   

2. Cliquez sur Continuer.

Le provisionnement et la connexion à l'environnement prennent quelques instants. Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Par exemple :

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

• Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :

gcloud auth list

Résultat :

Credentialed accounts: - @.com (active)

Exemple de résultat :

Credentialed accounts: - google1623327_student@qwiklabs.net

• Vous pouvez lister les ID de projet à l'aide de cette commande :

gcloud config list project

Résultat :

[core] project =

Exemple de résultat :

[core] project = qwiklabs-gcp-44776a13dea667a6 Remarque : Pour consulter la documentation complète sur gcloud, accédez au guide de présentation de la gcloud CLI.

Lancer l'éditeur de code Google Cloud Shell

Utilisez l'éditeur de code Google Cloud Shell pour facilement créer et modifier les répertoires et fichiers de l'instance Cloud Shell.

• Une fois que vous avez activé Google Cloud Shell, cliquez sur Ouvrir l'éditeur pour ouvrir l'éditeur de code Cloud Shell.

Vous avez désormais trois interfaces à votre disposition :

• L'éditeur de code Cloud Shell.
• La console (en cliquant sur l'onglet). Vous pouvez passer de la console à Cloud Shell (et vice versa) en cliquant sur les onglets correspondants.
• La ligne de commande Cloud Shell (en cliquant sur Ouvrir le terminal dans la console).

Vérifier les autorisations du projet

Avant de commencer à travailler dans Google Cloud, vous devez vous assurer de disposer des autorisations adéquates pour votre projet dans IAM (Identity and Access Management).

1. Dans la console Google Cloud, accédez au menu de navigation (), puis sélectionnez IAM et administration > IAM.

2. Vérifiez que le compte de service Compute par défaut {project-number}-compute@developer.gserviceaccount.com existe et qu'il est associé au rôle editor (éditeur). Le préfixe du compte correspond au numéro du projet, disponible sur cette page : Menu de navigation > Présentation du cloud > Tableau de bord.

Remarque : Si le compte n'est pas disponible dans IAM ou n'est pas associé au rôle editor (éditeur), procédez comme suit pour lui attribuer le rôle approprié.

1. Dans la console Google Cloud, accédez au menu de navigation et cliquez sur Présentation du cloud > Tableau de bord.
2. Copiez le numéro du projet (par exemple, 729328892908).
3. Dans le menu de navigation, sélectionnez IAM et administration > IAM.
4. Sous Afficher par compte principal, en haut de la table des rôles, cliquez sur Accorder l'accès.
5. Dans le champ Nouveaux comptes principaux, saisissez :

{project-number}-compute@developer.gserviceaccount.com

6. Remplacez {project-number} par le numéro de votre projet.
7. Dans le champ Rôle, sélectionnez Projet (ou Basique) > Éditeur.
8. Cliquez sur Enregistrer.

Tâche 1 : Préparation de l'atelier

Vous devez effectuer des étapes spécifiques pour bien réaliser cet atelier :

1. Créez un bucket Cloud Storage (cette étape a été effectuée automatiquement pour vous au démarrage de l'environnement d'atelier).

2. Dans la barre de titre de la console Google Cloud, cliquez sur Activer Cloud Shell. Cliquez sur Continuer si vous y êtes invité. Clonez le dépôt github contenant le code de l'atelier à l'aide de la commande suivante :

git clone https://github.com/GoogleCloudPlatform/training-data-analyst

Tâche 2 : Identifier les opérations Map et Reduce

• Dans l'éditeur de code Cloud Shell, accédez au répertoire /training-data-analyst/courses/data_analysis/lab2/javahelp/src/main/java/com/google/cloud/training/dataanalyst/javahelp, puis affichez le fichier IsPopular.java dans l'éditeur Cloud Shell.

Remarque : Ne modifiez pas le code.

Vous pouvez également afficher le fichier avec nano :

Remarque : Ne modifiez pas le code. cd ~/training-data-analyst/courses/data_analysis/lab2/javahelp/src/main/java/com/google/cloud/training/dataanalyst/javahelp nano IsPopular.java Remarque : Normalement, vous développeriez ce code Java dans un environnement de développement intégré tel qu'Eclipse ou IntelliJ (pas dans Cloud Shell).

Répondez aux questions ci-dessous à propos du fichier IsPopular.java.

• Quelles sont les méthodes "getX()" présentes dans la classe "MyOptions" ?
• Quel est le préfixe de résultat par défaut ?
• Comment la variable "outputPrefix" est-elle définie dans "main()" ?
• Quelles sont les principales étapes du pipeline ?
• Lesquelles ont lieu en parallèle ?
• Lesquelles correspondent à des agrégations ?

Tâche 3 : Exécuter le pipeline

1. Copiez et collez la commande Maven suivante dans Cloud Shell :

export PATH=/usr/lib/jvm/java-8-openjdk-amd64/bin/:$PATH cd ~/training-data-analyst/courses/data_analysis/lab2/javahelp mvn compile -e exec:java \ -Dexec.mainClass=com.google.cloud.training.dataanalyst.javahelp.IsPopular Remarque : Cette opération prend 4-5 minutes.

2. Examinez le fichier de sortie :

cat /tmp/output.csv

Tâche 4 : Utiliser les paramètres de la ligne de commande

1. Modifiez le préfixe de sortie par défaut :

mvn compile -e exec:java \ -Dexec.mainClass=com.google.cloud.training.dataanalyst.javahelp.IsPopular \ -Dexec.args="--outputPrefix=/tmp/myoutput"

2. Quel sera le nom du nouveau fichier .csv écrit ?
3. Notez qu'un nouveau fichier se trouve à présent dans le répertoire /tmp :

ls -lrt /tmp/*.csv

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur Terminer l'atelier. Google Cloud Skills Boost supprime les ressources que vous avez utilisées, puis efface le compte.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez un nombre d'étoiles, saisissez un commentaire, puis cliquez sur Envoyer.

Le nombre d'étoiles correspond à votre degré de satisfaction :

• 1 étoile = très insatisfait(e)
• 2 étoiles = insatisfait(e)
• 3 étoiles = ni insatisfait(e), ni satisfait(e)
• 4 étoiles = satisfait(e)
• 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez accéder à l'onglet Assistance.

Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.