Présentation

Dans cet atelier, vous allez identifier les opérations Map et Reduce, exécuter le pipeline et utiliser les paramètres de la ligne de commande.

Objectif

• Identifier les opérations Map et Reduce

• Exécuter le pipeline

• Utiliser les paramètres de la ligne de commande

Prérequis

Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.

1. Connectez-vous à Qwiklabs dans une fenêtre de navigation privée.

2. Vérifiez le temps imparti pour l'atelier (par exemple : 01:15:00) : vous devez pouvoir le terminer dans ce délai.
   Une fois l'atelier lancé, vous ne pouvez pas le mettre en pause. Si nécessaire, vous pourrez le redémarrer, mais vous devrez tout reprendre depuis le début.

3. Lorsque vous êtes prêt, cliquez sur Démarrer l'atelier.

4. Notez vos identifiants pour l'atelier (Nom d'utilisateur et Mot de passe). Ils vous serviront à vous connecter à Google Cloud Console.

5. Cliquez sur Ouvrir la console Google.

6. Cliquez sur Utiliser un autre compte, puis copiez-collez les identifiants de cet atelier lorsque vous y êtes invité.
   Si vous utilisez d'autres identifiants, des messages d'erreur s'afficheront ou des frais seront appliqués.

7. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.

Activer Google Cloud Shell

Google Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud.

Google Cloud Shell vous permet d'accéder à vos ressources Google Cloud grâce à une ligne de commande.

1. Dans la barre d'outils située en haut à droite dans la console Cloud, cliquez sur le bouton "Ouvrir Cloud Shell".

   

2. Cliquez sur Continuer.

Le provisionnement et la connexion à l'environnement prennent quelques instants. Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Par exemple :

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

• Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :

Résultat :

Exemple de résultat :

• Vous pouvez lister les ID de projet à l'aide de cette commande :

Résultat :

Exemple de résultat :

Lancer l'éditeur de code Google Cloud Shell

Utilisez l'éditeur de code Google Cloud Shell pour facilement créer et modifier les répertoires et fichiers de l'instance Cloud Shell.

• Une fois que vous avez activé Google Cloud Shell, cliquez sur Ouvrir l'éditeur pour ouvrir l'éditeur de code Cloud Shell.

Vous avez désormais trois interfaces à votre disposition :

• L'éditeur de code Cloud Shell.
• La console (en cliquant sur l'onglet). Vous pouvez passer de la console à Cloud Shell (et vice versa) en cliquant sur les onglets correspondants.
• La ligne de commande Cloud Shell (en cliquant sur Ouvrir le terminal dans la console).

Vérifier les autorisations du projet

Avant de commencer à travailler dans Google Cloud, vous devez vous assurer de disposer des autorisations adéquates pour votre projet dans IAM (Identity and Access Management).

1. Dans la console Google Cloud, accédez au menu de navigation (), puis sélectionnez IAM et administration > IAM.

2. Vérifiez que le compte de service Compute par défaut {project-number}-compute@developer.gserviceaccount.com existe et qu'il est associé au rôle editor (éditeur). Le préfixe du compte correspond au numéro du projet, disponible sur cette page : Menu de navigation > Présentation du cloud > Tableau de bord.

1. Dans la console Google Cloud, accédez au menu de navigation et cliquez sur Présentation du cloud > Tableau de bord.
2. Copiez le numéro du projet (par exemple, 729328892908).
3. Dans le menu de navigation, sélectionnez IAM et administration > IAM.
4. Sous Afficher par compte principal, en haut de la table des rôles, cliquez sur Accorder l'accès.
5. Dans le champ Nouveaux comptes principaux, saisissez :

6. Remplacez {project-number} par le numéro de votre projet.
7. Dans le champ Rôle, sélectionnez Projet (ou Basique) > Éditeur.
8. Cliquez sur Enregistrer.

Tâche 1 : Préparations de laboratoire

Des étapes spécifiques doivent être suivies pour exécuter cet atelier avec succès :

• Créer un bucket Cloud Storage (qui s'est terminé automatiquement pour vous au démarrage de l'environnement de l'atelier)

• Cloner un dépôt github dans Cloud Shell

git clone https://github.com/GoogleCloudPlatform/training-data-analyst

• Mettre à jour les packages et installer Apache Beam

cd training-data-analyst/courses/data_analysis/lab2/python

sudo ./install_packages.sh

Tâche 2 : Identifier les opérations Map et Reduce

1. Dans l'éditeur de code Cloud Shell, accédez au répertoire /training-data-analyst/courses/data_analysis/lab2/python, puis affichez le fichier is_popular.py dans l'éditeur Cloud Shell. Ne modifiez pas le code.

Vous pouvez également afficher le fichier avec nano. Ne modifiez pas le code.

cd ~/training-data-analyst/courses/data_analysis/lab2/python
nano is_popular.py

Répondez aux questions suivantes à propos du fichier is_popular.py.

• Quels arguments personnalisés sont définis ?

• Quel est le préfixe de résultat par défaut ?

• Comment la variable "output_prefix" est-elle définie dans main() ?

• Comment les arguments du pipeline tels que --runner sont-ils définis ?

• Quelles sont les principales étapes du pipeline ?

• Lesquelles ont lieu en parallèle ?

• Lesquelles correspondent à des agrégations ?

Tâche 3 : Exécuter le pipeline

1. Exécutez le pipeline en local :

cd ~/training-data-analyst/courses/data_analysis/lab2/python
python3 ./is_popular.py

2. Identifiez le fichier de sortie. Il doit s'appeler output<suffixe> et peut être divisé en plusieurs parties.

ls -al /tmp

3. Examinez le fichier de sortie et remplacez "-*" par le suffixe approprié.

cat /tmp/output-*

Tâche 4 : Utiliser les paramètres de la ligne de commande

1. Modifiez le préfixe de résultat par défaut :

python3 ./is_popular.py --output_prefix=/tmp/myoutput

2. Quel sera le nom du nouveau fichier écrit ?

3. Notez qu'un nouveau fichier se trouve à présent dans le répertoire /tmp :

ls -lrt /tmp/myoutput*

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur Terminer l'atelier. Google Cloud Skills Boost supprime les ressources que vous avez utilisées, puis efface le compte.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez un nombre d'étoiles, saisissez un commentaire, puis cliquez sur Envoyer.

Le nombre d'étoiles correspond à votre degré de satisfaction :

• 1 étoile = très insatisfait(e)
• 2 étoiles = insatisfait(e)
• 3 étoiles = ni insatisfait(e), ni satisfait(e)
• 4 étoiles = satisfait(e)
• 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez accéder à l'onglet Assistance.

Copyright 2026 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms de société et de produit peuvent être des marques des sociétés auxquelles ils sont associés.