Présentation

Dans cet atelier, vous allez ouvrir un projet Dataflow, filtrer le pipeline et l'exécuter en local et dans le cloud.

• Ouvrir un projet Dataflow
• Filtrer le pipeline
• Exécuter le pipeline en local et dans le cloud

Objectif

Dans cet atelier, vous allez découvrir comment écrire un pipeline Dataflow simple, et comment l'exécuter en local et dans le cloud.

• Configurer un projet Dataflow en Python à l'aide d'Apache Beam
• Créer un pipeline simple en Python
• Exécuter la requête sur la machine locale
• Exécuter la requête dans le cloud

Préparation

Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.

1. Connectez-vous à Qwiklabs dans une fenêtre de navigation privée.

2. Vérifiez le temps imparti pour l'atelier (par exemple : 01:15:00) : vous devez pouvoir le terminer dans ce délai.
   Une fois l'atelier lancé, vous ne pouvez pas le mettre en pause. Si nécessaire, vous pourrez le redémarrer, mais vous devrez tout reprendre depuis le début.

3. Lorsque vous êtes prêt, cliquez sur Démarrer l'atelier.

4. Notez vos identifiants pour l'atelier (Nom d'utilisateur et Mot de passe). Ils vous serviront à vous connecter à Google Cloud Console.

5. Cliquez sur Ouvrir la console Google.

6. Cliquez sur Utiliser un autre compte, puis copiez-collez les identifiants de cet atelier lorsque vous y êtes invité.
   Si vous utilisez d'autres identifiants, des messages d'erreur s'afficheront ou des frais seront appliqués.

7. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.

Activer Google Cloud Shell

Google Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud.

Google Cloud Shell vous permet d'accéder à vos ressources Google Cloud grâce à une ligne de commande.

1. Dans la barre d'outils située en haut à droite dans la console Cloud, cliquez sur le bouton "Ouvrir Cloud Shell".

   

2. Cliquez sur Continuer.

Le provisionnement et la connexion à l'environnement prennent quelques instants. Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Par exemple :

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

• Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :

Résultat :

Exemple de résultat :

• Vous pouvez lister les ID de projet à l'aide de cette commande :

Résultat :

Exemple de résultat :

Vérifier les autorisations du projet

Avant de commencer à travailler dans Google Cloud, vous devez vous assurer de disposer des autorisations adéquates pour votre projet dans IAM (Identity and Access Management).

1. Dans la console Google Cloud, accédez au menu de navigation (), puis sélectionnez IAM et administration > IAM.

2. Vérifiez que le compte de service Compute par défaut {project-number}-compute@developer.gserviceaccount.com existe et qu'il est associé au rôle editor (éditeur). Le préfixe du compte correspond au numéro du projet, disponible sur cette page : Menu de navigation > Présentation du cloud > Tableau de bord.

1. Dans la console Google Cloud, accédez au menu de navigation et cliquez sur Présentation du cloud > Tableau de bord.
2. Copiez le numéro du projet (par exemple, 729328892908).
3. Dans le menu de navigation, sélectionnez IAM et administration > IAM.
4. Sous Afficher par compte principal, en haut de la table des rôles, cliquez sur Accorder l'accès.
5. Dans le champ Nouveaux comptes principaux, saisissez :

6. Remplacez {project-number} par le numéro de votre projet.
7. Dans le champ Rôle, sélectionnez Projet (ou Basique) > Éditeur.
8. Cliquez sur Enregistrer.

Tâche 1 : Vérifier que l'API Dataflow est activée

• Exécutez le bloc de code suivant dans Cloud Shell :

Tâche 2 : Préparation

Ouvrir le terminal SSH et se connecter à la VM d'entraînement

Vous exécuterez le code depuis une VM dédiée à l'entraînement.

1. Dans la console, accédez au menu de navigation (), puis cliquez sur Compute Engine > Instances de VM.

2. Repérez la ligne comportant l'instance nommée training-vm.

3. Tout à droite de la page, sous Connecter, cliquez sur SSH pour ouvrir une fenêtre de terminal.

4. Dans cet atelier, vous allez saisir les commandes CLI dans l'instance training_vm.

Télécharger le dépôt de code

• Téléchargez le dépôt de code que vous utiliserez dans cet atelier. Dans le terminal SSH de l'instance training-vm, saisissez la commande suivante :

Créer un bucket Cloud Storage

Suivez ces instructions pour créer un bucket.

1. Dans la console, accédez au menu de navigation, puis cliquez sur Cloud Storage > Buckets.

2. Cliquez sur + Créer.

3. Spécifiez les paramètres suivants et conservez les valeurs par défaut des autres paramètres :

4. Cliquez sur Créer.

5. Si l'invite L'accès public sera bloqué s'affiche, sélectionnez Appliquer la protection contre l'accès public sur ce bucket et cliquez sur Confirmer.

Notez le nom de votre bucket. Vous en aurez besoin pour les tâches suivantes.

6. Dans le terminal SSH de l'instance training-vm, saisissez la commande suivante pour créer une variable d'environnement nommée "BUCKET" et vérifiez qu'elle existe à l'aide de la commande "echo" :

Vous pouvez utiliser $BUCKET dans les commandes du terminal. Si vous avez besoin de saisir le nom du bucket <votre-bucket> dans une zone de texte de la console, vous pouvez le récupérer rapidement grâce à la commande echo $BUCKET.

Tâche 3 : Filtrer le pipeline

L'objectif de cet atelier est de vous familiariser avec la structure d'un projet Dataflow et d'apprendre à exécuter un pipeline Dataflow.

1. Retournez dans le terminal SSH de l'instance training-vm, puis accédez au répertoire /training-data-analyst/courses/data_analysis/lab2/python et consultez le fichier grep.py.

2. Pour cela, utilisez Nano. Ne modifiez pas le code :

3. Appuyez sur CTRL+X pour quitter Nano.

Répondez aux questions ci-dessous à propos du fichier grep.py.

• Quels sont les fichiers en cours de lecture ?
• Quel est le terme de recherche ?
• Où est placée la sortie ?

Le pipeline contient trois transformations :

• Que fait la première transformation ?
• Que fait la deuxième transformation ?
• D'où viennent ses données d'entrée ?
• Que fait-elle avec ces données d'entrée ?
• Qu'écrit-elle dans sa sortie ?
• Où est placée la sortie ?
• Que fait la troisième transformation ?

Tâche 4 : Exécuter le pipeline en local

1. Dans le terminal SSH de l'instance training-vm, exécutez grep.py en local :

Le fichier de sortie est output.txt. Si la sortie est longue, elle sera divisée en plusieurs parties nommées par exemple output-00000-of-00001.

2. Localisez le fichier concerné d'après son heure de modification :

3. Examinez le ou les fichiers de sortie.

4. Vous pouvez remplacer "-*" ci-dessous par le suffixe approprié :

Le résultat semble-t-il logique ?

Tâche 5 : Exécuter le pipeline dans le cloud

1. Copiez des fichiers Java dans le cloud. Dans le terminal SSH de l'instance training-vm, saisissez la commande suivante :

2. Modifiez le pipeline Dataflow dans grepc.py en utilisant nano :

3. Remplacez PROJECT, BUCKET et REGION par les valeurs indiquées ci-dessous. Conservez les guillemets simples extérieurs.

Enregistrez le fichier et fermez Nano en appuyant sur CTRL+X, puis saisissez Y et appuyez sur Entrée.

4. Envoyez le job Dataflow dans le cloud :

Ce job étant très petit, l'exécuter dans le cloud est bien plus long que l'exécuter en local (autour de sept à dix minutes).

5. Dans le navigateur, revenez à l'onglet de la console.

6. Dans le menu de navigation, cliquez sur Dataflow, puis sur votre job pour suivre son avancement.

7. Attendez que l'état du job soit Réussi.

8. Examinez la sortie dans le bucket Cloud Storage.

9. Dans le menu de navigation, cliquez sur Cloud Storage > Buckets, puis sur votre bucket.

10. Cliquez sur le répertoire javahelp.

Ce job génère le fichier output.txt. Si le fichier est long, il sera divisé en plusieurs parties nommées par exemple output-0000x-of-000y. Vous pouvez identifier le fichier le plus récent d'après son nom ou son champ Dernière modification.

11. Cliquez sur le fichier pour l'afficher.

Vous pouvez également télécharger le fichier via le terminal SSH de l'instance training-vm et l'afficher à l'aide de la commande suivante :

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur Terminer l'atelier. Google Cloud Skills Boost supprime les ressources que vous avez utilisées, puis efface le compte.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez un nombre d'étoiles, saisissez un commentaire, puis cliquez sur Envoyer.

Le nombre d'étoiles correspond à votre degré de satisfaction :

• 1 étoile = très insatisfait(e)
• 2 étoiles = insatisfait(e)
• 3 étoiles = ni insatisfait(e), ni satisfait(e)
• 4 étoiles = satisfait(e)
• 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez accéder à l'onglet Assistance.

Copyright 2026 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms de société et de produit peuvent être des marques des sociétés auxquelles ils sont associés.