Présentation

Dans cet atelier, vous allez ouvrir un projet Dataflow, filtrer le pipeline et l'exécuter en local et dans le cloud.

• Ouvrir un projet Dataflow

• Filtrer le pipeline

• Exécuter le pipeline en local et dans le cloud

Objectif

Dans cet atelier, vous allez découvrir comment écrire un pipeline Dataflow simple, et comment l'exécuter en local et dans le cloud.

• Configurer un projet Dataflow en Python à l'aide d'Apache Beam

• Créer un pipeline simple en Python

• Exécuter la requête sur la machine locale

• Exécuter la requête dans le cloud

Prérequis

Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.

1. Connectez-vous à Qwiklabs dans une fenêtre de navigation privée.

2. Vérifiez le temps imparti pour l'atelier (par exemple : 01:15:00) : vous devez pouvoir le terminer dans ce délai.
   Une fois l'atelier lancé, vous ne pouvez pas le mettre en pause. Si nécessaire, vous pourrez le redémarrer, mais vous devrez tout reprendre depuis le début.

3. Lorsque vous êtes prêt, cliquez sur Démarrer l'atelier.

4. Notez vos identifiants pour l'atelier (Nom d'utilisateur et Mot de passe). Ils vous serviront à vous connecter à Google Cloud Console.

5. Cliquez sur Ouvrir la console Google.

6. Cliquez sur Utiliser un autre compte, puis copiez-collez les identifiants de cet atelier lorsque vous y êtes invité.
   Si vous utilisez d'autres identifiants, des messages d'erreur s'afficheront ou des frais seront appliqués.

7. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.

Vérifier les autorisations du projet

Avant de commencer à travailler dans Google Cloud, vous devez vous assurer de disposer des autorisations adéquates pour votre projet dans IAM (Identity and Access Management).

1. Dans la console Google Cloud, accédez au menu de navigation (), puis sélectionnez IAM et administration > IAM.

2. Vérifiez que le compte de service Compute par défaut {project-number}-compute@developer.gserviceaccount.com existe et qu'il est associé au rôle editor (éditeur). Le préfixe du compte correspond au numéro du projet, disponible sur cette page : Menu de navigation > Présentation du cloud > Tableau de bord.

1. Dans la console Google Cloud, accédez au menu de navigation et cliquez sur Présentation du cloud > Tableau de bord.
2. Copiez le numéro du projet (par exemple, 729328892908).
3. Dans le menu de navigation, sélectionnez IAM et administration > IAM.
4. Sous Afficher par compte principal, en haut de la table des rôles, cliquez sur Accorder l'accès.
5. Dans le champ Nouveaux comptes principaux, saisissez :

6. Remplacez {project-number} par le numéro de votre projet.
7. Dans le champ Rôle, sélectionnez Projet (ou Basique) > Éditeur.
8. Cliquez sur Enregistrer.

Tâche 1 : Vérifier que l'API Dataflow est activée

Pour vous assurer que vous avez bien accès à l'API requise, redémarrez la connexion à l'API Dataflow.

1. Dans Cloud Console, saisissez API Dataflow dans la barre de recherche en haut de la page.

2. Cliquez sur API Dataflow dans les résultats.

3. Cliquez sur Gérer.

4. Cliquez sur Désactiver l'API.

5. Si vous êtes invité à confirmer votre choix, cliquez sur Désactiver.

6. Cliquez sur Activer.

Tâche 2 : Préparation

Ouvrir le terminal SSH et se connecter à la VM d'entraînement

Vous exécuterez le code depuis une VM dédiée à l'entraînement.

1. Dans la console, accédez au menu de navigation (), puis cliquez sur Compute Engine > Instances de VM.

2. Repérez la ligne comportant l'instance nommée training-vm.

3. Tout à droite de la page, sous Connecter, cliquez sur SSH pour ouvrir une fenêtre de terminal.

4. Dans cet atelier, vous allez saisir les commandes CLI dans l'instance training_vm.

Télécharger le dépôt de code

1. Maintenant, vous allez télécharger le dépôt de code que vous utiliserez dans cet atelier. Dans le terminal SSH de l'instance training-vm, saisissez la commande suivante :

Créer un bucket Cloud Storage

Suivez ces instructions pour créer un bucket.

1. Dans la console, accédez au menu de navigation, puis cliquez sur Accueil.

2. Sélectionnez et copiez l'ID du projet.

Pour plus de simplicité, vous utiliserez comme nom de bucket l'ID du projet Qwiklabs, qui est déjà unique.

3. Dans la console, accédez au menu de navigation, puis cliquez sur Cloud Storage > Navigateur.
4. Cliquez sur Créer un bucket.
5. Spécifiez les paramètres suivants et conservez les valeurs par défaut pour les autres champs :

6. Cliquez sur Créer.

Notez le nom de votre bucket. Vous en aurez besoin pour les tâches suivantes.

7. Dans le terminal SSH de l'instance training-vm, saisissez la commande suivante pour créer une variable d'environnement nommée "BUCKET" et vérifiez qu'elle existe à l'aide de la commande "echo".

Vous pouvez utiliser $BUCKET dans les commandes du terminal. Si vous avez besoin de saisir le nom du bucket <votre-bucket> dans une zone de texte de la console, vous pouvez le récupérer rapidement grâce à la commande echo $BUCKET.

Tâche 3 : Filtrer le pipeline

L'objectif de cet atelier est de vous familiariser avec la structure d'un projet Dataflow et d'apprendre à exécuter un pipeline Dataflow.

1. Retournez dans le terminal SSH de l'instance training-vm, puis accédez au répertoire /training-data-analyst/courses/data_analysis/lab2/python et consultez le fichier grep.py.

Pour cela, utilisez Nano. Ne modifiez pas le code. Appuyez sur Ctrl+X pour quitter Nano.

Répondez aux questions ci-dessous à propos du fichier grep.py.

• Quels sont les fichiers en cours de lecture ?
• Quel est le terme de recherche ?
• Où est placé le résultat ?

Le pipeline contient trois transformations :

• Que fait la première transformation ?

• Que fait la deuxième transformation ?

• D'où viennent ses données d'entrée ?

• Que fait-elle avec ces données d'entrée ?

• Qu'écrit-elle dans son résultat ?

• Où est placé le résultat ?

• Que fait la troisième transformation ?

Tâche 4 : Exécuter le pipeline en local

1. Dans le terminal SSH de l'instance training-vm, exécutez grep.py en local.

Le fichier de sortie est output.txt. Si le résultat est long, il sera divisé en plusieurs parties nommées par exemple output-00000-of-00001.

2. Localisez le fichier concerné d'après son heure de modification.

3. Examinez le ou les fichiers de sortie.

4. Vous pouvez remplacer "-*" ci-dessous par le suffixe approprié.

Le résultat semble-t-il logique ?

Tâche 5 : Exécuter le pipeline dans le cloud

1. Copiez des fichiers Java dans le cloud. Dans le terminal SSH de l'instance training-vm, saisissez la commande suivante :

Cliquez sur Vérifier ma progression pour vérifier l'objectif.

2. Modifiez le pipeline Dataflow dans grepc.py avec Nano.

3. Remplacez "PROJECT" et "BUCKET" par l'ID de votre projet et le nom de votre bucket.

Exemples de chaînes avant la modification :

Exemples de chaînes après la modification (utilisez vos valeurs) :

Enregistrez le fichier et quittez Nano en appuyant sur CTRL+X, sur Y, puis sur Entrée.

4. Envoyez la tâche Dataflow dans le cloud :

Cette tâche étant très petite, l'exécuter dans le cloud est bien plus long que l'exécuter en local (autour de sept à dix minutes).

5. Dans le navigateur, revenez à l'onglet de la console.

6. Dans le menu de navigation, cliquez sur Dataflow, puis sur votre tâche pour suivre son avancement.

Exemple :

Cliquez sur Vérifier ma progression pour vérifier l'objectif.

8. Attendez que la tâche ait l'état Réussie.

9. Examinez le résultat dans le bucket Cloud Storage.

10. Dans le menu de navigation, cliquez sur Cloud Storage > Navigateur, puis sur votre bucket.

11. Cliquez sur le répertoire javahelp.

Cette tâche génère le fichier output.txt. Si le fichier est long, il sera divisé en plusieurs parties nommées par exemple output-0000x-of-000y. Vous pouvez identifier le fichier le plus récent d'après son nom ou son champ Dernière modification.

12. Cliquez sur le fichier pour l'afficher.

Vous pouvez également télécharger le fichier via le terminal SSH de l'instance training-vm et l'afficher à l'aide de la commande suivante :

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur Terminer l'atelier. Google Cloud Skills Boost supprime les ressources que vous avez utilisées, puis efface le compte.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez un nombre d'étoiles, saisissez un commentaire, puis cliquez sur Envoyer.

Le nombre d'étoiles correspond à votre degré de satisfaction :

• 1 étoile = très insatisfait(e)
• 2 étoiles = insatisfait(e)
• 3 étoiles = ni insatisfait(e), ni satisfait(e)
• 4 étoiles = satisfait(e)
• 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez accéder à l'onglet Assistance.

Copyright 2026 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms de société et de produit peuvent être des marques des sociétés auxquelles ils sont associés.