Instructions et exigences de configuration de l'atelier
Protégez votre compte et votre progression. Utilisez toujours une fenêtre de navigation privée et les identifiants de l'atelier pour exécuter cet atelier.

Créer un lac de données en flux continu sur Cloud Storage : atelier challenge

Atelier 45 minutes universal_currency_alt 1 crédit show_chart Débutant
info Cet atelier peut intégrer des outils d'IA pour vous accompagner dans votre apprentissage.
Ce contenu n'est pas encore optimisé pour les appareils mobiles.
Pour une expérience optimale, veuillez accéder à notre site sur un ordinateur de bureau en utilisant un lien envoyé par e-mail.

ARC110

Logo des ateliers d'auto-formation Google Cloud

Présentation

Dans un atelier challenge, vous devez suivre un scénario et effectuer une série de tâches. Aucune instruction détaillée n'est fournie : vous devez utiliser les compétences acquises au cours des ateliers du cours correspondant pour déterminer comment procéder par vous-même. Vous saurez si vous avez exécuté correctement les différentes tâches grâce au score calculé automatiquement (affiché sur cette page).

Lorsque vous participez à un atelier challenge, vous n'étudiez pas de nouveaux concepts Google Cloud. Vous allez approfondir les compétences précédemment acquises. Par exemple, vous devrez modifier les valeurs par défaut ou encore examiner des messages d'erreur pour corriger vous-même les problèmes.

Pour atteindre le score de 100 %, vous devez mener à bien l'ensemble des tâches dans le délai imparti.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

  • Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).
Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.
  • Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.
Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Scénario du challenge

Vous venez d'être embauché en tant qu'ingénieur de données junior. Jusqu'à présent, vous avez aidé des équipes à créer et gérer des données à l'aide de Pub/Sub, Dataflow et Cloud Storage.

Vous êtes censé disposer des compétences et des connaissances requises pour ces tâches.

Votre challenge

Il vous est demandé d'aider une équipe de développement récemment constituée à lancer un nouveau projet pour diffuser en flux continu des messages en direct. Vous devez aider l'équipe à simuler la diffusion en flux continu de messages en direct dans Cloud Storage à l'aide de Pub/Sub et Dataflow. Pour cela, vous devez effectuer les tâches suivantes :

  • Utiliser la ligne de commande pour créer un sujet Pub/Sub
  • Utiliser la ligne de commande pour créer un job Cloud Scheduler qui publie des messages dans Pub/Sub à intervalles réguliers
  • Utiliser la ligne de commande pour créer un bucket Cloud Storage qui servira de destination de sortie pour un job Dataflow
  • Utiliser la ligne de commande pour créer et exécuter un job Dataflow afin de diffuser les données en flux continu d'un sujet Pub/Sub vers un bucket Cloud Storage, puis de vérifier les fichiers de sortie dans le bucket Cloud Storage

Voici quelques normes que vous devez respecter :

  • Vérifiez que toutes les API nécessaires (par exemple, Dataflow) sont activées.
  • Sauf instruction contraire, créez toutes les ressources dans la région .
  • Effectuez l'atelier challenge dans Cloud Shell plutôt que dans la console, sauf indication contraire.
Remarque : Assurez-vous de désactiver et réactiver l'API Dataflow avant d'exécuter le pipeline Dataflow.

Chaque tâche est décrite en détail ci-dessous. Bonne chance !

Tâche 1 : Créer un sujet Pub/Sub

  • Utilisez la ligne de commande pour créer un sujet Pub/Sub appelé .

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un sujet Pub/Sub

Tâche 2 : Créer un job Cloud Scheduler

  1. Utilisez la ligne de commande pour créer une application App Engine pour votre projet.
  2. Utilisez la ligne de commande pour créer un job Cloud Scheduler dans ce projet afin de publier des messages à des intervalles d'une minute sur le sujet Pub/Sub créé lors de la tâche 1. Corps du message : .
  3. Utilisez la ligne de commande pour démarrer le job Cloud Scheduler.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un job Cloud Scheduler

Tâche 3 : Créer un bucket Cloud Storage

  • Utilisez la ligne de commande pour créer un bucket Cloud Storage avec le nom de bucket suivant :

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un bucket Cloud Storage

Tâche 4 : Exécuter un pipeline Dataflow pour diffuser des données en flux continu d'un sujet Pub/Sub vers Cloud Storage

  1. Utilisez la ligne de commande pour créer et exécuter un job Dataflow afin de diffuser des données en flux continu d'un sujet Pub/Sub vers un bucket Cloud Storage.
  • Utilisez un script Java ou Python, selon votre préférence. Exemples de code disponibles sur les pages GitHub : java-docs-samples, python-docs-samples.
  • Utilisez le sujet Pub/Sub que vous avez créé lors de la tâche 1.
  • Utilisez le bucket Cloud Storage que vous avez créé lors de la tâche 3 comme emplacement de sortie.
  • Regroupez les messages sur la base d'un intervalle fixe de deux minutes.
  1. Utilisez la ligne de commande pour vérifier quels fichiers ont été écrits dans Cloud Storage.

Cliquez sur Vérifier ma progression pour valider l'objectif. Exécuter un pipeline Dataflow pour diffuser des données en flux continu d'un sujet Pub/Sub vers Cloud Storage

Félicitations !

Badge "Créer un lac de données en flux continu sur Cloud Storage"

Gagnez un badge de compétence

Cet atelier d'auto-formation fait partie de la quête Créer un lac de données en flux continu sur Cloud Storage. Si vous terminez cette quête, vous obtiendrez le badge de compétence ci-dessus attestant de votre réussite. Ajoutez votre badge à votre CV et partagez-le sur les réseaux sociaux en utilisant le hashtag #GoogleCloudBadge.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 20 septembre 2023

Dernier test de l'atelier : 20 septembre 2023

Copyright 2025 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.

Avant de commencer

  1. Les ateliers créent un projet Google Cloud et des ressources pour une durée déterminée.
  2. Les ateliers doivent être effectués dans le délai imparti et ne peuvent pas être mis en pause. Si vous quittez l'atelier, vous devrez le recommencer depuis le début.
  3. En haut à gauche de l'écran, cliquez sur Démarrer l'atelier pour commencer.

Utilisez la navigation privée

  1. Copiez le nom d'utilisateur et le mot de passe fournis pour l'atelier
  2. Cliquez sur Ouvrir la console en navigation privée

Connectez-vous à la console

  1. Connectez-vous à l'aide des identifiants qui vous ont été attribués pour l'atelier. L'utilisation d'autres identifiants peut entraîner des erreurs ou des frais.
  2. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.
  3. Ne cliquez pas sur Terminer l'atelier, à moins que vous n'ayez terminé l'atelier ou que vous ne vouliez le recommencer, car cela effacera votre travail et supprimera le projet.

Ce contenu n'est pas disponible pour le moment

Nous vous préviendrons par e-mail lorsqu'il sera disponible

Parfait !

Nous vous contacterons par e-mail s'il devient disponible

Un atelier à la fois

Confirmez pour mettre fin à tous les ateliers existants et démarrer celui-ci

Utilisez la navigation privée pour effectuer l'atelier

Ouvrez une fenêtre de navigateur en mode navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.