ARC106

Présentation

Dans un atelier challenge, vous devez suivre un scénario et effectuer une série de tâches. Aucune instruction détaillée n'est fournie : vous devez utiliser les compétences acquises au cours des ateliers du cours correspondant pour déterminer comment procéder par vous-même. Vous saurez si vous avez exécuté correctement les différentes tâches grâce au score calculé automatiquement (affiché sur cette page).

Lorsque vous participez à un atelier challenge, vous n'étudiez pas de nouveaux concepts Google Cloud. Vous allez approfondir les compétences précédemment acquises. Par exemple, vous devrez modifier les valeurs par défaut ou encore examiner des messages d'erreur pour corriger vous-même les problèmes.

Pour atteindre le score de 100 %, vous devez mener à bien l'ensemble des tâches dans le délai imparti.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).

Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Scénario du challenge

Vous venez d'être embauché en tant qu'ingénieur de données junior. Jusqu'à présent, vous avez aidé des équipes à créer et gérer des données à l'aide de BigQuery, Pub/Sub et Dataflow.

Vous êtes censé disposer des compétences et des connaissances requises pour ces tâches.

Votre challenge

Il vous est demandé d'aider une équipe de développement récemment constituée à lancer un nouveau projet portant sur des données en temps réel de capteurs environnementaux. Vous devez aider l'équipe pour l'ingestion en streaming des données de température dans BigQuery à l'aide de Pub/Sub et Dataflow. Pour cela, vous devez effectuer les tâches suivantes :

• Créer un bucket Cloud Storage qui servira d'emplacement temporaire pour un job Dataflow.
• Créer un ensemble de données et une table BigQuery pour recevoir les données en streaming.
• Créer un sujet Pub/Sub et tester la publication de messages dans ce sujet.
• Créer et exécuter un job Dataflow pour le streaming des données depuis un sujet Pub/Sub vers BigQuery.
• Exécuter une requête pour valider les données en streaming.

Voici quelques normes que vous devez respecter :

• Vérifiez que toutes les API nécessaires (par exemple, Dataflow) sont activées.
• Sauf instruction contraire, créez toutes les ressources dans la région .

Chaque tâche est décrite en détail ci-dessous. Bonne chance !

Tâche 1 : Créer un bucket Cloud Storage

• Créez un bucket Cloud Storage en utilisant votre ID de projet comme nom de bucket :

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un bucket Cloud Storage

Tâche 2 : Créer un ensemble de données et une table BigQuery

1. Créez un ensemble de données BigQuery nommé dans la région nommée US (multirégional).

2. Dans l'ensemble de données créé, créez une table nommée et ajoutez une colonne data de type STRING.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un ensemble de données et une table BigQuery

Tâche 3 : Configurer un sujet Pub/Sub

1. Créez un sujet Pub/Sub nommé .

• Utilisez les paramètres par défaut, qui activent la case à cocher Ajouter un abonnement par défaut.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un sujet Pub/Sub

Tâche 4 : Exécuter un pipeline Dataflow pour le streaming des données depuis Pub/Sub vers BigQuery

1. Créez et exécutez un job Dataflow nommé pour le streaming des données depuis le sujet Pub/Sub vers BigQuery, en utilisant le sujet Pub/Sub et la table BigQuery que vous avez créés dans les tâches précédentes.

• Utilisez le modèle Dataflow personnalisé.

• Utilisez le chemin d'accès ci-dessous pour le fichier de modèle stocké dans Cloud Storage :

  gs://dataflow-templates-{{{project_0.default_region | Region }}}/latest/PubSub_to_BigQuery

• Utilisez le sujet Pub/Sub que vous avez créé dans une tâche précédente :

• Utilisez le bucket Cloud Storage que vous avez créé dans une tâche précédente comme emplacement temporaire :

• Utilisez l'ensemble de données et la table BigQuery que vous avez créés lors d'une tâche précédente comme table de sortie : .

• Utilisez comme point de terminaison régional.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un pipeline Dataflow pour le streaming des données depuis Pub/Sub vers BigQuery

Tâche 5 : Publier un message de test dans le sujet et valider les données dans BigQuery

1. Publiez un message dans votre sujet en utilisant la syntaxe de code suivante pour Message : {"data": "73.4 F"}

• Remarque : 73,4 °F peut être remplacé par n'importe quelle valeur.

2. Exécutez une instruction SELECT dans BigQuery pour voir le message de test dans votre table.

Remarque : Si vous ne voyez aucun message de test dans votre table BigQuery, vérifiez que le job Dataflow est à l'état En cours d'exécution, puis envoyez un autre message de test.

Cliquez sur Vérifier ma progression pour valider l'objectif. Publier un message de test dans le sujet et valider les données dans BigQuery

Félicitations !

Félicitations ! Dans cet atelier, vous avez créé un bucket Cloud Storage, un ensemble de données et une table BigQuery, un sujet Pub/Sub et un job Dataflow pour le streaming des données depuis Pub/Sub vers BigQuery. Vous avez également publié un message de test dans le sujet et validé les données dans BigQuery.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 17 juillet 2024

Dernier test de l'atelier : 21 mars 2024

Copyright 2025 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.