Chargement...
Aucun résultat.

Create a cluster

Vérifier ma progression

/ 50

Submit a job

Vérifier ma progression

/ 30

Update a cluster

Vérifier ma progression

/ 20

Cet atelier peut intégrer des outils d'IA pour vous accompagner dans votre apprentissage.
Ce contenu n'est pas encore optimisé pour les appareils mobiles.
Pour une expérience optimale, veuillez accéder à notre site sur un ordinateur de bureau en utilisant un lien envoyé par e-mail.

GSP103

Google Cloud – Ateliers d'auto-formation

Présentation

Managed Service pour Apache Spark est un service cloud rapide, facile à utiliser et entièrement géré permettant d'exécuter de manière plus simple et plus rentable les clusters Apache Spark et Apache Hadoop. Les opérations qui prenaient auparavant des heures ou des jours sont maintenant l'affaire de quelques minutes ou secondes. Créez rapidement des clusters Managed Service pour Apache Spark, puis redimensionnez-les à tout moment afin que vos pipelines de données ne saturent pas vos clusters.

Cet atelier vous montre comment utiliser la console Google Cloud pour créer un cluster Managed Service pour Apache Spark, exécuter un job Apache Spark simple dans le cluster, puis modifier le nombre de nœuds de calcul dans le cluster.

Objectifs de l'atelier

Dans cet atelier, vous allez apprendre à :

  • créer un cluster Managed Service pour Apache Spark dans la console Google Cloud ;
  • exécuter un job Apache Spark simple ;
  • modifier le nombre de nœuds de calcul dans le cluster.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

  • Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).
Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.
  • Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.
Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Démarrer l'atelier et se connecter à la console Google Cloud

  1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la droite, vous trouverez le panneau Préparation et accès à l'atelier, qui contient les éléments suivants :

    • Le bouton Ouvrir la console Google Cloud
    • Les identifiants temporaires (nom d'utilisateur et mot de passe) que vous devez utiliser pour cet atelier
    • Des informations complémentaires vous permettant d'effectuer l'atelier, si nécessaire

    Notez que le minuteur de l'atelier se trouve en haut de la page et indique le temps restant.

  2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans une fenêtre en navigation privée si vous utilisez Chrome).

    L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

    Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

    Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

  3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

    {{{user_0.username | "Username"}}}

    Vous trouverez également le nom d'utilisateur dans le panneau Préparation et accès à l'atelier.

  4. Cliquez sur Suivant.

  5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

    {{{user_0.password | "Password"}}}

    Vous trouverez également le mot de passe dans le panneau Préparation et accès à l'atelier.

  6. Cliquez sur Suivant.

    Important : Vous devez utiliser les identifiants fournis pour l'atelier. N'utilisez pas les identifiants de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires pourront vous être facturés.

  7. Accédez aux pages suivantes :

    • Acceptez les conditions d'utilisation.
    • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
    • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche. Icône du menu de navigation et champ de recherche

Activer Cloud Shell

Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud.

  1. Cliquez sur Activer Cloud Shell Icône Activer Cloud Shell en haut de la console Google Cloud.

  2. Passez les fenêtres suivantes :

    • Accédez à la fenêtre d'informations de Cloud Shell.
    • Autorisez Cloud Shell à utiliser vos identifiants pour effectuer des appels d'API Google Cloud.

Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET : . Le résultat contient une ligne qui déclare l'ID_PROJET pour cette session :

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

  1. (Facultatif) Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :
gcloud auth list
  1. Cliquez sur Autoriser.

Résultat :

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`
  1. (Facultatif) Vous pouvez lister les ID de projet à l'aide de cette commande :
gcloud config list project

Résultat :

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Remarque : Pour consulter la documentation complète sur gcloud, dans Google Cloud, accédez au guide de présentation de la gcloud CLI.

Vérifier que l'API Cloud Dataproc est activée

Pour créer un cluster Managed Service pour Apache Spark dans Google Cloud, l'API Cloud Dataproc doit être activée. Pour le vérifier :

  1. Cliquez sur le menu de navigation > API et services > Bibliothèque.

  2. Saisissez API Cloud Dataproc dans la boîte de dialogue Rechercher des API et des services. La console affiche l'API Cloud Dataproc dans les résultats de la recherche.

  3. Cliquez sur API Cloud Dataproc pour connaître l'état de l'API. Si elle n'est pas déjà activée, cliquez sur le bouton Activer.

Une fois l'API activée, suivez les instructions de l'atelier.

Attribuer un rôle IAM nécessaire au compte de service Compute Engine

  1. Dans la console Google Cloud, accédez au menu de navigation (Icône du menu de navigation), puis sélectionnez IAM et administration > IAM.

  2. Cliquez sur Modifier le principal (icône en forme de crayon) pour le compte de service Compute Engine par défaut ([numéro-projet]-compute@developer.gserviceaccount.com).

  3. Cliquez sur + Ajouter un autre rôle.

  4. Dans le champ Sélectionner un rôle, recherchez Administrateur Storage, puis sélectionnez-le dans les résultats.

  5. Cliquez sur Enregistrer.

Tâche 1 : Créer un cluster

  1. Dans Cloud Shell, exécutez la commande ci-après pour créer un cluster appelé example-cluster avec des VM e2-standard-2 et des disques persistants standards de 30 Go :
gcloud dataproc clusters create example-cluster \ --region={{{ project_0.default_region }}} \ --zone={{{ project_0.default_zone }}} \ --master-machine-type=e2-standard-2 \ --master-boot-disk-type=pd-standard \ --master-boot-disk-size=30GB \ --worker-machine-type=e2-standard-2 \ --worker-boot-disk-type=pd-standard \ --worker-boot-disk-size=30GB \ --num-workers=2
  1. Si vous êtes invité à confirmer une zone ou à autoriser Cloud Shell, saisissez Y ou cliquez sur Autoriser.

La création de votre cluster prend quelques minutes. Le résultat de la commande affiche Created [... example-cluster] une fois que le cluster est prêt.

Cliquez sur Vérifier ma progression pour valider la tâche exécutée.

Créer un cluster

Tâche 2 : Envoyer un job

Pour exécuter un exemple de job Spark :

  1. Dans la console Google Cloud, accédez au menu de navigation (Icône du menu de navigation), puis cliquez sur Afficher tous les produits. Ensuite, dans la section Analytics, cliquez sur Apache Spark géré > Clusters.

Le cluster example-cluster que vous venez de créer doit s'afficher avec l'état En cours d'exécution.

  1. Cliquez sur Jobs dans le volet de gauche pour passer à l'affichage des jobs de Managed Service pour Apache Spark, puis cliquez sur Envoyer un job.

  2. Définissez les champs suivants pour mettre le job à jour. Acceptez les valeurs par défaut pour tous les autres champs :

Champ Valeur
Région
Cluster example-cluster
Type de job Spark
Classe principale ou fichier JAR org.apache.spark.examples.SparkPi
Fichiers JAR file:///usr/lib/spark/examples/jars/spark-examples.jar
Arguments 1000 (définit le nombre de tâches)
  1. Cliquez sur Envoyer.
Remarque – Méthode de calcul de pi : le job Spark estime une valeur de pi en utilisant la méthode de Monte-Carlo. Elle génère des points x,y sur un plan de coordonnées modélisant un cercle inscrit dans un carré unité. L'argument d'entrée (1000) détermine le nombre de paires x,y à générer. Plus le nombre de paires générées est élevé, plus l'estimation est précise. Cette estimation s'appuie sur les nœuds de calcul Managed Service pour Apache Spark afin de charger le calcul en parallèle. Pour en savoir plus, consultez la page consacrée au calcul de pi à l'aide de la méthode de Monte-Carlo et celle concernant JavaSparkPi.java sur GitHub.

Votre job doit apparaître dans la liste Jobs, qui affiche les jobs de votre projet avec son cluster, son type et son état actuel. L'état du job indique Exécution, puis Réussi une fois l'opération terminée.

Cliquez sur Vérifier ma progression pour valider la tâche exécutée.

Envoyer un job

Tâche 3 : Afficher le résultat du job

Pour voir le résultat du job terminé, procédez comme suit :

  1. Cliquez sur l'ID du job dans la liste Jobs.

  2. Sélectionnez Retour à la ligne : activé ou faites défiler la page vers la droite pour afficher la valeur calculée de pi. Le résultat avec Retour à la ligne : activé ressemble en principe à ce qui suit :

Sortie

Votre job est parvenu à calculer une valeur approximative de pi !

Tâche 4 : Mettre à jour un cluster pour modifier le nombre de nœuds de calcul

Pour modifier le nombre d'instances de nœuds de calcul dans votre cluster, procédez comme suit :

  1. Sélectionnez Clusters dans le volet de navigation de gauche pour revenir à la vue des clusters Managed Service pour Apache Spark.

  2. Cliquez sur example-cluster dans la liste Clusters. Par défaut, la page présente un aperçu de l'utilisation du processeur de votre cluster.

  3. Cliquez sur Configuration pour afficher les paramètres actuels de votre cluster.

  4. Cliquez sur Modifier. Vous pouvez maintenant modifier le nombre de nœuds de calcul.

  5. Saisissez 4 dans le champ Nœuds de calcul.

  6. Cliquez sur Enregistrer.

Votre cluster est maintenant mis à jour. Vérifiez le nombre d'instances de VM dans le cluster.

Cliquez sur Vérifier ma progression pour valider la tâche exécutée.

Mettre à jour un cluster

  1. Pour réexécuter le job une fois le cluster mis à jour, cliquez sur Jobs dans le volet de gauche, puis sur ENVOYER UN JOB.

  2. Définissez les mêmes champs que ceux configurés à la section Envoyer un job :

Champ Valeur
Région
Cluster example-cluster
Type de job Spark
Classe principale ou fichier JAR org.apache.spark.examples.SparkPi
Fichiers JAR file:///usr/lib/spark/examples/jars/spark-examples.jar
Arguments 1000 (définit le nombre de tâches)
  1. Cliquez sur Envoyer.

Tâche 5 : Tester vos connaissances

Voici quelques questions à choix multiples visant à consolider vos acquis sur les concepts abordés lors de cet atelier. Répondez-y du mieux que vous le pouvez.

Félicitations !

Vous savez désormais créer et mettre à jour un cluster Managed Service pour Apache Spark, puis envoyer un job dans ce cluster, à l'aide de la console Google Cloud.

Étapes suivantes et informations supplémentaires

Cet atelier fait partie d'une série appelée "Qwik Starts". Les ateliers de cette série sont conçus pour vous donner un aperçu des nombreuses fonctionnalités proposées par Google Cloud. Consultez le catalogue pour trouver votre prochain atelier.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 27 août 2026

Dernier test de l'atelier : 27 août 2026

Copyright 2026 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.

Avant de commencer

  1. Les ateliers créent un projet Google Cloud et des ressources pour une durée déterminée.
  2. Les ateliers doivent être effectués dans le délai imparti et ne peuvent pas être mis en pause. Si vous quittez l'atelier, vous devrez le recommencer depuis le début.
  3. En haut à gauche de l'écran, cliquez sur Démarrer l'atelier pour commencer.

Utilisez la navigation privée

  1. Copiez le nom d'utilisateur et le mot de passe fournis pour l'atelier
  2. Cliquez sur Ouvrir la console en navigation privée

Connectez-vous à la console

  1. Connectez-vous à l'aide des identifiants qui vous ont été attribués pour l'atelier. L'utilisation d'autres identifiants peut entraîner des erreurs ou des frais.
  2. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.
  3. Ne cliquez pas sur Terminer l'atelier, à moins que vous n'ayez terminé l'atelier ou que vous ne vouliez le recommencer, car cela effacera votre travail et supprimera le projet.

Ce contenu n'est pas disponible pour le moment

Nous pouvons vous prévenir par e-mail lorsqu'il sera disponible

Parfait !

Nous pouvons vous contacter par e-mail s'il devient disponible

Un atelier à la fois

Confirmez pour mettre fin à tous les ateliers existants et démarrer celui-ci

Utilisez la navigation privée pour effectuer l'atelier

Le meilleur moyen d'exécuter cet atelier consiste à utiliser une fenêtre de navigation privée. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.