Chargement...
Aucun résultat.

Create a cluster

Vérifier ma progression

/ 50

Submit a job to your cluster

Vérifier ma progression

/ 50

Cet atelier peut intégrer des outils d'IA pour vous accompagner dans votre apprentissage.
Ce contenu n'est pas encore optimisé pour les appareils mobiles.
Pour une expérience optimale, veuillez accéder à notre site sur un ordinateur de bureau en utilisant un lien envoyé par e-mail.

GSP123

Google Cloud – Ateliers d'auto-formation

Présentation

Managed Service pour Apache Spark est un service Spark et Hadoop géré qui vous permet de bénéficier d'outils de données Open Source pour le traitement par lot, l'interrogation, les flux de données et le machine learning. L'automatisation Managed Service pour Apache Spark vous permet de créer des clusters rapidement, de les gérer facilement et de faire des économies en désactivant ceux que vous n'utilisez plus. Vous consacrez moins de temps et d'argent aux fonctions d'administration, ce qui vous permet de vous concentrer sur les jobs et les données.

Cet atelier est une adaptation du guide Créer un cluster Managed Service pour Apache Spark à l'aide de la console Google Cloud.

Points abordés

  • Créer un cluster Managed Service pour Apache Spark (avec Apache Spark préinstallé)
  • Soumettre un job Spark
  • Arrêter votre cluster

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

  • Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).
Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.
  • Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.
Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Démarrer l'atelier et se connecter à la console Google Cloud

  1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la droite, vous trouverez le panneau Préparation et accès à l'atelier, qui contient les éléments suivants :

    • Le bouton Ouvrir la console Google Cloud
    • Les identifiants temporaires (nom d'utilisateur et mot de passe) que vous devez utiliser pour cet atelier
    • Des informations complémentaires vous permettant d'effectuer l'atelier, si nécessaire

    Notez que le minuteur de l'atelier se trouve en haut de la page et indique le temps restant.

  2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans une fenêtre en navigation privée si vous utilisez Chrome).

    L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

    Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

    Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

  3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

    {{{user_0.username | "Username"}}}

    Vous trouverez également le nom d'utilisateur dans le panneau Préparation et accès à l'atelier.

  4. Cliquez sur Suivant.

  5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

    {{{user_0.password | "Password"}}}

    Vous trouverez également le mot de passe dans le panneau Préparation et accès à l'atelier.

  6. Cliquez sur Suivant.

    Important : Vous devez utiliser les identifiants fournis pour l'atelier. N'utilisez pas les identifiants de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires pourront vous être facturés.

  7. Accédez aux pages suivantes :

    • Acceptez les conditions d'utilisation.
    • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
    • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche. Icône du menu de navigation et champ de recherche

Activer Cloud Shell

Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud.

  1. Cliquez sur Activer Cloud Shell Icône Activer Cloud Shell en haut de la console Google Cloud.

  2. Passez les fenêtres suivantes :

    • Accédez à la fenêtre d'informations de Cloud Shell.
    • Autorisez Cloud Shell à utiliser vos identifiants pour effectuer des appels d'API Google Cloud.

Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET : . Le résultat contient une ligne qui déclare l'ID_PROJET pour cette session :

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

  1. (Facultatif) Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :
gcloud auth list
  1. Cliquez sur Autoriser.

Résultat :

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`
  1. (Facultatif) Vous pouvez lister les ID de projet à l'aide de cette commande :
gcloud config list project

Résultat :

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Remarque : Pour consulter la documentation complète sur gcloud, dans Google Cloud, accédez au guide de présentation de la gcloud CLI.

Attribuer un rôle IAM nécessaire au compte de service Compute Engine

Pour attribuer l'autorisation de stockage au compte de service, qui est requise pour créer un cluster :

  1. Dans la console Google Cloud, accédez au menu de navigation (Icône du menu de navigation), puis sélectionnez IAM et administration > IAM.

  2. Cliquez sur Modifier le principal (icône en forme de crayon) pour le compte de service Compute Engine par défaut ([numéro-projet]-compute@developer.gserviceaccount.com).

  3. Cliquez sur + Ajouter un autre rôle.

  4. Dans le champ Sélectionner un rôle, recherchez Administrateur Storage, puis sélectionnez-le dans les résultats.

  5. Cliquez sur Enregistrer.

Tâche 1 : Créer un cluster

  • Dans Cloud Shell, exécutez la commande suivante pour créer votre cluster (si vous y êtes invité, cliquez sur Autoriser) :
gcloud dataproc clusters create {{{project_0.startup_script.cluster_name | CLUSTER_NAME}}} \ --region={{{project_0.startup_script.lab_region | REGION}}} \ --zone={{{project_0.startup_script.lab_zone | ZONE}}} \ --master-machine-type=e2-standard-2 \ --master-boot-disk-size=30GB \ --master-boot-disk-type=pd-standard \ --num-workers=2 \ --worker-machine-type=e2-standard-2 \ --worker-boot-disk-size=30GB \ --worker-boot-disk-type=pd-standard

Attendez quelques minutes que le provisionnement se termine. Une fois l'opération terminée, le résultat confirme que le cluster a été créé :

Waiting on operation [projects/PROJECT_ID/regions/REGION/operations/OPERATION_ID]. Waiting for cluster creation operation...done. Created [https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/clusters/qlab] Cluster placed in zone [ZONE].

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider l'objectif.

Créer un cluster

Tâche 2 : Envoyer un job à votre cluster

  1. Dans la console Google Cloud, accédez au menu de navigation (Menu de navigation), puis cliquez sur Afficher tous les produits. Sous Données analytiques, cliquez sur Managed Apache Spark.

Menu de navigation développé avec le sous-menu "Managed Apache Spark" et l'option "Cluster" mis en surbrillance

  1. Sélectionnez Jobs pour passer à la vue des jobs Managed Service pour Apache Spark :

Menu "Managed Service pour Apache Spark" développé avec l'option "Jobs" mise en surbrillance

  1. Cliquez sur Envoyer un job :

Page "Managed Service pour Apache Spark" avec le bouton "Envoyer un job" mis en surbrillance

  1. Définissez les valeurs des paramètres listés ci-dessous et conservez les paramètres par défaut pour les autres :
Paramètre Valeur
Région
Cluster
Type de job
Classe principale ou fichier JAR
Fichiers JAR
Arguments
  1. Cliquez sur Envoyer.

Votre job doit apparaître dans la liste Jobs, qui affiche tous les jobs de votre projet avec leur cluster, leur type et leur état actuel. Le nouveau job s'affiche comme "En cours d'exécution". Lorsque l'état "Réussite" s'affiche, vous pouvez passer à l'étape suivante.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée.

Envoyer un job à votre cluster
  1. Pour voir le résultat du job terminé, cliquez sur l'ID du job dans la liste Jobs :

Page "Jobs" affichant l'état "Réussite" pour le job 11c593c3

  1. Pour éviter de devoir faire défiler la page, sélectionnez Renvoi à la ligne sur ACTIVÉ :

Option "Renvoi à la ligne : activé" mise en surbrillance sur la page "Résultat du job"

Vous pouvez constater que votre job est parvenu à calculer une valeur approximative de pi !

Tâche 3 : Arrêter votre cluster

  1. Vous pouvez arrêter un cluster sur la page "Clusters" :

Menu "Managed Service pour Apache Spark" avec l'option "Clusters" mise en surbrillance

  1. Cochez la case à côté du cluster qlab, puis cliquez sur Supprimer :

Page "Clusters" avec le bouton "Supprimer" mis en surbrillance

  1. Cliquez sur CONFIRMER pour confirmer la suppression.

Tâche 4 : Tester vos connaissances

Voici quelques questions à choix multiples visant à consolider vos acquis sur les concepts abordés lors de cet atelier. Répondez-y du mieux que vous le pouvez.

Félicitations !

Vous savez désormais comment créer un cluster Managed Service pour Apache Spark, envoyer un job Spark et arrêter votre cluster.

Étapes suivantes et informations supplémentaires

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 18 mai 2026

Dernier test de l'atelier : 28 avril 2026

Copyright 2026 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.

Avant de commencer

  1. Les ateliers créent un projet Google Cloud et des ressources pour une durée déterminée.
  2. Les ateliers doivent être effectués dans le délai imparti et ne peuvent pas être mis en pause. Si vous quittez l'atelier, vous devrez le recommencer depuis le début.
  3. En haut à gauche de l'écran, cliquez sur Démarrer l'atelier pour commencer.

Utilisez la navigation privée

  1. Copiez le nom d'utilisateur et le mot de passe fournis pour l'atelier
  2. Cliquez sur Ouvrir la console en navigation privée

Connectez-vous à la console

  1. Connectez-vous à l'aide des identifiants qui vous ont été attribués pour l'atelier. L'utilisation d'autres identifiants peut entraîner des erreurs ou des frais.
  2. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.
  3. Ne cliquez pas sur Terminer l'atelier, à moins que vous n'ayez terminé l'atelier ou que vous ne vouliez le recommencer, car cela effacera votre travail et supprimera le projet.

Ce contenu n'est pas disponible pour le moment

Nous pouvons vous prévenir par e-mail lorsqu'il sera disponible

Parfait !

Nous pouvons vous contacter par e-mail s'il devient disponible

Un atelier à la fois

Confirmez pour mettre fin à tous les ateliers existants et démarrer celui-ci

Utilisez la navigation privée pour effectuer l'atelier

Le meilleur moyen d'exécuter cet atelier consiste à utiliser une fenêtre de navigation privée. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.