GSP104

Panoramica

Managed Service for Apache Spark è un servizio cloud completamente gestito, veloce e intuitivo, da utilizzare per eseguire cluster Apache Spark e Apache Hadoop in modo più semplice ed economico. Ora puoi eseguire in pochi secondi o minuti operazioni che prima richiedevano ore o giorni. Puoi creare rapidamente cluster Managed Service for Apache Spark e ridimensionarli in qualsiasi momento, così non dovrai preoccuparti che le pipeline di dati superino le dimensioni dei cluster.

Questo lab illustra come utilizzare la riga di comando per creare un cluster Managed Service Spark , eseguire un semplice job Apache Spark nel cluster, quindi modificare il numero di worker nel cluster.

Attività previste

In questo lab imparerai a:

• Creare un cluster Managed Apache Spark utilizzando la riga di comando.
• Eseguire un semplice job Apache Spark.
• Modificare il numero di worker nel cluster.

Configurazione e requisiti

Prima di fare clic sul pulsante Avvia lab

Leggi le seguenti istruzioni. I lab sono a tempo e non possono essere messi in pausa. Il timer si avvia quando fai clic su Inizia il lab e ti mostra per quanto tempo avrai a disposizione le risorse Google Cloud.

Con questo lab pratico avrai la possibilità di completare le attività in un ambiente cloud reale e non di simulazione o demo. Riceverai delle nuove credenziali temporanee che potrai utilizzare per accedere a Google Cloud per la durata del lab.

Per completare il lab, avrai bisogno di:

• Accesso a un browser internet standard (Chrome è il browser consigliato).

Nota: per eseguire questo lab, utilizza una finestra del browser in modalità di navigazione in incognito (consigliata) o privata. Ciò evita conflitti tra il tuo account personale e l'account studente, che potrebbero causare addebiti aggiuntivi sul tuo account personale.

• È ora di completare il lab: ricorda che, una volta iniziato, non puoi metterlo in pausa.

Nota: utilizza solo l'account studente per questo lab. Se utilizzi un altro account Google Cloud, potrebbero essere addebitati costi su quell'account.

Come iniziare il lab e accedere alla console Google Cloud

1. Fai clic sul pulsante Inizia il lab. Se devi effettuare il pagamento per il lab, si aprirà una finestra di dialogo per permetterti di selezionare il metodo di pagamento. A destra, trovi il riquadro Configurazione e accesso al lab con le seguenti informazioni:

   • Il pulsante Apri console Google Cloud
   • Le credenziali temporanee (nome utente e password) da utilizzare per il lab
   • Altre informazioni per seguire questo lab, se necessario

   Tieni presente che il timer del lab si trova nella parte superiore della pagina e mostra il tempo rimanente.

2. Fai clic su Apri console Google Cloud (o fai clic con il tasto destro del mouse e seleziona Apri link in finestra Incognito se utilizzi il browser Chrome).

   Il lab avvia le risorse e apre un'altra scheda con la pagina di accesso.

   Suggerimento: disponi le schede in finestre separate posizionate fianco a fianco.

   Nota: se visualizzi la finestra di dialogo Scegli un account, fai clic su Usa un altro account.

3. Se necessario, copia il Nome utente di seguito e incollalo nella finestra di dialogo Accedi.

   {{{user_0.username | "Username"}}}

   Puoi trovare il Nome utente anche nel riquadro Configurazione e accesso al lab.

4. Fai clic su Avanti.

5. Copia la Password di seguito e incollala nella finestra di dialogo Ti diamo il benvenuto.

   {{{user_0.password | "Password"}}}

   Puoi trovare la Password anche nel riquadro Configurazione e accesso al lab.

6. Fai clic su Avanti.

   Importante: devi utilizzare le credenziali fornite dal lab. Non utilizzare le credenziali del tuo account Google Cloud. Nota: utilizzare il tuo account Google Cloud per questo lab potrebbe comportare addebiti aggiuntivi.

7. Fai clic nelle pagine successive:

   • Accetta i termini e le condizioni.
   • Non inserire opzioni di recupero o l'autenticazione a due fattori, perché si tratta di un account temporaneo.
   • Non registrarti per le prove senza costi.

Dopo qualche istante, la console Google Cloud si apre in questa scheda.

Nota: per accedere ai prodotti e ai servizi Google Cloud, fai clic sul menu di navigazione o digita il nome del servizio o del prodotto nel campo Cerca.

Attiva Cloud Shell

Cloud Shell è una macchina virtuale in cui sono caricati strumenti per sviluppatori. Offre una home directory permanente da 5 GB e viene eseguita su Google Cloud. Cloud Shell fornisce l'accesso da riga di comando alle risorse Google Cloud.

1. Fai clic su Attiva Cloud Shell nella parte superiore della console Google Cloud.

2. Fai clic nelle seguenti finestre:

   • Continua nella finestra delle informazioni di Cloud Shell.
   • Autorizza Cloud Shell a utilizzare le tue credenziali per effettuare chiamate API Google Cloud.

Quando la connessione è attiva, l'autenticazione è già avvenuta e il progetto è impostato sul tuo Project_ID, . L'output contiene una riga che dichiara il Project_ID per questa sessione:

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud è lo strumento a riga di comando di Google Cloud. È preinstallato su Cloud Shell e supporta il completamento tramite tasto Tab.

3. (Facoltativo) Puoi visualizzare il nome dell'account attivo con questo comando:

gcloud auth list

4. Fai clic su Autorizza.

Output:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Facoltativo) Puoi elencare l'ID progetto con questo comando:

gcloud config list project

Output:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Nota: per la documentazione completa di gcloud, in Google Cloud, fai riferimento alla guida Panoramica dell'interfaccia a riga di comando gcloud.

Attività 1: crea un cluster

1. Esegui il comando seguente in Cloud Shell per impostare la regione:

gcloud config set dataproc/region {{{project_0.default_region | Region}}}

2. Disabilita l'API Cloud Managed Service for Spark:

gcloud services disable dataproc.googleapis.com --force

3. Riabilita l'API Cloud Managed Service for Spark:

gcloud services enable dataproc.googleapis.com

4. Managed Service for Apache Spark crea i bucket temporanei e di gestione temporanea che vengono condivisi tra i cluster nella stessa regione. Poiché non specifichiamo un account da usare per Managed Apache Spark, verrà usato il service account predefinito di Compute Engine, che però non dispone delle autorizzazioni per i bucket di archiviazione per impostazione predefinita. Aggiungiamole.

• Per prima cosa, esegui questi comandi per recuperare PROJECT_ID e PROJECT_NUMBER:

PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')

• Ora esegui questo comando per assegnare i ruoli Storage Admin e Managed Apache Spark Worker al service account predefinito di Compute Engine:

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/dataproc.worker

3. Abilita l'accesso privato Google sulla tua subnet eseguendo questo comando:

gcloud compute networks subnets update default --region={{{project_0.default_region | REGION }}} --enable-private-ip-google-access

4. Esegui questo comando per creare un cluster chiamato example-cluster con VM e2-standard-4 e impostazioni predefinite di Cloud Managed Apache Spark:

gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4

5. Se ti viene richiesto di confermare una zona per il cluster, inserisci Y.

La creazione del cluster richiede qualche minuto.

Waiting for cluster creation operation...done. Created [... example-cluster]

Quando viene visualizzato il messaggio "Created", puoi proseguire.

Verifica l'attività completata

Fai clic su Controlla i miei progressi per verificare l'attività eseguita. Se hai creato correttamente un cluster Managed Service for Apache Spark, visualizzerai un punteggio di valutazione.

Crea un cluster

Attività 2: invia un job

• Esegui questo comando per inviare un job Spark di esempio che calcola il valore approssimato di pi greco:

gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

Il comando specifica:

• che deve essere eseguito un job spark sul cluster example-cluster;
• la class contenente il metodo principale per l'applicazione del job che calcola il valore di pi greco;
• il percorso del file jar che contiene il codice del job;
• i parametri da passare al job: nel nostro caso, il numero di attività, che è pari a 1000.

Nota: i parametri da passare al job devono seguire un doppio trattino (--). Per ulteriori informazioni, consulta la documentazione di gcloud.

L'esecuzione del job e l'output finale vengono visualizzati nella finestra del terminale.

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

Verifica l'attività completata

Fai clic su Controlla i miei progressi per verificare l'attività eseguita. Se hai inviato un job correttamente, sarà visualizzato un punteggio di valutazione.

Invia un job

Attività 3: aggiorna un cluster

1. Per cambiare il numero di worker nel cluster e impostarlo su 4, esegui questo comando:

gcloud dataproc clusters update example-cluster --num-workers 4

I dettagli aggiornati del cluster vengono visualizzati nell'output del comando:

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.

2. Per diminuire il numero di nodi worker, puoi eseguire lo stesso comando:

gcloud dataproc clusters update example-cluster --num-workers 2

Ora sei in grado di creare un cluster Managed Service for Apache Spark e modificare il numero di worker dalla riga di comando di gcloud su Google Cloud.

Attività 4: verifica le tue conoscenze

Di seguito, sono riportate alcune domande a scelta multipla che servono a consolidare la tua conoscenza dei concetti di questo lab. Rispondi alle domande al meglio delle tue capacità.

Complimenti!

Hai imparato a usare la riga di comando per creare e modificare un cluster Managed Service for Apache Spark e inviare i job.

Prossimi passi/Scopri di più

Questo lab fa anche parte di una serie di lab chiamata Qwik Starts, pensata per offrirti un piccolo assaggio delle diverse funzionalità disponibili in Google Cloud. Consulta l'elenco della serie "Qwik Starts" nel catalogo dei lab per trovare il tuo prossimo lab.

Formazione e certificazione Google Cloud

… per utilizzare al meglio le tecnologie Google Cloud. I nostri corsi ti consentono di sviluppare competenze tecniche e best practice per aiutarti a metterti subito al passo e avanzare nel tuo percorso di apprendimento. Offriamo vari livelli di formazione, dal livello base a quello avanzato, con opzioni di corsi on demand, dal vivo e virtuali, in modo da poter scegliere il più adatto in base ai tuoi impegni. Le certificazioni ti permettono di confermare e dimostrare le tue abilità e competenze relative alle tecnologie Google Cloud.

Ultimo aggiornamento del manuale: 15 aprile 2026

Ultimo test del lab: 15 aprile 2026

Copyright 2026 Google LLC. Tutti i diritti riservati. Google e il logo Google sono marchi di Google LLC. Tutti gli altri nomi di società e prodotti sono marchi delle rispettive società a cui sono associati.