Panoramica

In questo lab, imparerai come caricare i dati in BigQuery ed eseguire query complesse. Successivamente, eseguirai una pipeline Dataflow in grado di eseguire operazioni di mappatura e riduzione, utilizzare input aggiuntivi e inserire flussi di dati in BigQuery.

Obiettivo

In questo lab, imparerai a utilizzare BigQuery come origine dati in Dataflow e i risultati di una pipeline come input aggiuntivo per un'altra pipeline. Apprenderai come:

• Leggere i dati da BigQuery in Dataflow
• Utilizzare l'output di una pipeline come input aggiuntivo per un'altra pipeline

Configurazione

Per ciascun lab, riceverai un nuovo progetto Google Cloud e un insieme di risorse per un periodo di tempo limitato senza alcun costo aggiuntivo.

1. Accedi a Qwiklabs utilizzando una finestra di navigazione in incognito.

2. Tieni presente la durata dell'accesso al lab (ad esempio, 1:15:00) e assicurati di finire entro quell'intervallo di tempo.
   Non è disponibile una funzionalità di pausa. Se necessario, puoi riavviare il lab ma dovrai ricominciare dall'inizio.

3. Quando è tutto pronto, fai clic su Inizia lab.

4. Annota le tue credenziali del lab (Nome utente e Password). Le userai per accedere a Google Cloud Console.

5. Fai clic su Apri console Google.

6. Fai clic su Utilizza un altro account e copia/incolla le credenziali per questo lab nei prompt.
   Se utilizzi altre credenziali, compariranno errori oppure ti verranno addebitati dei costi.

7. Accetta i termini e salta la pagina di ripristino delle risorse.

Verifica le autorizzazioni del progetto

Prima di iniziare il tuo lavoro su Google Cloud, devi assicurarti che il tuo progetto disponga delle autorizzazioni corrette in Identity and Access Management (IAM).

1. Nella console Google Cloud, nel menu di navigazione (), seleziona IAM e amministrazione > IAM.

2. Conferma che l'account di servizio di computing predefinito {project-number}-compute@developer.gserviceaccount.com sia presente e che abbia il ruolo di editor assegnato. Il prefisso dell'account è il numero del progetto, che puoi trovare in Menu di navigazione > Panoramica di Cloud > Dashboard

1. Nel menu di navigazione della console Google Cloud, fai clic su Panoramica di Cloud > Dashboard.
2. Copia il numero del progetto (es. 729328892908).
3. Nel menu di navigazione, seleziona IAM e amministrazione > IAM.
4. Nella parte superiore della tabella dei ruoli, sotto Visualizza per entità, fai clic su Concedi accesso.
5. Per Nuove entità, digita:

6. Sostituisci {project-number} con il numero del tuo progetto.
7. Come Ruolo, seleziona Progetto (o Base) > Editor.
8. Fai clic su Salva.

Attività 1: preparazione

Assegna il ruolo Dataflow Developer

Se l'account non dispone del ruolo Dataflow Developer, attieniti alla procedura riportata di seguito per assegnare il ruolo richiesto.

1. Nel menu di navigazione, fai clic su IAM e amministrazione > IAM.

2. Seleziona l'account di servizio Compute predefinito {project-number}-compute@developer.gserviceaccount.com.

3. Seleziona l'opzione Modifica (la matita sull'estremità destra).

4. Fai clic su Aggiungi un altro ruolo.

5. Fai clic all'interno della casella relativa a Seleziona un ruolo. Nel selettore Digita per filtrare, scegli Dataflow Developer.

6. Fai clic su Salva.

Assicurati che l'API Dataflow sia stata abilitata correttamente

1. Nella barra del titolo della console Google Cloud, fai clic su Attiva Cloud Shell. Se richiesto, fai clic su Continua.

2. Esegui questi comandi per assicurarti che l'API Dataflow sia abilitata in modo corretto nel tuo progetto. Se richiesto, fai clic su Autorizza:

Apri il terminale SSH e connettiti alla VM di addestramento

Eseguirai tutto il codice da una VM di addestramento selezionata.

1. In Cloud Console, nel menu di navigazione (), fai clic su Compute Engine > Istanze VM.

2. Trova la riga con l'istanza denominata training-vm.

3. Sulla destra, sotto Connetti, fai clic su SSH per aprire una finestra del terminale. Se richiesto, fai clic su Autorizza.

4. In questo lab, inserirai i comandi dell'interfaccia a riga di comando nell'istanza training-vm.

Scarica il repository di codice

• A seguire, scaricherai un repository di codice da utilizzare in questo lab. Nel terminale SSH di training-vm, inserisci quanto segue:

Crea un bucket Cloud Storage

Segui queste istruzioni per creare un bucket.

1. Nella Console, nel menu di navigazione, fai clic su Cloud Storage > Bucket.
2. Fai clic su + Crea.
3. Specifica quanto segue e non modificare le altre impostazioni predefinite:

4. Fai clic su Crea.

5. Se ricevi il messaggio Public access will be prevented, seleziona Enforce public access prevention on this bucket e fai clic su Conferma.

6. Nel terminale SSH di training-vm, inserisci quanto segue per creare tre variabili di ambiente. Una chiamata "BUCKET", un'altra chiamata "PROJECT" e un'altra ancora chiamata "REGION". Verifica che esistano entrambe con il comando echo:

Attività 2: prova a utilizzare una query BigQuery

1. Nella console, nel menu di navigazione (), fai clic su BigQuery.
2. Se richiesto, fai clic su Fine.
3. Fai clic su "+" (Query SQL) e digita la seguente query:

4. Fai clic su Esegui.

Cosa viene restituito?

Nella tabella BigQuery cloud-training-demos.github_repos.contents_java si trovano i contenuti (e alcuni metadati) di tutti i file Java presenti in GitHub nel 2016.

5. Per trovare quanti file Java sono contenuti nella tabella, digita la query riportata di seguito e fai clic su Esegui:

Quanti file ci sono in questo set di dati?

È un set di dati da elaborare in locale o sul cloud?

Attività 3: esplora il codice della pipeline

1. Torna al terminale SSH di training-vm e vai alla directory /training-data-analyst/courses/data_analysis/lab2/python per visualizzare il file JavaProjectsThatNeedHelp.py.

Visualizza il file con Nano. Non apportare modifiche al codice. Premi Ctrl+X per uscire da Nano.

Fai riferimento a questo diagramma mentre leggi il codice. La pipeline ha questo aspetto:

2. Rispondi alle seguenti domande:

• Guardando la documentazione della classe nella parte superiore, a cosa serve questa pipeline?
• Da dove provengono i contenuti?
• Cosa fa la parte sinistra della pipeline?
• Cosa fa la parte destra della pipeline?
• Cosa fa ToLines? (Suggerimento: guarda il campo dei contenuti nei risultati di BigQuery)
• Perché il risultato di ReadFromBQ viene archiviato in una PCollection invece che passato direttamente a un altro passaggio?
• Quali sono le due azioni eseguite sulla PCollection generata da ReadFromBQ?
• Se il contenuto di un file include 3 FIXME e 2 TODO (su righe diverse), quante chiamate di assistenza vi sono associate?
• A quali pacchetti è associato un file, se si trova nel pacchetto com.google.devtools.build?
• popular_packages ed help_packages sono entrambe PCollection denominate ed entrambe sono utilizzate nel passaggio Scores (input aggiuntivi) della pipeline. Qual è l'input principale e quale l'input aggiuntivo?
• Quale metodo è utilizzato nel passaggio Scores?
• Quale tipo di dati Python si trova nell'input aggiuntivo convertito nel passaggio Scores?

Attività 4: esegui la pipeline

1. Il programma richiede i valori BUCKET, PROJECT e REGION e devi scegliere se eseguire la pipeline in locale utilizzando --DirectRunner o sul cloud utilizzando --DataFlowRunner

2. Esegui la pipeline in locale digitando quanto segue nel terminale SSH di training-vm:

3. Una volta terminata l'esecuzione della pipeline, nel menu di navigazione (), fai clic su Cloud Storage > Bucket e poi sul tuo bucket. Troverai i risultati nella cartella javahelp. Fai clic sull'oggetto Risultato per esaminare l'output.

4. Esegui la pipeline sul cloud digitando quanto segue nel terminale SSH di training-vm:

5. Torna alla scheda del browser della console. Nel menu di navigazione (), fai clic su Visualizza tutti i prodotti e seleziona Dataflow dalla sezione Analisi.

6. Fai clic sul job per monitorare l'avanzamento.

7. Al termine dell'esecuzione della pipeline, nel menu di navigazione (), fai clic su Cloud Storage > Bucket e poi sul tuo bucket. Troverai i risultati nella cartella javahelp. Fai clic sull'oggetto Risultato per esaminare l'output. Il nome del file sarà lo stesso, ma noterai che l'ora di creazione del file è più recente.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Esegui la pipeline

Termina il lab

Una volta completato il lab, fai clic su Termina lab. Google Cloud Skills Boost rimuove le risorse che hai utilizzato ed esegue la pulizia dell'account.

Avrai la possibilità di inserire una valutazione in merito alla tua esperienza. Seleziona il numero di stelle applicabile, inserisci un commento, quindi fai clic su Invia.

Il numero di stelle corrisponde alle seguenti valutazioni:

• 1 stella = molto insoddisfatto
• 2 stelle = insoddisfatto
• 3 stelle = esperienza neutra
• 4 stelle = soddisfatto
• 5 stelle = molto soddisfatto

Se non vuoi lasciare un feedback, chiudi la finestra di dialogo.

Per feedback, suggerimenti o correzioni, utilizza la scheda Assistenza.

Copyright 2026 Google LLC Tutti i diritti riservati. Google e il logo Google sono marchi di Google LLC. Tutti gli altri nomi di società e prodotti sono marchi delle rispettive società a cui sono associati.