Panoramica

Cloud Dataprep di Trifacta è un servizio dati intelligente che consente di esplorare in modo visivo, pulire e preparare dati strutturati e non strutturati per l'analisi. In questo lab esploreremo la UI di Cloud Dataprep per creare una pipeline di trasformazione dell'e-commerce che verrà eseguita a intervalli pianificati e restituirà i risultati in BigQuery.

Il set di dati che utilizzeremo è un set di dati di e-commerce che ha milioni di record di Google Analytics per il Google Merchandise Store caricati su BigQuery. Abbiamo creato una copia del set di dati per questo lab ed esploreremo i campi e le righe disponibili per estrarre insight.

Obiettivi

In questo lab imparerai a:

• Connettere i set di dati BigQuery a Cloud Dataprep
• Esplorare la qualità dei set di dati con Cloud Dataprep
• Creare una pipeline di trasformazione dei dati con Cloud Dataprep
• Pianificare gli output dei job di trasformazione in BigQuery

Che cosa ti serve

• Un progetto Google Cloud
• Il browser Google Chrome. Cloud Dataprep supporta solo il browser Chrome.

Configurazione e requisiti

Per ciascun lab, riceverai un nuovo progetto Google Cloud e un insieme di risorse per un periodo di tempo limitato senza alcun costo aggiuntivo.

1. Accedi a Qwiklabs utilizzando una finestra di navigazione in incognito.

2. Tieni presente la durata dell'accesso al lab (ad esempio, 1:15:00) e assicurati di finire entro quell'intervallo di tempo.
   Non è disponibile una funzionalità di pausa. Se necessario, puoi riavviare il lab ma dovrai ricominciare dall'inizio.

3. Quando è tutto pronto, fai clic su Inizia lab.

4. Annota le tue credenziali del lab (Nome utente e Password). Le userai per accedere a Google Cloud Console.

5. Fai clic su Apri console Google.

6. Fai clic su Utilizza un altro account e copia/incolla le credenziali per questo lab nei prompt.
   Se utilizzi altre credenziali, compariranno errori oppure ti verranno addebitati dei costi.

7. Accetta i termini e salta la pagina di ripristino delle risorse.

Verifica le autorizzazioni del progetto

Prima di iniziare il tuo lavoro su Google Cloud, devi assicurarti che il tuo progetto disponga delle autorizzazioni corrette in Identity and Access Management (IAM).

1. Nella console Google Cloud, nel menu di navigazione (), seleziona IAM e amministrazione > IAM.

2. Conferma che l'account di servizio di computing predefinito {project-number}-compute@developer.gserviceaccount.com sia presente e che abbia il ruolo di editor assegnato. Il prefisso dell'account è il numero del progetto, che puoi trovare in Menu di navigazione > Panoramica di Cloud > Dashboard

Nota: se l'account non è presente in IAM o non dispone del ruolo editor, attieniti alla procedura riportata di seguito per assegnare il ruolo richiesto.

1. Nel menu di navigazione della console Google Cloud, fai clic su Panoramica di Cloud > Dashboard.
2. Copia il numero del progetto (es. 729328892908).
3. Nel menu di navigazione, seleziona IAM e amministrazione > IAM.
4. Nella parte superiore della tabella dei ruoli, sotto Visualizza per entità, fai clic su Concedi accesso.
5. Per Nuove entità, digita:

{project-number}-compute@developer.gserviceaccount.com

6. Sostituisci {project-number} con il numero del tuo progetto.
7. Come Ruolo, seleziona Progetto (o Base) > Editor.
8. Fai clic su Salva.

Apri la console di BigQuery

1. Nella console Google Cloud, seleziona Menu di navigazione > BigQuery.

Si aprirà la finestra con il messaggio Ti diamo il benvenuto in BigQuery nella console Cloud. Questa finestra fornisce un link alla guida rapida ed elenca gli aggiornamenti dell'interfaccia utente.

2. Fai clic su Fine.

Sebbene questo lab sia in gran parte incentrato su Cloud Dataprep, BigQuery è necessario come endpoint per l'importazione di set di dati nella pipeline e come destinazione per l'output una volta completata la pipeline.

Attività 1: crea un set di dati BigQuery vuoto

In questa attività crei un nuovo set di dati BigQuery per ricevere la tabella di output della nuova pipeline.

1. Nel riquadro a sinistra, fai clic su Visualizza azioni () accanto al tuo ID progetto e seleziona Crea set di dati.

2. Nella finestra di dialogo Crea set di dati:

• In ID set di dati, digita ecommerce.
• Lascia le impostazioni predefinite per gli altri valori.

3. Fai clic su Crea set di dati.

4. Copia e incolla questa query SQL nel campo di testo Editor query:

#standardSQL CREATE OR REPLACE TABLE ecommerce.all_sessions_raw_dataprep OPTIONS( description="Raw data from analyst team to ingest into Cloud Dataprep" ) AS SELECT * FROM `data-to-insights.ecommerce.all_sessions_raw` WHERE date = '20170801'; # limiting to one day of data 56k rows for this lab

5. Fai clic su Esegui.

Questa query copia un sottoinsieme del set di dati di e-commerce pubblico non elaborato nel set di dati del tuo progetto per consentirti di esplorarlo e pulirlo in Cloud Dataprep.

6. Verifica che nel tuo progetto sia presente la nuova tabella dei dati non elaborati.

Attività 2: apri Cloud Dataprep

In questa attività accetti i Termini di servizio di Google e Trifacta, quindi consenti a Trifacta di accedere ai dati del tuo progetto.

1. Esegui questo comando in Cloud Shell per creare l'account di servizio richiesto che ti consentirà di accedere correttamente a Dataprep.

gcloud beta services identity create --service=dataprep.googleapis.com

2. Nella console Google Cloud, assicurati che il progetto del lab sia selezionato.

3. Nel menu di navigazione (), sotto il gruppo Analisi, fai clic su Dataprep.

4. Seleziona i Termini di servizio di Google e Trifacta, quindi fai clic su Accetta.

5. Nella finestra di dialogo Condividi i dati dell'account con Trifacta, seleziona la casella di controllo e fai clic su Accetta e continua.

6. Per consentire a Trifacta di accedere ai dati del tuo progetto, fai clic su Consenti. Questo processo di autorizzazione potrebbe richiedere alcuni minuti.

7. Nella finestra di dialogo Accedi con Google visualizzata, seleziona il tuo account Qwiklabs e fai clic su Consenti. Se richiesto, fai clic su Accetta dopo aver selezionato la casella di controllo.

8. Per utilizzare la località predefinita per il bucket di archiviazione, fai clic su Continua.

Si apre la home page di Cloud Dataprep. Se richiesto, fai clic su Home.

Attività 3: connetti i dati BigQuery a Cloud Dataprep

In questa attività colleghi Cloud Dataprep alla tua origine dati BigQuery.

Nella pagina Cloud Dataprep:

1. Fai clic su Create a new flow (Crea nuovo flusso).

2. Fai clic su Untitled Flow (Flusso senza titolo) nella parte superiore della pagina.

3. Nella finestra di dialogo Rename (Rinomina), specifica questi dettagli:

   • In Flow Name (Nome flusso), digita Ecommerce Analytics Pipeline (Pipeline di analisi di e-commerce).
   • In Flow Description (Descrizione flusso), digita Revenue reporting table for Apparel (Tabella di report sulle entrate per l'abbigliamento).

4. Fai clic su Ok.

5. Fai clic sull'icona (+) per aggiungere un set di dati.

6. Nella finestra di dialogo Add datasets to flow (Aggiungi set di dati al flusso), fai clic su Import datasets (Importa set di dati) nell'angolo in basso a sinistra.

7. Nel riquadro a sinistra, fai clic su BigQuery.

8. Fai clic sul set di dati ecommerce dopo che è stato caricato.

9. Per creare un set di dati, fai clic su Create dataset (Crea set di dati) ().

10. Fai clic su Import & Add to Flow (Importa e aggiungi al flusso).

L'origine dati si aggiorna automaticamente.

Attività 4: esplora i campi di dati di e-commerce con una UI

In questa attività carichi ed esplori un campione del set di dati all'interno di Cloud Dataprep.

1. Nel riquadro a destra, fai clic su Edit Recipe (Modifica formula).

2. Se necessario, fai clic su Don't show me any helpers (Non mostrare alcun helper) nella finestra di dialogo The Transformer (Trasformatore).

Cloud Dataprep carica un campione del tuo set di dati nella visualizzazione Transformer (Trasformatore). L'operazione potrebbe richiedere alcuni minuti.

Rispondi alle domande:

• Cloud Dataprep caricherà un campione del set di dati di origine per velocizzare l'esplorazione.

Nota: quando la pipeline viene eseguita, opererà sull'intero set di dati di origine. Quante righe contiene il campione?

Risposta: 12.000 righe circa.

• Qual è il valore più comune nella colonna channelGrouping?

Risposta: referral.

• Quali sono i tre paesi principali in cui hanno origine le sessioni?

Risposta: Stati Uniti, India, Regno Unito.

• Cosa rappresenta la barra grigia sotto totalTransactionRevenue?

  

  Risposta: valori mancanti.

• Quali sono i valori medi di timeOnSite (in secondi), pageviews e sessionQualityDim per il campione di dati? Suggerimento: utilizza Column Details (Dettagli colonna).

  

  

  Risposte: Tempo medio sul sito:: 942 secondi (o 15,7 minuti).

  Media di visualizzazioni di pagina: 20,44 pagine.

  Dimensione media della qualità della sessione: 38,36.

Nota: le tue risposte potrebbero variare leggermente a causa del campione di dati utilizzato da Cloud Dataprep.

• Osservando l'istogramma di sessionQualityDim, i valori dei dati sono distribuiti uniformemente?

  

Risposta: no, sono sbilanciati verso valori più bassi (sessioni di qualità inferiore), come previsto.

• Qual è l'intervallo di date per il campione del set di dati?

Risposta: 01/08/2017 (un giorno di dati).

• Perché è presente una barra rossa sotto la colonna productSKU?

Risposta: la barra rossa indica valori non corrispondenti. Cloud Dataprep ha identificato automaticamente come numero intero il tipo di colonna productSKU. Cloud Dataprep ha rilevato anche alcuni valori non interi e pertanto li ha contrassegnati come non corrispondenti. Infatti, il valore di productSKU non è sempre un numero intero (ad esempio, un valore corretto potrebbe essere "GGOEGOCD078399"). Pertanto, in questo caso Cloud Dataprep ha identificato erroneamente il tipo di colonna: dovrebbe essere una stringa, non un numero intero. Lo correggerai nel passaggio successivo.

Nota: se la colonna productSKU ha già un tipo String la barra rossa non è visibile.

• Per convertire il tipo di colonna productSKU in un tipo di dati stringa, apri il menu a destra della colonna productSKU facendo clic su , quindi fai clic su Change type > String (Modifica tipo > Stringa).

  

• Osservando v2ProductName, quali sono i prodotti più popolari?

Risposta: prodotti Nest.

• Osservando v2ProductCategory, quali sono alcuni dei prodotti più popolari? Quante categorie sono state campionate?

  

Risposta: Nest (not set) e Abbigliamento sono le più popolari tra circa 25 categorie.

• Vero o falso: il valore più comune per productVariant è COLOR (COLORE).

Risposta: falso, è (not set) perché la maggior parte dei prodotti non ha varianti (80%+).

• Quali sono le due categorie di tipo?

Risposta: PAGE (PAGINA) ed EVENT (EVENTO).

• Qual è il valore medio di productQuantity?

Risposta: 3,45 (la tua risposta potrebbe variare).

• Quanti SKU distinti sono presenti nel set di dati?

Risposta: oltre 600.

• Quali sono alcuni dei nomi di prodotti più apprezzati in base al numero di righe? Le categorie più popolari?

Risposta:

Cam Outdoor Security Camera - USA

Cam Indoor Security Camera - USA

Learning Thermostat 3rd Gen-USA - Stainless Steel

• Qual è il codice valuta dominante per le transazioni?

Risposta: USD (dollaro statunitense).

• Esistono valori validi per itemQuantity o itemRevenue?

Risposta: no, sono tutti valori NULL.

• Quale percentuale di ID transazione ha un valore valido? Cosa rappresenta questo per il nostro set di dati di e-commerce?

  

Risposta: il 4,6% circa degli ID transazione ha un valore valido, che rappresenta il tasso di conversione medio del sito web (4,6% dei visitatori effettuano una transazione).

• Quanti tipi eCommerceAction_type esistono e qual è il passaggio eCommerceAction_step più popolare?

Risposte:

6 tipi hanno dati nel nostro campione.

0 o NULL è il passaggio più popolare.

Attività 5: pulisci i dati

In questa attività pulisci i dati eliminando le colonne inutilizzate e i duplicati, creando campi calcolati e filtrando le righe. L'eliminazione delle colonne è comune quando i campi sono deprecati nello schema o hanno tutti valori NULL.

Elimina le colonne inutilizzate

• Seleziona la colonna indesiderata, quindi fai clic su Delete (Elimina). Ripeti l'operazione per le seguenti colonne che hanno tutte valori NULL:

  

• itemRevenue

• itemQuantity

Deduplica le righe

Il tuo team ti ha comunicato che il set di dati di origine potrebbe contenere valori di sessione duplicati. Rimuovili con un nuovo passaggio di deduplicazione.

1. Fai clic su Recipe (Formula) () in alto a destra e seleziona New Step (Nuovo passaggio).

2. Nella casella di ricerca Transformation (Trasformazione), digita deduplicate (deduplica) e seleziona Remove duplicate rows (Rimuovi righe duplicate).

3. Fai clic su Add (Aggiungi).

4. Rivedi la formula creata:

Escludi le sessioni senza entrate

Il tuo team ti ha chiesto di creare una tabella di tutte le sessioni degli utenti che hanno acquistato almeno un articolo dal sito web. Escludi le sessioni degli utenti con entrate NULL.

1. Nella colonna totalTransactionRevenue, fai clic sulla barra dei valori mancanti.

2. Nel riquadro Suggestions (Suggerimenti), fai clic su Delete rows (Elimina righe) con i valori mancanti, quindi su Add (Aggiungi), come illustrato.

Questo passaggio filtra il set di dati in modo da includere solo le transazioni con entrate (dove totalTransactionRevenue è NULL).

Escludi le sessioni con Type = "PAGE" (Tipo = "PAGINA")

Il set di dati contiene sia visualizzazioni di pagine del sito web che eventi attivati come "categorie di prodotti visualizzati" o "aggiunti al carrello". Per evitare un doppio conteggio delle visualizzazioni di pagina delle sessioni, aggiungi un filtro in modo da includere solo gli eventi correlati alle visualizzazioni di pagina.

1. Nella colonna type (tipo), fai clic sulla barra per PAGE (PAGINA).

2. Nel riquadro Suggestions (Suggerimenti), fai clic su Keep rows (Mantieni righe) dove il tipo è PAGE (PAGINA), quindi su Add (Aggiungi).

Filtra i prodotti di abbigliamento

Il tuo team ti ha ora chiesto di filtrare ulteriormente l'output in modo da includere solo le transazioni nella categoria Apparel (Abbigliamento), che include articoli come t-shirt e altri articoli di abbigliamento.

1. Accanto alla colonna v2ProductCategory, fai clic sull'icona del menu a discesa.

2. Seleziona Filter rows (Filtra righe) > On column values (Su valori di colonna).

3. Seleziona Contains (Contiene).

4. In Pattern to match (Pattern da abbinare) digita "Apparel" (Abbigliamento), con distinzione tra maiuscole e minuscole, quindi fai clic su Add (Aggiungi).

Nota: i prodotti nel catalogo possono appartenere a più di una categoria ("Apparel" e "Home/Apparel/"), motivo per cui stiamo abbinando tutte le righe che contengono Apparel in qualsiasi punto del nome della categoria.

Attività 6: arricchisci i dati

Per saperne di più sullo schema utilizzato in questo lab, consulta [UA] Schema di BigQuery Export. Cerca visitId in questo articolo e leggi la descrizione per determinare se è univoco per tutte le sessioni utente o solo per l'utente.

visitId = un identificatore per questa sessione. Fa parte del valore generalmente memorizzato come cookie _utmb. È univoco solo per l'utente. Per generare un ID completamente univoco, è necessario utilizzare una combinazione di fullVisitorId e visitId.

visitId non è univoco per tutti gli utenti.

In questa attività aggiungi una nuova colonna concatenata per creare un campo ID sessione univoco. Quindi arricchisci i dati dell'etichetta di e-commerce con un'istruzione case.

Crea una nuova colonna per un ID sessione univoco

Come hai visto, il set di dati non ha una colonna unica per una sessione visitatore unico. Crea un ID univoco per ogni sessione concatenando i campi fullVisitorID e visitId.

1. Fai clic su New Step (Nuovo passaggio).

2. Per Search transformation (Trasformazione ricerca), digita concat (concatenazione), quindi seleziona Merge columns. (Unisci colonne).

3. Per Columns (Colonne), seleziona fullVisitorId e visitId.

4. Per New column name (Nuovo nome colonna), digita unique_session_id, lascia gli altri input come valori predefiniti e fai clic su Add (Aggiungi).

Crea un'istruzione case per il tipo di azione di e-commerce

Il campo eCommerceAction_type è un numero intero che viene mappato alle effettive azioni di e-commerce eseguite nella sessione come 3 = "Add to Cart" (Aggiungi al carrello) o 5 = "Check out" (Pagamento). Crea una colonna calcolata mappata al valore intero.

1. Fai clic su New Step (Nuovo passaggio).

2. Nel riquadro Transformation (Trasformazione), digita case (caso), quindi seleziona Conditional column (Colonna condizionale).

3. Seleziona Case on single column (Caso su colonna unica) dal menu a discesa.

4. Per Column to evaluate (Colonna da valutare), specifica eCommerceAction_type.

5. Accanto a Cases (X) (Casi (X)), fai clic su Add (Aggiungi) 8 volte per un totale di 9 casi.

6. Per ciascun caso, specifica i seguenti valori di mappatura (comprese le virgolette):

Valore da confrontare	Nuovo valore
1	'Click through of product lists' (Clickthrough delle schede di prodotto)
2	'Product detail views' (Visualizzazioni dei dettagli dei prodotti)
3	'Add product(s) to cart' (Aggiungi prodotti al carrello)
4	'Remove product(s) from cart' (Rimuovi prodotti dal carrello)
5	'Check out' (Pagamento)
6	'Completed purchase' (Acquisto completato)
7	'Refund of purchase' (Rimborso dell'acquisto)
8	'Checkout options' (Opzioni di checkout)
0	'Unknown' (Sconosciuto)

Lascia invariati i valori predefiniti degli altri campi.

7. Per New column name(Nuovo nome colonna), digita eCommerceAction_label, quindi fai clic su Add (Aggiungi).

8. Rivedi la formula e confrontala con questo esempio:

   

Attività 7: esegui il job Cloud Dataprep per caricare BigQuery

Quando il flusso è soddisfacente, è il momento di eseguire la formula di trasformazione rispetto al set di dati di origine. Per farlo, esegui e monitora un job Cloud Dataprep (che avvia ed esegue un job Cloud Dataflow).

1. Dalla pagina Transformer (Trasformatore), in alto a destra, fai clic su Run (Esegui).

2. Nella sezione Publishing Actions (Azioni di pubblicazione), passa il mouse sopra Create-CSV e fai clic su Edit (Modifica).

3. Seleziona BigQuery nel riquadro di sinistra e vai al set di dati di e-commerce, quindi fai clic su Create a new table (Crea una nuova tabella).

4. Assegna un nome alla tabella di output apparel_revenue e seleziona Drop the table every run (Inserisci la tabella a ogni esecuzione) nel riquadro di destra.

5. Fai clic su Update (Aggiorna).

6. Fai clic su Run (Esegui).

7. Fai clic su Job history (Cronologia job) nel riquadro di sinistra per monitorare il job Cloud Dataprep.

8. Attendi un paio di minuti che il job venga eseguito.

Al termine del job Cloud Dataprep, aggiorna la pagina BigQuery e verifica che la tabella di output apparel_revenue sia presente.

Seleziona apparel_revenue > Preview (Anteprima) e assicurati di disporre dei dati sulle transazioni relative alle entrate per i prodotti di abbigliamento.

Complimenti!

Hai esplorato con successo il tuo set di dati di e-commerce e creato una pipeline di trasformazione dei dati ricorrente con Cloud Dataprep.

Disponi già di un account Google Analytics e vuoi eseguire query sui tuoi set di dati in BigQuery? Segui le istruzioni della guida Configurare BigQuery Export.

Termina il lab

Una volta completato il lab, fai clic su Termina lab. Google Cloud Skills Boost rimuove le risorse che hai utilizzato ed esegue la pulizia dell'account.

Avrai la possibilità di inserire una valutazione in merito alla tua esperienza. Seleziona il numero di stelle applicabile, inserisci un commento, quindi fai clic su Invia.

Il numero di stelle corrisponde alle seguenti valutazioni:

• 1 stella = molto insoddisfatto
• 2 stelle = insoddisfatto
• 3 stelle = esperienza neutra
• 4 stelle = soddisfatto
• 5 stelle = molto soddisfatto

Se non vuoi lasciare un feedback, chiudi la finestra di dialogo.

Per feedback, suggerimenti o correzioni, utilizza la scheda Assistenza.

Copyright 2020 Google LLC Tutti i diritti riservati. Google e il logo Google sono marchi di Google LLC. Tutti gli altri nomi di società e prodotti sono marchi delle rispettive società a cui sono associati.