This course is part 1 of a 3-course series on Serverless Data Processing with Dataflow. In this first course, we start with a refresher of what Apache Beam is and its relationship with Dataflow. Next, we talk about the Apache Beam vision and the benefits of the Beam Portability framework. The Beam Portability framework achieves the vision that a developer can use their favorite programming language with their preferred execution backend. We then show you how Dataflow allows you to separate compute and storage while saving money, and how identity, access, and management tools interact with your Dataflow pipelines. Lastly, we look at how to implement the right security model for your use case on Dataflow.
L'integrazione del machine learning nelle pipeline di dati aumenta la capacità di estrarre insight dai dati. Questo corso illustra i modi in cui il machine learning può essere incluso nelle pipeline di dati su Google Cloud. Per una personalizzazione minima o nulla, il corso tratta di AutoML. Per funzionalità di machine learning più personalizzate, il corso introduce Notebooks e BigQuery Machine Learning (BigQuery ML). Inoltre, il corso spiega come mettere in produzione soluzioni di machine learning utilizzando Vertex AI.
L'elaborazione dei flussi di dati sta diventando sempre più diffusa poiché la modalità flusso consente alle aziende di ottenere parametri in tempo reale sulle operazioni aziendali. Questo corso tratta la creazione di pipeline di dati in modalità flusso su Google Cloud. Pub/Sub viene presentato come strumento per la gestione dei flussi di dati in entrata. Il corso spiega anche come applicare aggregazioni e trasformazioni ai flussi di dati utilizzando Dataflow e come archiviare i record elaborati in BigQuery o Bigtable per l'analisi. Gli studenti acquisiranno esperienza pratica nella creazione di componenti della pipeline di dati in modalità flusso su Google Cloud utilizzando QwikLabs.
Le pipeline di dati in genere rientrano in uno dei paradigmi EL (Extract, Load), ELT (Extract, Load, Transform) o ETL (Extract, Transform, Load). Questo corso descrive quale paradigma dovrebbe essere utilizzato e quando per i dati in batch. Inoltre, questo corso tratta diverse tecnologie su Google Cloud per la trasformazione dei dati, tra cui BigQuery, l'esecuzione di Spark su Dataproc, i grafici della pipeline in Cloud Data Fusion e trattamento dati serverless con Dataflow. Gli studenti fanno esperienza pratica nella creazione di componenti della pipeline di dati su Google Cloud utilizzando Qwiklabs.
I due componenti chiave di qualsiasi pipeline di dati sono costituiti dai data lake e dai data warehouse. In questo corso evidenzieremo i casi d'uso per ogni tipo di spazio di archiviazione e approfondiremo i dettagli tecnici delle soluzioni di data lake e data warehouse disponibili su Google Cloud. Inoltre, descriveremo il ruolo di un data engineer, illustreremo i vantaggi di una pipeline di dati di successo per le operazioni aziendali ed esamineremo i motivi per cui il data engineering dovrebbe essere eseguito in un ambiente cloud. Questo è il primo corso della serie Data engineering su Google Cloud. Dopo il completamento di questo corso, iscriviti al corso Creazione di pipeline di dati in batch su Google Cloud.
Questo è un corso di microlearning di livello introduttivo che esplora cosa sono i modelli linguistici di grandi dimensioni (LLM), i casi d'uso in cui possono essere utilizzati e come è possibile utilizzare l'ottimizzazione dei prompt per migliorare le prestazioni dei modelli LLM. Descrive inoltre gli strumenti Google per aiutarti a sviluppare le tue app Gen AI.
In this course, you apply your knowledge of classification models and embeddings to build a ML pipeline that functions as a recommendation engine. This is the fifth and final course of the Advanced Machine Learning on Google Cloud series.
This course explores what ML is and what problems it can solve. The course also discusses best practices for implementing machine learning. You’re introduced to Vertex AI, a unified platform to quickly build, train, and deploy AutoML machine learning models. The course discusses the five phases of converting a candidate use case to be driven by machine learning, and why it’s important to not skip them. The course ends with recognizing the biases that ML can amplify and how to recognize them.
This course introduces participants to MLOps tools and best practices for deploying, evaluating, monitoring and operating production ML systems on Google Cloud. MLOps is a discipline focused on the deployment, testing, monitoring, and automation of ML systems in production. Machine Learning Engineering professionals use tools for continuous improvement and evaluation of deployed models. They work with (or can be) Data Scientists, who develop models, to enable velocity and rigor in deploying the best performing models.
This course describes different types of computer vision use cases and then highlights different machine learning strategies for solving these use cases. The strategies vary from experimenting with pre-built ML models through pre-built ML APIs and AutoML Vision to building custom image classifiers using linear models, deep neural network (DNN) models or convolutional neural network (CNN) models. The course shows how to improve a model's accuracy with augmentation, feature extraction, and fine-tuning hyperparameters while trying to avoid overfitting the data. The course also looks at practical issues that arise, for example, when one doesn't have enough data and how to incorporate the latest research findings into different models. Learners will get hands-on practice building and optimizing their own image classification models on a variety of public datasets in the labs they will work on.
Il corso inizia con una discussione sui dati: come migliorare la qualità dei dati ed eseguire analisi esplorative dei dati. Descriveremo Vertex AI AutoML e come creare, addestrare ed eseguire il deployment di un modello di ML senza scrivere una sola riga di codice. Comprenderai i vantaggi di Big Query ML. Discuteremo quindi di come ottimizzare un modello di machine learning (ML) e di come la generalizzazione e il campionamento possano aiutare a valutare la qualità dei modelli di ML per l'addestramento personalizzato.
Completa il corso introduttivo con badge delle competenze Implementazione di Cloud Load Balancing per Compute Engine per dimostrare le tue competenze nei seguenti ambiti: creazione ed esecuzione del deployment di macchine virtuali in Compute Engine e configurazione di bilanciatori del carico di rete e delle applicazioni.
Questo corso presenta i prodotti e i servizi per big data e di machine learning di Google Cloud che supportano il ciclo di vita dai dati all'IA. Esplora i processi, le sfide e i vantaggi della creazione di una pipeline di big data e di modelli di machine learning con Vertex AI su Google Cloud.