Dhruvi Shah
Mitglied seit 2024
Silver League
31535 Punkte
Mitglied seit 2024
In the last installment of the Dataflow course series, we will introduce the components of the Dataflow operational model. We will examine tools and techniques for troubleshooting and optimizing pipeline performance. We will then review testing, deployment, and reliability best practices for Dataflow pipelines. We will conclude with a review of Templates, which makes it easy to scale Dataflow pipelines to organizations with hundreds of users. These lessons will help ensure that your data platform is stable and resilient to unanticipated circumstances.
Incorporating machine learning into data pipelines increases the ability to extract insights from data. This course covers ways machine learning can be included in data pipelines on Google Cloud. For little to no customization, this course covers AutoML. For more tailored machine learning capabilities, this course introduces Notebooks and BigQuery machine learning (BigQuery ML). Also, this course covers how to productionalize machine learning solutions by using Vertex AI.
This course is part 1 of a 3-course series on Serverless Data Processing with Dataflow. In this first course, we start with a refresher of what Apache Beam is and its relationship with Dataflow. Next, we talk about the Apache Beam vision and the benefits of the Beam Portability framework. The Beam Portability framework achieves the vision that a developer can use their favorite programming language with their preferred execution backend. We then show you how Dataflow allows you to separate compute and storage while saving money, and how identity, access, and management tools interact with your Dataflow pipelines. Lastly, we look at how to implement the right security model for your use case on Dataflow.
In this course you will get hands-on in order to work through real-world challenges faced when building streaming data pipelines. The primary focus is on managing continuous, unbounded data with Google Cloud products.
In this intermediate course, you will learn to design, build, and optimize robust batch data pipelines on Google Cloud. Moving beyond fundamental data handling, you will explore large-scale data transformations and efficient workflow orchestration, essential for timely business intelligence and critical reporting. Get hands-on practice using Dataflow for Apache Beam and Serverless for Apache Spark (Dataproc Serverless) for implementation, and tackle crucial considerations for data quality, monitoring, and alerting to ensure pipeline reliability and operational excellence. A basic knowledge of data warehousing, ETL/ELT, SQL, Python, and Google Cloud concepts is recommended.
While the traditional approaches of using data lakes and data warehouses can be effective, they have shortcomings, particularly in large enterprise environments. This course introduces the concept of a data lakehouse and the Google Cloud products used to create one. A lakehouse architecture uses open-standard data sources and combines the best features of data lakes and data warehouses, which addresses many of their shortcomings.
Learn how to use Gemini Notebook to create a personalized study guide for the Professional Data Engineer certification exam. You'll review Gemini Notebook features, create a notebook in Gemini Notebook, and learn how to use a study guide to practice for a certification exam.
Sichern Sie sich ein Skill-Logo, indem Sie die Aufgabenreihe Serverlose APIs mit API Gateway bereitstellen und sichern abschließen. Dort lernen Sie, wie Sie mit dem vollständig verwalteten API Gateway APIs bereitstellen, schützen und verwalten.
Mit dem Skill-Logo „Daten mit Dataplex organisieren und verwalten“ weisen Sie die folgenden Kenntnisse nach: Dataplex-Assets erstellen, Aspekttypen erstellen und Aspekte auf Einträge in Dataplex anwenden. Mit Skill-Logos weisen Sie Ihr Wissen zu bestimmten Produkten im Rahmen praxisorientierter Labs und Challenge-Prüfungen nach. Absolvieren Sie einen Kurs, um ein Logo zu erhalten, oder nehmen Sie an einem Challenge-Lab teil, damit Sie Ihr Logo noch heute bekommen. Mit Logos können Sie Kenntnisse nachweisen, Ihr berufliches Profil schärfen und so Ihre Karrierechancen verbessern. Die bisher erhaltenen Logos können Sie in Ihrem Profil ansehen.
Sichern Sie sich ein Skill-Logo, indem Sie die Aufgabenreihe Ereignisgesteuerte Messaging- und Automatisierungs-Workflows implementieren abschließen. Dabei lernen Sie, wie Sie Pub/Sub über die Cloud Console verwenden, wie Cloud Scheduler-Jobs Ihnen die Arbeit erleichtern können und in welchen Fällen Sie mit Pub/Sub Lite bei der Aufnahme großer Ereignisdatenmengen Geld sparen können.
Sichern Sie sich ein Skill-Logo, indem Sie die Aufgabenreihe Google Cloud Compute: Grundlagen abschließen. Dabei lernen Sie, wie Sie Compute Engine bei der Arbeit mit virtuellen Maschinen (VMs), nichtflüchtigen Speichern und Webservern nutzen.
Mit dem Skill-Logo „Praxisorientierte KI-Anwendungen mit Gemini und Imagen entwickeln“ weisen Sie Grundkenntnisse in folgenden Bereichen nach: Bilderkennung, Natural Language Processing, Bildgenerierung mit den leistungsstarken Gemini- und Imagen-Modellen von Google sowie Bereitstellen von Anwendungen auf der Vertex AI-Plattform.
Verdienen Sie das Skill Badge, indem Sie den Kurs Sprachlösungen mit vortrainierten APIs implementieren absolvieren, in dem Sie lernen, wie Sie sprachbezogene API-Tools verwenden, um Sprache zu synthetisieren und zu transkribieren.
Cloud Storage, Cloud Functions und Cloud Pub/Sub sind Google Cloud- Plattformdienste, die zum Speichern, Verarbeiten und Verwalten von Daten verwendet werden können. Alle drei Dienste können zusammen verwendet werden, um eine Vielzahl datengesteuerter Anwendungen zu erstellen. In diesem Kurs verwenden Sie Cloud Storage zum Speichern von Bildern, Cloud Functions zum Verarbeiten der Bilder und Cloud Pub/Sub, um die Bilder an eine andere Anwendung zu senden.
Weisen Sie mit einem Skill-Logo Ihre Kenntnisse über Streamanalyse in BigQuery nach. In diesem Kurs wenden Sie sowohl Pub/Sub und Dataflow als auch BigQuery an, um Daten für die Analyse zu streamen.
Mit dem Skill-Logo zum Kurs Data Warehouse mit BigQuery erstellen weisen Sie fortgeschrittene Kenntnisse in folgenden Bereichen nach: Daten zusammenführen, um neue Tabellen zu erstellen, Probleme mit Joins lösen, Daten mit Unions anhängen, nach Daten partitionierte Tabellen erstellen und JSON, Arrays sowie Strukturen in BigQuery nutzen.
Mit dem Skill-Logo zum Kurs Informationen aus BigQuery-Daten ableiten weisen Sie Grundkenntnisse in folgenden Bereichen nach: Schreiben von SQL-Abfragen, Abfragen öffentlicher Tabellen, Laden von Beispieldaten in BigQuery, Beheben häufig auftretender Syntaxfehler mithilfe der Abfragevalidierung in BigQuery und Erstellen von Berichten in Data Studio durch Herstellen einer Verbindung zu BigQuery-Daten.
Mit dem Skill-Logo zum Kurs Daten für ML-APIs in Google Cloud vorbereiten weisen Sie Grundkenntnisse in folgenden Bereichen nach: Bereinigen von Daten mit Dataprep von Trifacta, Ausführen von Datenpipelines in Dataflow, Erstellen von Clustern und Ausführen von Apache Spark-Jobs in Managed Service for Apache Spark sowie Aufrufen von ML-APIs, einschließlich der Cloud Natural Language API, Cloud Speech-to-Text API und Video Intelligence API.
Mit dem Skill-Logo zum Kurs Daten für die Vorhersagemodellierung mit BigQuery ML vorbereiten weisen Sie fortgeschrittene Kenntnisse in folgenden Bereichen nach: Erstellen von Pipelines für die Datentransformation nach BigQuery mithilfe von Dataprep von Trifacta; Extrahieren, Transformieren und Laden (ETL) von Workflows mit Cloud Storage, Dataflow und BigQuery; und Erstellen von Machine-Learning-Modellen mithilfe von BigQuery ML.