In this intermediate course, you will learn to design, build, and optimize robust batch data pipelines on Google Cloud. Moving beyond fundamental data handling, you will explore large-scale data transformations and efficient workflow orchestration, essential for timely business intelligence and critical reporting. Get hands-on practice using Dataflow for Apache Beam and Serverless for Apache Spark (Dataproc Serverless) for implementation, and tackle crucial considerations for data quality, monitoring, and alerting to ensure pipeline reliability and operational excellence. A basic knowledge of data warehousing, ETL/ELT, SQL, Python, and Google Cloud concepts is recommended.
完成中级技能徽章课程使用 BigQuery 构建数据仓库,展示以下技能: 联接数据以创建新表、排查联接故障、使用并集附加数据、创建日期分区表, 以及在 BigQuery 中使用 JSON、数组和结构体。
在本课程中,您将了解 Google Cloud 数据工程、数据工程师的角色和职责,以及相关的 Google Cloud 产品和服务。您还将了解如何应对数据工程挑战。
完成 实现事件驱动的即时消息和自动化工作流技能徽章课程,赢取技能徽章。 在这门课程中,您将学习如何通过 Cloud 控制台使用 Pub/Sub、如何使用 Cloud Scheduler 作业减轻工作量,以及在哪些用例中可以使用 Pub/Sub Lite 来节省大量事件提取的开支。