Mateus Oliveira dos Santos
成为会员时间:2023
钻石联赛
40229 积分
成为会员时间:2023
In this advanced challenge lab, you act as a Data Engineer for the Chicago Police Department. You will manage a high-stakes data integration project, moving IUCR reference data from Cloud Storage into BigQuery using code-free Dataproc Spark templates. Beyond simple ingestion, you will use BigQuery SQL to audit data quality, identify structural discrepancies like missing zero-padding, and reconcile mismatches between transaction records and reference tables to ensure analytical accuracy.
This lab tests your ability to develop a real-world Generative AI Q&A solution using a RAG framework. You will use Firestore as a vector database and deploy a Flask app as a user interface to query a food safety knowledge base.
In this advanced challenge lab, you act as a Data Engineer for Cymbal Direct, a retail company integrating real-time movie review data into a marketing pipeline. You are responsible for building two distinct streaming architectures. First, you will implement a direct, code-free ingestion path using Pub/Sub BigQuery subscriptions. Second, you will deploy a sophisticated Dataflow pipeline that uses JavaScript User-Defined Functions (UDFs) to transform raw text into numerical data before it reaches BigQuery, all while managing high-velocity data generated by a simulated stream.
In this course you will get hands-on in order to work through real-world challenges faced when building streaming data pipelines. The primary focus is on managing continuous, unbounded data with Google Cloud products.
本课程展示了如何在 BigQuery 中使用 AI/机器学习模型处理生成式 AI 任务。通过一个涉及客户关系管理的实际应用场景,您将学习到使用 Gemini 模型解决业务问题的工作流程。为了便于理解,本课程还将通过使用 SQL 查询和 Python 笔记本的编码解决方案提供分步指导。
此课程将探索如何使用 AI 功能套件 Gemini in BigQuery 为“数据到 AI”工作流提供助力。其中涉及到的功能包括数据探索和准备、代码生成和问题排查,以及工作流发现和可视化。此课程包含概念解释、真实使用场景以及实操实验等内容,可帮助数据从业者提升效率并加快流水线开发速度。
在本课程中,您将了解 Google Cloud 数据工程、数据工程师的角色和职责,以及相关的 Google Cloud 产品和服务。您还将了解如何应对数据工程挑战。
完成在 Cloud Run 上开发无服务器应用技能徽章中级课程, 展示您在以下方面的技能:集成 Cloud Run 与 Cloud Storage 以管理数据, 使用 Cloud Run 和 Pub/Sub 设计弹性异步系统架构, 构建依托 Cloud Run 技术的 REST API 网关,以及在 Cloud Run 上构建和部署服务。
完成在 Google Cloud 中管理 Kubernetes这一中级技能徽章课程, 展示您在以下方面的技能:使用 kubectl 管理部署、监控并 调试在 Google Kubernetes Engine (GKE) 上运行的应用,以及持续交付技术。
完成本课程,赢取使用智能体开发套件 (ADK) 构建 AI 智能体中级技能徽章,展示您在以下方面的技能: 提出实际的语言模型研究问题;构建一个简单的词元化器;制作用于训练 Transformer 语言模型的数据集;运行小语言模型的训练循环。
完成 云架构:设计、实施和管理课程,赢取技能徽章,展示您在以下方面的技能:使用 Apache Web 服务器部署可公开访问的网站;使用启动脚本配置 Compute Engine 虚拟机; 使用 Windows 堡垒主机和防火墙规则配置安全 RDP;构建 Docker 映像并将其部署到 Kubernetes 集群,然后进行更新;以及创建 CloudSQL 实例并导入 MySQL 数据库。 此技能徽章课程是非常有用的资源, 可帮助您理解 Google Cloud 认证 Professional Cloud Architect 认证考试中将会出现的主题。
完成在 Google Cloud 上实施云安全基础措施技能徽章中级课程, 展示自己在以下方面的技能:使用 Identity and Access Management (IAM) 创建和分配角色; 创建和管理服务账号;跨虚拟私有云 (VPC) 网络实现专用连接; 使用 Identity-Aware Proxy 限制应用访问权限; 使用 Cloud Key Management Service (KMS) 管理密钥和加密数据;创建专用 Kubernetes 集群。
完成“在 Google Cloud 上设置应用开发环境”课程,赢取技能徽章;通过该课程,您将了解如何使用以下技术的基本功能来构建和连接以存储为中心的云基础设施: Cloud Storage、Identity and Access Management、Cloud Functions 和 Pub/Sub。
“生成式 AI 智能体:助力组织转型”是“Gen AI Leader”学习路线中的第五门课程,也是最后一门课程。本课程探讨了组织如何使用量身定制的生成式 AI 智能体,帮助应对特定的业务挑战。您将亲自动手构建一个基本的生成式 AI 智能体,并探索这些智能体的组成部分,例如模型、推理循环以及各种工具。
“生成式 AI 应用:改变工作方式”是 Generative AI Leader 学习路线的第四门课程。本课程介绍 Google 的生成式 AI 应用,例如 Gemini for Workspace 和 NotebookLM。它将引导您逐一了解接地、检索增强生成、构建有效提示和构建自动化工作流等概念。
“生成式 AI: 全面了解生成式 AI”是 Generative AI Leader 学习路线中的第三门课程。生成式 AI 正在改变我们的工作方式,以及我们与周围世界的互动方式。作为领导者,应该如何利用生成式 AI 来推动实现实际的业务成果?在本课程中,您将探索构建生成式 AI 解决方案的不同层级、Google Cloud 的产品,以及选择解决方案时需要考虑的因素。
“生成式 AI: 剖析基本概念”是 Generative AI Leader 学习路线中的第二门课程。在本课程中,您将了解生成式 AI 的基本概念。您要探索 AI、机器学习和生成式 AI 之间的区别,了解各种数据类型如何赋能生成式 AI,从而应对各种业务挑战。您还将深入了解 Google Cloud 应对基础模型局限性的策略,以及负责任和安全的 AI 开发与部署面临着哪些关键挑战。
“生成式 AI:不只是聊天机器人”是 Generative AI Leader 学习路线中的第一门课程。学习本课程没有知识门槛。本课程旨在帮助您超越对聊天机器人的基本认知,探索生成式 AI技术为您的组织带来的真正潜力。您将探索基础模型和提示工程等概念,这些知识对利用生成式 AI 的强大功能至关重要。本课程还将说明,为组织制定成功的生成式 AI 策略时,需要考虑哪些重要因素。
完成“创建和管理 Cloud SQL for PostgreSQL 实例”这一入门级的技能徽章课程,展示您在以下方面的技能: 迁移、配置和管理 Cloud SQL for PostgreSQL 实例及数据库。
完成创建和管理 Cloud Spanner 实例 这一入门级技能徽章课程,展示您在以下方面的技能: 创建 Cloud Spanner 实例和数据库并与之互动; 使用各种方法加载 Cloud Spanner 数据库; 备份 Cloud Spanner 数据库;定义架构并了解查询计划; 部署连接到 Cloud Spanner 实例的现代 Web 应用。
完成入门级技能徽章课程创建和管理 AlloyDB 实例,展示您在以下方面的技能:执行核心 AlloyDB 操作 和任务、从 PostgreSQL 迁移到 AlloyDB、管理 AlloyDB 数据库,以及 使用 AlloyDB 列式引擎加速分析查询。
完成中级技能徽章课程利用 BigQuery ML 构建预测模型时的数据工程处理, 展示自己在以下方面的技能:利用 Dataprep by Trifacta 构建 BigQuery 数据转换流水线; 利用 Cloud Storage、Dataflow 和 BigQuery 构建提取、转换和加载 (ETL) 工作流; 以及利用 BigQuery ML 构建机器学习模型。
In the last installment of the Dataflow course series, we will introduce the components of the Dataflow operational model. We will examine tools and techniques for troubleshooting and optimizing pipeline performance. We will then review testing, deployment, and reliability best practices for Dataflow pipelines. We will conclude with a review of Templates, which makes it easy to scale Dataflow pipelines to organizations with hundreds of users. These lessons will help ensure that your data platform is stable and resilient to unanticipated circumstances.
完成入门技能徽章课程使用 Knowledge Catalog 构建数据网格,展示以下方面的技能:使用 Knowledge Catalog 构建数据网格, 以在 Google Cloud 上实现数据安全、治理和发现。您将在 Knowledge Catalog 中练习和测试自己在标记资产、分配 IAM 角色和评估数据质量方面的技能。
完成中级技能徽章课程使用 BigQuery 构建数据仓库,展示以下技能: 联接数据以创建新表、排查联接故障、使用并集附加数据、创建日期分区表, 以及在 BigQuery 中使用 JSON、数组和结构体。
In this second installment of the Dataflow course series, we are going to be diving deeper on developing pipelines using the Beam SDK. We start with a review of Apache Beam concepts. Next, we discuss processing streaming data using windows, watermarks and triggers. We then cover options for sources and sinks in your pipelines, schemas to express your structured data, and how to do stateful transformations using State and Timer APIs. We move onto reviewing best practices that help maximize your pipeline performance. Towards the end of the course, we introduce SQL and Dataframes to represent your business logic in Beam and how to iteratively develop pipelines using Beam notebooks.
完成入门级技能徽章课程为 Compute Engine 实现云负载均衡,展示以下方面的技能: 在 Compute Engine 中创建和部署虚拟机 以及配置网络和应用负载均衡器。
This course is part 1 of a 3-course series on Serverless Data Processing with Dataflow. In this first course, we start with a refresher of what Apache Beam is and its relationship with Dataflow. Next, we talk about the Apache Beam vision and the benefits of the Beam Portability framework. The Beam Portability framework achieves the vision that a developer can use their favorite programming language with their preferred execution backend. We then show you how Dataflow allows you to separate compute and storage while saving money, and how identity, access, and management tools interact with your Dataflow pipelines. Lastly, we look at how to implement the right security model for your use case on Dataflow.
Incorporating machine learning into data pipelines increases the ability to extract insights from data. This course covers ways machine learning can be included in data pipelines on Google Cloud. For little to no customization, this course covers AutoML. For more tailored machine learning capabilities, this course introduces Notebooks and BigQuery machine learning (BigQuery ML). Also, this course covers how to productionalize machine learning solutions by using Vertex AI.
This 1-week, accelerated on-demand course builds upon Google Cloud Platform Big Data and Machine Learning Fundamentals. Through a combination of video lectures, demonstrations, and hands-on labs, you'll learn to build streaming data pipelines using Google cloud Pub/Sub and Dataflow to enable real-time decision making. You will also learn how to build dashboards to render tailored output for various stakeholder audiences.
In this intermediate course, you will learn to design, build, and optimize robust batch data pipelines on Google Cloud. Moving beyond fundamental data handling, you will explore large-scale data transformations and efficient workflow orchestration, essential for timely business intelligence and critical reporting. Get hands-on practice using Dataflow for Apache Beam and Serverless for Apache Spark (Dataproc Serverless) for implementation, and tackle crucial considerations for data quality, monitoring, and alerting to ensure pipeline reliability and operational excellence. A basic knowledge of data warehousing, ETL/ELT, SQL, Python, and Google Cloud concepts is recommended.
完成入门级技能徽章课程为 Compute Engine 实现云负载均衡,展示以下方面的技能: 在 Compute Engine 中创建和部署虚拟机 以及配置网络和应用负载均衡器。
完成入门级技能徽章课程在 Google Cloud 上为机器学习 API 准备数据,展示以下技能: 使用 Dataprep by Trifacta 清理数据、在 Dataflow 中运行数据流水线、在 Managed Service for Apache Spark 中创建集群和运行 Apache Spark 作业,以及调用机器学习 API,包括 Cloud Natural Language API、Google Cloud Speech-to-Text API 和 Video Intelligence API。
While the traditional approaches of using data lakes and data warehouses can be effective, they have shortcomings, particularly in large enterprise environments. This course introduces the concept of a data lakehouse and the Google Cloud products used to create one. A lakehouse architecture uses open-standard data sources and combines the best features of data lakes and data warehouses, which addresses many of their shortcomings.
This course introduces the Google Cloud big data and machine learning products and services that support the data-to-AI lifecycle. It explores the processes, challenges, and benefits of building a big data pipeline and machine learning models with Vertex AI on Google Cloud.
This course helps learners create a study plan for the PDE (Professional Data Engineer) certification exam. Learners explore the breadth and scope of the domains covered in the exam. Learners assess their exam readiness and create their individual study plan.