Viacheslav Melnyk
成为会员时间:2022
黄金联赛
25305 积分
成为会员时间:2022
In the last installment of the Dataflow course series, we will introduce the components of the Dataflow operational model. We will examine tools and techniques for troubleshooting and optimizing pipeline performance. We will then review testing, deployment, and reliability best practices for Dataflow pipelines. We will conclude with a review of Templates, which makes it easy to scale Dataflow pipelines to organizations with hundreds of users. These lessons will help ensure that your data platform is stable and resilient to unanticipated circumstances.
In this second installment of the Dataflow course series, we are going to be diving deeper on developing pipelines using the Beam SDK. We start with a review of Apache Beam concepts. Next, we discuss processing streaming data using windows, watermarks and triggers. We then cover options for sources and sinks in your pipelines, schemas to express your structured data, and how to do stateful transformations using State and Timer APIs. We move onto reviewing best practices that help maximize your pipeline performance. Towards the end of the course, we introduce SQL and Dataframes to represent your business logic in Beam and how to iteratively develop pipelines using Beam notebooks.
This course is part 1 of a 3-course series on Serverless Data Processing with Dataflow. In this first course, we start with a refresher of what Apache Beam is and its relationship with Dataflow. Next, we talk about the Apache Beam vision and the benefits of the Beam Portability framework. The Beam Portability framework achieves the vision that a developer can use their favorite programming language with their preferred execution backend. We then show you how Dataflow allows you to separate compute and storage while saving money, and how identity, access, and management tools interact with your Dataflow pipelines. Lastly, we look at how to implement the right security model for your use case on Dataflow.
完成中级技能徽章课程使用 BigQuery 构建数据仓库,展示以下技能: 联接数据以创建新表、排查联接故障、使用并集附加数据、创建日期分区表, 以及在 BigQuery 中使用 JSON、数组和结构体。
完成在 Google Cloud 上实施云安全基础措施技能徽章中级课程, 展示自己在以下方面的技能:使用 Identity and Access Management (IAM) 创建和分配角色; 创建和管理服务账号;跨虚拟私有云 (VPC) 网络实现专用连接; 使用 Identity-Aware Proxy 限制应用访问权限; 使用 Cloud Key Management Service (KMS) 管理密钥和加密数据;创建专用 Kubernetes 集群。
完成用 Database Migration Service 将 MySQL 数据迁移至 Cloud SQL 这一入门级的技能徽章课程,展示您在以下方面的技能: 使用 Database Migration Service 中提供的不同作业类型和连接选项,将 MySQL 数据迁移到 Cloud SQL; 以及在运行 Database Migration Service 作业时 迁移 MySQL 用户数据。
完成中级技能徽章课程“在 BigQuery 中执行预测性数据分析”, 展示以下方面的技能:导入 CSV 和 JSON 文件,在 BigQuery 中创建数据集; 利用 BigQuery 的强大功能与精细的 SQL 分析概念,包括使用 BigQuery ML,根据足球比赛数据 来训练一个进球数预测模型,并评估世界杯进球的观赏性。
完成用 Google Data Cloud 共享数据技能徽章课程,赢取技能 徽章。您将获得使用 Google Cloud 数据共享合作伙伴 的实操经验,这些合作伙伴拥有专有数据集, 客户可将其用于自己的分析应用场景。客户订阅这些数据集,可在自己的 平台上查询,然后使用自己的数据集加以扩充,并使用自己的可视化 工具,用于面向客户的信息中心。
完成中级技能徽章课程在 Looker 中管理数据 模型,展示以下方面的技能:维护 LookML 项目的健康状况;利用 SQL Runner 进行数据验证;采用 LookML 最佳实践;优化查询和 报告;以及实现永久性派生表和缓存政策。
完成在 Looker 中构建 LookML 对象入门技能徽章课程,展示以下方面的技能: 构建新的维度、测量、视图和派生表;根据需求设置测量的过滤条件和 类型;更新维度和测量; 构建并优化探索;将视图联接到现有探索;并根据业务需求 决定要创建哪些 LookML 对象。
完成中级技能徽章课程通过 BigQuery ML 创建机器学习模型,展示您在以下方面的技能: 使用 BigQuery ML 创建和评估机器学习模型,以执行数据预测。
完成入门级技能徽章课程“从 BigQuery 数据中挖掘数据洞见”,展示您在以下方面的技能: 编写 SQL 查询、查询公共表、将示例数据加载到 BigQuery 中、 在 BigQuery 中使用查询验证器排查常见的语法错误,以及通过连接到 BigQuery 数据在 Data Studio 中 创建报告。
完成为 Looker 信息中心和报告准备数据入门级技能徽章课程, 展现您在以下方面的技能:对数据进行过滤、排序和透视;将来自不同 Looker 探索的结果合并; 以及使用函数和运算符构建 Looker 信息中心和报告以用于数据分析和可视化。
完成借助 Firebase 开发无服务器应用技能徽章中级课程, 展示您在以下方面的技能:借助 Firebase 设计无服务器 Web 应用架构以及构建无服务器 Web 应用; 利用 Firestore 管理数据库;利用 Cloud Build 自动完成部署流程; 以及将 Google 助理功能集成到您的应用中。
完成在 Cloud Run 上开发无服务器应用技能徽章中级课程, 展示您在以下方面的技能:集成 Cloud Run 与 Cloud Storage 以管理数据, 使用 Cloud Run 和 Pub/Sub 设计弹性异步系统架构, 构建依托 Cloud Run 技术的 REST API 网关,以及在 Cloud Run 上构建和部署服务。
完成中级技能徽章课程“优化 Google Kubernetes Engine 的费用”, 展示您在以下方面的技能:创建和管理多租户集群、按命名空间监控资源使用情况、 配置集群和 Pod 自动扩缩以提高效率、设置负载均衡以实现最佳资源分布, 以及实现活跃性与就绪性探测以确保应用正常运行并具有成本效益。
完成在 Google Cloud 上使用 Terraform 构建基础设施技能徽章中级课程, 展示您在以下方面的技能:在使用 Terraform 时遵循基础设施即代码 (IaC) 原则;利用 Terraform 配置 来预配和管理 Google Cloud 资源;管理有效状态(本地和远程);以及将 Terraform 代码模块化,以方便重复使用和整理。
Learn how to use Gemini Notebook to create a personalized study guide for the Professional Cloud Architect certification exam. You'll review Gemini Notebook features, create a notebook in Gemini Notebook, and learn how to use a study guide to practice for a certification exam.
完成在 Google Cloud 上部署 Kubernetes 应用技能徽章中级课程,展示您在以下方面的技能: 配置和构建 Docker 容器映像,创建和管理 Google Kubernetes Engine (GKE) 集群,利用 kubectl 实现高效 集群管理,以及按照稳健的持续交付 (CD) 实践部署 Kubernetes 应用。
完成入门级技能徽章课程为 Compute Engine 实现云负载均衡,展示以下方面的技能: 在 Compute Engine 中创建和部署虚拟机 以及配置网络和应用负载均衡器。
完成在 Google Cloud 上构建网站技能徽章课程,赢取入门级技能徽章。本课程以 Get Cooking in Cloud 系列视频为基础, 涵盖以下主题:在 Cloud Run 上部署网站在 Compute Engine 上托管 Web 应用在 Google Kubernetes Engine 上创建、部署和扩缩网站使用 Cloud Build 从单体式应用迁移到微服务架构
完成中级技能徽章课程利用 BigQuery ML 构建预测模型时的数据工程处理, 展示自己在以下方面的技能:利用 Dataprep by Trifacta 构建 BigQuery 数据转换流水线; 利用 Cloud Storage、Dataflow 和 BigQuery 构建提取、转换和加载 (ETL) 工作流; 以及利用 BigQuery ML 构建机器学习模型。
完成设置 Google Cloud 网络课程,赢取技能徽章, 您将了解如何在 Google Cloud Platform 上执行基本的网络组建和管理任务 - 创建自定义网络、添加子网防火墙规则,然后创建虚拟机并测试 虚拟机之间相互通信时的延迟时间。
完成开发 Google Cloud 网络课程,赢取技能徽章。在此课程中,您将学习 部署和监控应用的多种方法,包括执行以下任务的方法:探索 IAM 角色并添加/移除 项目访问权限、创建 VPC 网络、部署和监控 Compute Engine 虚拟机、 编写 SQL 查询、在 Compute Engine 中部署和监控虚拟机,以及使用 Kubernetes 通过多种部署方法部署应用。
完成入门级技能徽章课程在 Google Cloud 上为机器学习 API 准备数据,展示以下技能: 使用 Dataprep by Trifacta 清理数据、在 Dataflow 中运行数据流水线、在 Managed Service for Apache Spark 中创建集群和运行 Apache Spark 作业,以及调用机器学习 API,包括 Cloud Natural Language API、Google Cloud Speech-to-Text API 和 Video Intelligence API。
完成“在 Google Cloud 上设置应用开发环境”课程,赢取技能徽章;通过该课程,您将了解如何使用以下技术的基本功能来构建和连接以存储为中心的云基础设施: Cloud Storage、Identity and Access Management、Cloud Functions 和 Pub/Sub。