Hitesh Ahuja
회원 가입일: 2025
회원 가입일: 2025
This course helps learners create a study plan for the PDE (Professional Data Engineer) certification exam. Learners explore the breadth and scope of the domains covered in the exam. Learners assess their exam readiness and create their individual study plan.
이 과정은 BigQuery에서 생성형 AI 작업에 AI/ML 모델을 사용하는 방법을 보여줍니다. 고객 관계 관리와 관련된 실제 사용 사례를 통해 Gemini 모델로 비즈니스 문제를 해결하는 워크플로를 설명합니다. 이해를 돕기 위해 SQL 쿼리와 Python 노트북을 사용하는 코딩 솔루션을 단계별로 안내합니다.
이 과정에서는 스트리밍 데이터 파이프라인을 빌드할 때 직면하는 실제 과제를 해결하기 위해 실습을 진행합니다. Google Cloud 제품을 사용하여 지속적이고 무제한적인 데이터를 관리하는 데 중점을 둡니다.
이 과정에서는 데이터-AI 워크플로를 지원하는 AI 기반 기능 모음인 BigQuery의 Gemini에 관해 살펴봅니다. 이러한 기능에는 데이터 탐색 및 준비, 코드 생성 및 문제 해결, 워크플로 탐색 및 시각화 등이 있습니다. 이 과정은 개념 설명, 실제 사용 사례, 실무형 실습을 통해 데이터 실무자가 생산성을 향상하고 개발 파이프라인의 속도를 높이는 데 도움이 됩니다.
In this second installment of the Dataflow course series, we are going to be diving deeper on developing pipelines using the Beam SDK. We start with a review of Apache Beam concepts. Next, we discuss processing streaming data using windows, watermarks and triggers. We then cover options for sources and sinks in your pipelines, schemas to express your structured data, and how to do stateful transformations using State and Timer APIs. We move onto reviewing best practices that help maximize your pipeline performance. Towards the end of the course, we introduce SQL and Dataframes to represent your business logic in Beam and how to iteratively develop pipelines using Beam notebooks.
초급 Dataplex로 데이터 메시 빌드하기 기술 배지 과정을 완료하여, Dataplex를 통해 데이터 메시를 빌드해 Google Cloud에서 데이터 보안, 거버넌스, 탐색을 활용하는 역량을 입증하세요. Dataplex에서 애셋에 태그를 지정하고, IAM 역할을 할당하고, 데이터 품질을 평가하는 기술을 연습하고 테스트할 수 있습니다.
중급 BigQuery로 데이터 웨어하우스 빌드 기술 배지를 완료하여 데이터를 조인하여 새 테이블 만들기, 조인 관련 문제 해결, 합집합으로 데이터 추가, 날짜로 파티션을 나눈 테이블 만들기, BigQuery에서 JSON, 배열, 구조체 작업하기와 관련된 기술 역량을 입증하세요.
In the last installment of the Dataflow course series, we will introduce the components of the Dataflow operational model. We will examine tools and techniques for troubleshooting and optimizing pipeline performance. We will then review testing, deployment, and reliability best practices for Dataflow pipelines. We will conclude with a review of Templates, which makes it easy to scale Dataflow pipelines to organizations with hundreds of users. These lessons will help ensure that your data platform is stable and resilient to unanticipated circumstances.
This course is part 1 of a 3-course series on Serverless Data Processing with Dataflow. In this first course, we start with a refresher of what Apache Beam is and its relationship with Dataflow. Next, we talk about the Apache Beam vision and the benefits of the Beam Portability framework. The Beam Portability framework achieves the vision that a developer can use their favorite programming language with their preferred execution backend. We then show you how Dataflow allows you to separate compute and storage while saving money, and how identity, access, and management tools interact with your Dataflow pipelines. Lastly, we look at how to implement the right security model for your use case on Dataflow.
이 중급 과정에서는 Google Cloud에서 강력한 일괄 데이터 파이프라인을 설계, 빌드, 최적화하는 방법을 알아봅니다. 기본적인 데이터 처리를 넘어, 시의적절한 비즈니스 인텔리전스와 중요한 보고에 필수적인 대규모 데이터 변환과 효율적인 워크플로 조정에 대해 살펴봅니다. Apache Beam용 Dataflow와 Apache Spark용 서버리스(Dataproc Serverless)를 사용하여 구현을 실습하고, 파이프라인 안정성과 운영 우수성을 보장하기 위해 데이터 품질, 모니터링, 알림에 대한 중요한 고려사항을 다룹니다. 데이터 웨어하우징, ETL/ELT, SQL, Python, Google Cloud 개념에 대한 기본적인 지식이 있으면 좋습니다.
데이터 레이크와 데이터 웨어하우스를 사용하는 기존 접근방식은 효과적일 수 있지만, 특히 대규모 엔터프라이즈 환경에서는 단점이 있습니다. 이 과정에서는 데이터 레이크하우스의 개념과 데이터 레이크하우스를 만드는 데 사용되는 Google Cloud 제품을 소개합니다. 레이크하우스 아키텍처는 개방형 표준 데이터 소스를 사용하며 데이터 레이크와 데이터 웨어하우스의 장점을 결합하여 많은 단점을 해결합니다.
초급 BigQuery 데이터에서 인사이트 도출 기술 배지 과정을 완료하여 SQL 쿼리 작성, 공개 테이블 쿼리, BigQuery로 샘플 데이터 로드, BigQuery의 쿼리 검사기를 통한 일반적인 문법 오류 문제 해결, BigQuery 데이터를 연결해 Looker Studio에서 보고서를 생성하는 작업과 관련된 기술 역량을 입증하세요.
이 과정에서는 Google Cloud의 데이터 엔지니어링, 데이터 엔지니어의 역할과 책임, 그리고 이러한 요소가 Google Cloud 제공 서비스와 어떻게 연결되는지에 대해 알아봅니다. 또한 데이터 엔지니어링 과제를 해결하는 방법에 대해서도 배우게 됩니다.
Google Cloud : Prompt Engineering Guide examines generative AI tools, how they work. We'll explore how to combine Google Cloud knowledge with prompt engineering to improve Gemini responses.
중급 Google Cloud에서 Kubernetes 애플리케이션 배포하기 기술 배지 과정을 완료하여 Docker 컨테이너 이미지 구성 및 빌드, Google Kubernetes Engine(GKE) 클러스터 생성 및 관리, kubectl을 활용한 효율적인 클러스터 관리, 강력한 지속적 배포(CD) 관행으로 Kubernetes 애플리케이션 배포를 위한 기술을 갖추었음을 입증하세요.
중급 Google Cloud에서 Cloud 보안 기본사항 구현하기 기술 배지 과정을 완료하여 Identity and Access Management(IAM)로 역할 생성 및 할당, 서비스 계정 생성 및 관리, 가상 프라이빗 클라우드(VPC) 네트워크에서 비공개 연결 사용 설정, IAP(Identity-Aware Proxy)를 사용한 애플리케이션 액세스 제한, Cloud Key Management Service(KMS)를 사용한 키와 암호화된 데이터 관리, 비공개 Kubernetes 클러스터 생성과 관련된 기술 역량을 입증하세요.
안전한 Google Cloud 네트워크 빌드 과정을 완료하여 기술 배지를 획득하세요. 이 과정에서는 Google Cloud에서 애플리케이션을 빌드, 확장, 보호하는 데 필요한 다양한 네트워킹 관련 리소스에 대해 배울 수 있습니다.
이 속성 주문형 과정은 참가자에게 Google Cloud에서 제공하는 포괄적이고 유연한 인프라 및 플랫폼 서비스를 Compute Engine을 중심으로 소개합니다. 참가자는 동영상 강의, 데모, 실무형 실습을 통해 네트워크, 시스템, 애플리케이션 서비스와 같은 인프라 구성요소를 포함한 솔루션 요소를 탐색하고 배포해 볼 수 있습니다. 또한 이 과정에서는 고객 제공 암호화 키, 보안 및 액세스 관리, 할당량 및 요금 청구, 리소스 모니터링 등 실용적인 솔루션을 배포하는 방법에 대해서도 설명합니다.
Google Cloud 앱 개발 환경 설정 과정을 완료하여 기술 배지를 획득하세요. Cloud Storage, Identity and Access Management, Cloud Functions, Pub/Sub의 기본 기능을 사용하여 스토리지 중심 클라우드 인프라를 구축하고 연결하는 방법을 배울 수 있습니다.
이 속성 주문형 과정은 참가자에게 Google Cloud에서 제공하는 포괄적이고 유연한 인프라 및 플랫폼 서비스를 Compute Engine을 중심으로 소개합니다. 참가자는 동영상 강의, 데모, 실무형 실습을 통해 네트워크, 가상 머신, 애플리케이션 서비스와 같은 인프라 구성요소를 포함한 솔루션 요소를 탐색하고 배포해 볼 수 있습니다. Console과 Cloud Shell을 통해 Google Cloud를 사용하는 방법을 학습합니다. 또한 클라우드 설계자의 역할, 인프라 설계 접근 방식은 물론 Virtual Private Cloud(VPC), 프로젝트, 네트워크, 서브네트워크, IP 주소, 경로, 방화벽 규칙을 사용한 가상 네트워킹 구성에 대해 알아봅니다.
이 초급 과정에서는 Google Cloud의 기본 도구 및 서비스를 직접 사용해 보는 실무형 실습을 진행합니다. 선택사항으로 제공되는 동영상에서는 실습에서 다룬 개념을 자세히 살펴보고 복습합니다. Google Cloud 필수 정보는 Google Cloud 학습자에게 추천되는 첫 번째 과정입니다. 클라우드에 대한 사전 지식이 거의 없거나 전혀 없더라도 첫 Google Cloud 프로젝트에 적용할 수 있는 실무 경험을 쌓을 수 있습니다. Cloud Shell 명령어 작성, 첫 번째 가상 머신 배포, Kubernetes Engine에서의 애플리케이션 실행, 부하 분산 등 Google Cloud 필수 정보에서는 플랫폼의 기본 기능을 소개합니다.
Google Cloud 기초: 핵심 인프라 과정은 Google Cloud 사용에 관한 중요한 개념 및 용어를 소개합니다. 이 과정에서는 동영상 및 실무형 실습을 통해 중요한 리소스 및 정책 관리 도구와 함께 Google Cloud의 다양한 컴퓨팅 및 스토리지 서비스를 살펴보고 비교합니다.