Dataflow 과정 시리즈의 두 번째 편에서는 Beam SDK를 사용하여 파이프라인을 개발하는 방법을 자세히 살펴보겠습니다. 먼저 Apache Beam 개념에 대한 복습부터 시작하겠습니다. 다음으로 윈도우, 워터마크, 트리거를 사용하여 스트리밍 데이터를 처리하는 방법을 알아봅니다. 그런 다음 파이프라인의 소스 및 싱크 옵션, 정형 데이터를 표현하는 스키마, State 및 Timer API를 사용하여 스테이트풀(Stateful) 변환을 수행하는 방법을 다룹니다. 이제 파이프라인 성능을 극대화하는 데 도움이 되는 권장사항을 살펴보겠습니다. 과정의 마지막 부분에서는 Beam에서 비즈니스 로직을 표현하기 위한 SQL과 DataFrame을 소개하고 Beam 노트북을 사용하여 파이프라인을 반복적으로 개발하는 방법을 알아봅니다.
규모와 관계없이 모든 조직이 클라우드의 강력한 기능과 유연성을 활용하여 운영 방식을 혁신하고 있습니다. 하지만 클라우드 리소스를 효과적으로 관리하고 확장하는 것은 복잡한 작업일 수 있습니다. 이 과정에서는 클라우드의 현대적 운영, 안정성, 복원력의 기본 개념과 Google Cloud가 이러한 노력을 지원하는 데 어떤 도움이 되는지 살펴봅니다. Cloud Digital Leader 학습 과정의 일부인 이 과정은 개인이 자신의 역할에서 성장하고 비즈니스의 미래를 구축할 수 있도록 돕는 것을 목표로 합니다.
많은 기존 기업은 최신 고객 기대에 부응할 수 없는 기존 시스템과 앱을 사용합니다. 비즈니스 리더는 노후화된 IT 시스템을 유지할지 아니면 새로운 제품과 서비스에 투자할지 결정해야 하는 경우가 많습니다. 이 과정에서는 이러한 과제를 살펴보고 클라우드 기술을 사용하여 이를 극복할 수 있는 솔루션을 제공합니다. Cloud Digital Leader 학습 과정의 일부인 이 과정은 개인이 자신의 역할에서 성장하고 비즈니스의 미래를 구축하는 데 도움이 되는 것을 목표로 합니다.
클라우드 기술은 강력한 자산이며, 데이터와 결합하면 혁신과 향상된 고객 경험을 위한 촉매제가 됩니다. 'Google Cloud를 통한 데이터 혁신 살펴보기' 과정에서는 조직이 클라우드를 활용하여 데이터의 접근성, 실행 가능성, 가치를 높이는 방법을 살펴봅니다. Cloud Digital Leader 학습 과정의 일부인 이 과정은 개인이 자신의 역할에서 성장하고 비즈니스의 미래를 구축하는 데 도움이 되는 것을 목표로 합니다.
디지털 혁신은 현대 조직에 있어 중요한 여정이며, 의미 있는 혁신으로 나아가기 위해서는 가장 먼저 클라우드 컴퓨팅에 대한 강력한 기준을 수립해야 합니다. 'Google Cloud를 통한 디지털 혁신' 과정에서는 조직이 운영을 현대화하는 데 도움이 되는 핵심 기술과 전략적 프레임워크를 소개합니다. 이 과정에서는 기본적인 클라우드 개념, 글로벌 네트워크 인프라, 공동 책임 모델을 살펴보고 리더가 클라우드로의 전환을 자신 있게 이끌 수 있도록 지원합니다. Cloud Digital Leader 학습 과정의 일부인 이 과정은 개인이 자신의 역할에서 성장하고 비즈니스의 미래를 구축할 수 있도록 돕는 것을 목표로 합니다.
Google Cloud에서 머신러닝을 구현하기 위한 권장사항에는 어떤 것이 있을까요? Vertex AI란 무엇이고, 이 플랫폼을 사용하여 코드는 한 줄도 작성하지 않고 AutoML 머신러닝 모델을 빠르게 빌드, 학습, 배포하려면 어떻게 해야 할까요? 머신러닝이란 무엇이며 어떤 종류의 문제를 해결할 수 있을까요? Google은 머신러닝을 조금 다른 방식으로 바라봅니다. Google이 머신러닝과 관련하여 중요하게 생각하는 것은 관리형 데이터 세트를 위한 통합 플랫폼과 특징 저장소를 제공하고, 코드를 작성하지 않고도 머신러닝 모델을 빌드, 학습, 배포할 방법을 제공하고, 데이터에 라벨을 지정하고, TensorFlow, scikit-learn, Pytorch, R 등과 같은 프레임워크를 사용하여 Workbench 노트북을 만들 수 있도록 지원하는 것입니다. Google의 Vertex AI 플랫폼에는 커스텀 모델을 학습시키고, 구성요소 파이프라인을 빌드하고, 온라인 및 일괄 예측을 실행하는 기능이 포함되어 있습니다. 후보 사용 사례를 머신러닝으로 구동되도록 변환하는 5단계를 살펴보고, 단계를 건너뛰지 않는 것이 중요한 이유를 알아봅니다. 마지막으로, 머신러닝이 증폭시킬 수 있는 편향과 이를 인식할 방법을 살펴봅니다.
초급 Bigtable 인스턴스 만들고 관리하기 기술 배지 과정을 완료하여 인스턴스 만들기, 스키마 설계, 데이터 쿼리, Bigtable의 관리 작업 수행(성능 모니터링, 노드 자동 확장 및 복제 구성 등)과 관련된 기술 역량을 입증하세요.
초급 Cloud Spanner 인스턴스 만들고 관리하기 기술 배지 과정을 완료하여 Cloud Spanner 인스턴스 및 데이터베이스를 만들고 상호작용하기, 다양한 기법을 사용하여 Cloud Spanner 데이터베이스 로드, Cloud Spanner 데이터베이스 백업, 스키마 정의 및 쿼리 계획 이해, Cloud Spanner 인스턴스에 연결된 최신 웹 앱 배포와 관련된 기술 역량을 입증하세요.
This course is intended to give architects, engineers, and developers the skills required to help enterprise customers architect, plan, execute, and test database migration projects. Through a combination of presentations, demos, and hands-on labs participants move databases to Google Cloud while taking advantage of various services. This course covers how to move on-premises, enterprise databases like SQL Server to Google Cloud (Compute Engine and Cloud SQL) and Oracle to Google Cloud bare metal.
Google Cloud 기초: 핵심 인프라 과정은 Google Cloud 사용에 관한 중요한 개념 및 용어를 소개합니다. 이 과정에서는 동영상 및 실무형 실습을 통해 중요한 리소스 및 정책 관리 도구와 함께 Google Cloud의 다양한 컴퓨팅 및 스토리지 서비스를 살펴보고 비교합니다.
이 과정은 Dataflow를 사용한 서버리스 데이터 처리에 관한 3개 과정으로 이루어진 시리즈 중 1부입니다. 이 첫 번째 과정에서는 Apache Beam이 무엇인지, Dataflow와 어떤 관계가 있는지 복습하는 내용으로 시작합니다. 다음으로 Apache Beam의 비전과 Beam 이식성 프레임워크의 이점에 대해 설명합니다. Beam 이식성 프레임워크는 개발자가 선호하는 프로그래밍 언어를 원하는 실행 백엔드와 함께 사용할 수 있다는 비전을 실현합니다. 그런 다음 Dataflow를 통해 컴퓨팅과 스토리지를 분리하면서 비용을 절감하는 방법과 ID, 액세스, 관리 도구가 Dataflow 파이프라인과 상호작용하는 방식을 알아봅니다. 마지막으로 Dataflow에서 사용 사례에 맞는 적절한 보안 모델을 구현하는 방법을 살펴봅니다.
머신러닝을 데이터 파이프라인에 통합하면 데이터에서 더 많은 인사이트를 도출할 수 있습니다. 이 과정에서는 머신러닝을 Google Cloud의 데이터 파이프라인에 포함하는 방법을 알아봅니다. 맞춤설정이 거의 또는 전혀 필요 없는 경우에 적합한 AutoML에 대해 알아보고 맞춤형 머신러닝 기능이 필요한 경우를 위해 Notebooks 및 BigQuery 머신러닝(BigQuery ML)도 소개합니다. Vertex AI를 사용해 머신러닝 솔루션을 프로덕션화하는 방법도 다루어 보겠습니다.
이 과정에서는 스트리밍 데이터 파이프라인을 빌드할 때 직면하는 실제 과제를 해결하기 위해 실습을 진행합니다. Google Cloud 제품을 사용하여 지속적이고 무제한적인 데이터를 관리하는 데 중점을 둡니다.
이 중급 과정에서는 Google Cloud에서 강력한 일괄 데이터 파이프라인을 설계, 빌드, 최적화하는 방법을 알아봅니다. 기본적인 데이터 처리를 넘어, 시의적절한 비즈니스 인텔리전스와 중요한 보고에 필수적인 대규모 데이터 변환과 효율적인 워크플로 조정에 대해 살펴봅니다. Apache Beam용 Dataflow와 Apache Spark용 서버리스(Dataproc Serverless)를 사용하여 구현을 실습하고, 파이프라인 안정성과 운영 우수성을 보장하기 위해 데이터 품질, 모니터링, 알림에 대한 중요한 고려사항을 다룹니다. 데이터 웨어하우징, ETL/ELT, SQL, Python, Google Cloud 개념에 대한 기본적인 지식이 있으면 좋습니다.
Google Cloud 앱 개발 환경 설정 과정을 완료하여 기술 배지를 획득하세요. Cloud Storage, Identity and Access Management, Cloud Functions, Pub/Sub의 기본 기능을 사용하여 스토리지 중심 클라우드 인프라를 구축하고 연결하는 방법을 배울 수 있습니다.
Big data, machine learning, and scientific data? It sounds like the perfect match. In this course, you will get hands-on practice with GCP services like BigQuery, Managed Service for Apache Spark, and Tensorflow by applying them to use cases that employ real-life, scientific data sets. By getting experience with tasks like earthquake data analysis and satellite image aggregation, Scientific Data Processing will expand your skill set in big data and machine learning so you can start tackling your own problems across a spectrum of scientific disciplines.
In this course you will learn how to use several BigQuery ML features to improve retail use cases. Predict the demand for bike rentals in NYC with demand forecasting, and see how to use BigQuery ML for a classification task that predicts the likelihood of a website visitor making a purchase.
데이터 레이크와 데이터 웨어하우스를 사용하는 기존 접근방식은 효과적일 수 있지만, 특히 대규모 엔터프라이즈 환경에서는 단점이 있습니다. 이 과정에서는 데이터 레이크하우스의 개념과 데이터 레이크하우스를 만드는 데 사용되는 Google Cloud 제품을 소개합니다. 레이크하우스 아키텍처는 개방형 표준 데이터 소스를 사용하며 데이터 레이크와 데이터 웨어하우스의 장점을 결합하여 많은 단점을 해결합니다.
Gemini Notebook을 사용하여 Professional Data Engineer 자격증 시험을 위한 맞춤형 학습 가이드를 만드는 방법을 알아보세요. Gemini Notebook 기능을 검토하고, Gemini Notebook에서 노트북을 만들고, 학습 가이드를 사용하여 자격증 시험을 연습하는 방법을 익힐 수 있습니다.
이 과정에서는 데이터-AI 수명 주기를 지원하는 Google Cloud 빅데이터 및 머신러닝 제품과 서비스를 소개합니다. Google Cloud에서 Vertex AI를 사용하여 빅데이터 파이프라인 및 머신러닝 모델을 빌드하는 프로세스, 문제점 및 이점을 살펴봅니다.
초급 Google Cloud에서 ML API용으로 데이터 준비하기 기술 배지를 완료하여 Dataprep by Trifacta로 데이터 정리, Dataflow에서 데이터 파이프라인 실행, Managed Service for Apache Spark에서 클러스터 생성 및 Apache Spark 작업 실행, Cloud Natural Language API, Google Cloud Speech-to-Text API, Video Intelligence API를 포함한 ML API 호출과 관련된 기술 역량을 입증하세요.
빅데이터, 머신러닝, 인공지능은 오늘날 인기 있는 컴퓨팅 관련 주제이지만 매우 전문화된 분야이기 때문에 초급용 자료를 구하기 어렵습니다. 다행히도 Google Cloud는 이러한 분야에서 사용자 친화적인 서비스를 제공하며 초급 과정을 통해 학습자에게 BigQuery, Cloud Speech API, Video Intelligence와 같은 도구를 사용해 시작할 기회를 제공합니다.
초급 AlloyDB 인스턴스 만들고 관리하기 기술 배지 과정을 완료하여 다음 기술을 입증하세요. AlloyDB 핵심 작업 및 태스크 수행하기, PostgreSQL에서 AlloyDB로 마이그레이션하기, AlloyDB 데이터베이스 관리하기, AlloyDB 열 기반 엔진을 사용하여 분석 쿼리 가속화하기
SQL만으로 몇 시간이 아닌 몇 분 만에 머신러닝 모델을 빌드하고 싶으신가요? BigQuery ML은 데이터 분석가가 기존 SQL 도구와 기술을 사용하여 머신러닝 모델을 만들고, 학습시키고, 평가하고, 예측할 수 있게 하여 머신러닝을 범용화합니다. 이 실습 시리즈에서는 다양한 모델 유형을 실험하고 좋은 모델을 만드는 요소를 알아봅니다.
이 초급 과정에서는 Google Cloud의 기본 도구 및 서비스를 직접 사용해 보는 실무형 실습을 진행합니다. 선택사항으로 제공되는 동영상에서는 실습에서 다룬 개념을 자세히 살펴보고 복습합니다. Google Cloud 필수 정보는 Google Cloud 학습자에게 추천되는 첫 번째 과정입니다. 클라우드에 대한 사전 지식이 거의 없거나 전혀 없더라도 첫 Google Cloud 프로젝트에 적용할 수 있는 실무 경험을 쌓을 수 있습니다. Cloud Shell 명령어 작성, 첫 번째 가상 머신 배포, Kubernetes Engine에서의 애플리케이션 실행, 부하 분산 등 Google Cloud 필수 정보에서는 플랫폼의 기본 기능을 소개합니다.
In this fundamental-level course, you will learn the ins and outs of Google Cloud's operations suite running on Google Kubernetes Engine, an important service for generating insights into the health of your applications. It provides a wealth of information in application monitoring, report logging, and diagnoses. The labs in this course will give you hands-on practice with and will teach you how to monitor virtual machines, generate logs and alerts, and create custom metrics for application data. It is recommended that the students have at least earned a Badge by completing the Google Cloud Essentials course. Additional lab experience with the labs in the Baseline - Infrastructure course will also be useful. Looking for a hands-on challenge lab to demonstrate your skills and validate your knowledge? On completing this course, enroll in and finish the additional challenge lab at the end of this course to receive an exclusive Google Cloud digital badge.
Want to scale your data analysis efforts without managing database hardware? Learn the best practices for querying and getting insights from your data warehouse with this interactive series of BigQuery labs. BigQuery is Google's fully managed, NoOps, low cost analytics database. With BigQuery you can query terabytes and terabytes of data without having any infrastructure to manage or needing a database administrator. BigQuery uses SQL and can take advantage of the pay-as-you-go model. BigQuery allows you to focus on analyzing data to find meaningful insights.
In this series of labs you will learn how to use BigQuery to analyze NCAA basketball data with SQL. Build a Machine Learning Model to predict the outcomes of NCAA March Madness basketball tournament games.
In this quest you will get hands-on experience writing infrastructure as code with Terraform.