회원 가입일: 2023
Dataflow를 사용한 서버리스 데이터 처리: 파이프라인 개발
Earned 10월 5, 2023 EDT
이벤트 기반 메시징 및 자동화 워크플로 구현
Earned 10월 4, 2023 EDT
Dataflow 과정 시리즈의 두 번째 편에서는 Beam SDK를 사용하여 파이프라인을 개발하는 방법을 자세히 살펴보겠습니다. 먼저 Apache Beam 개념에 대한 복습부터 시작하겠습니다. 다음으로 윈도우, 워터마크, 트리거를 사용하여 스트리밍 데이터를 처리하는 방법을 알아봅니다. 그런 다음 파이프라인의 소스 및 싱크 옵션, 정형 데이터를 표현하는 스키마, State 및 Timer API를 사용하여 스테이트풀(Stateful) 변환을 수행하는 방법을 다룹니다. 이제 파이프라인 성능을 극대화하는 데 도움이 되는 권장사항을 살펴보겠습니다. 과정의 마지막 부분에서는 Beam에서 비즈니스 로직을 표현하기 위한 SQL과 DataFrame을 소개하고 Beam 노트북을 사용하여 파이프라인을 반복적으로 개발하는 방법을 알아봅니다.
이벤트 기반 메시징 및 자동화 워크플로 구현 기술 배지 과정을 완료하고 기술 배지를 획득하세요. 이 과정에서는 Cloud 콘솔을 통해 Pub/Sub를 사용하는 방법을 배우고, Cloud Scheduler 작업을 통해 효율성을 높이는 방법과 Pub/Sub Lite를 사용하여 높은 볼륨의 이벤트 수집에 드는 비용을 절감할 수 있는 경우를 배우게 됩니다.