Rabioglio Rodrigo

Dataflow コースシリーズの 2 回目である今回は、Beam SDK を使用したパイプラインの開発について詳しく説明します。まず、Apache Beam のコンセプトについて復習します。次に、ウィンドウ、ウォーターマーク、トリガーを使用したストリーミング データの処理について説明します。さらに、パイプラインのソースとシンクのオプション、構造化データを表現するためのスキーマ、State API と Timer API を使用してステートフル変換を行う方法について説明します。続いて、パイプラインのパフォーマンスを最大化するためのベスト プラクティスを再確認します。コースの終盤では、Beam でビジネス ロジックを表現するための SQL と DataFrame、および Beam ノートブックを使用してパイプラインを反復的に開発する方法を説明します。

「イベント駆動型のメッセージングと自動化ワークフローの実装」クエストを修了すると スキルバッジを獲得できます。 このクエストでは、Cloud コンソールでの Pub/Sub の使用方法、Cloud Scheduler ジョブで作業を効率化する方法、 大量のイベント取り込みで Pub/Sub Lite を使用してコストを 削減できるタイミングについて学習します。