Liu Shu-Jung
メンバー加入日: 2024
ゴールドリーグ
3567 ポイント
メンバー加入日: 2024
Dataflow コースシリーズの 2 回目である今回は、Beam SDK を使用したパイプラインの開発について詳しく説明します。まず、Apache Beam のコンセプトについて復習します。次に、ウィンドウ、ウォーターマーク、トリガーを使用したストリーミング データの処理について説明します。さらに、パイプラインのソースとシンクのオプション、構造化データを表現するためのスキーマ、State API と Timer API を使用してステートフル変換を行う方法について説明します。続いて、パイプラインのパフォーマンスを最大化するためのベスト プラクティスを再確認します。コースの終盤では、Beam でビジネス ロジックを表現するための SQL と DataFrame、および Beam ノートブックを使用してパイプラインを反復的に開発する方法を説明します。
このコースは、Dataflow を使用したサーバーレスのデータ処理に関する 3 コースシリーズのパート 1 です。この最初のコースでは、始めに Apache Beam とは何か、そして Dataflow とどのように関係しているかを復習します。次に、Apache Beam のビジョンと Beam Portability フレームワークの利点について説明します。Beam Portability フレームワークによって、デベロッパーが好みのプログラミング言語と実行バックエンドを使用できるビジョンが実現します。続いて、Dataflow によってどのように費用を節約しながらコンピューティングとストレージを分離できるか、そして識別ツール、アクセスツール、管理ツールがどのように Dataflow パイプラインと相互に機能するかを紹介します。最後に、Dataflow でそれぞれのユースケースに合った適切なセキュリティ モデルを実装する方法について学習します。
「Google データクラウドを使用してデータを共有する」スキルバッジ コースを修了して、スキルバッジを獲得しましょう。 このコースでは、Google Cloud の データ共有パートナーに関する実践的な経験を積むことができます。これらのパートナーは、顧客が分析ユースケースで活用できる独自のデータセットを 保有しています。顧客は、このデータをサブスクライブし、自身のプラットフォーム内で クエリを実行し、それを独自のデータセットで拡張して、 可視化ツールを使用して顧客向けのダッシュボードを作成します。
「Google Cloud の ML API 用にデータを準備」コースの入門スキルバッジを獲得できるアクティビティを修了すると、 Dataprep by Trifacta を使用したデータのクリーニング、Dataflow でのデータ パイプラインの実行、Managed Service for Apache Spark でのクラスタの作成と Apache Spark ジョブの実行、 Cloud Natural Language API、Google Cloud Speech-to-Text API、Video Intelligence API などの ML API の呼び出しに関するスキルを証明できます。
「マルチエージェント アーキテクチャをデプロイする」の上級スキルバッジ コースを完了すると、次のスキルを証明できます。 ADK を使用したマルチエージェント システムの構築、エージェント間(A2A)プロトコルを使用したエージェントの接続、 Model Context Protocol(MCP)を使用した外部ツールの統合、完全なマルチエージェント ソリューションの Agent Engine へのデプロイ。
「ストリーミング分析を BigQuery に読み込む」 スキルバッジ コースを修了してスキルバッジを獲得し、ストリーミングで Pub/Sub、Dataflow、BigQuery を組み合わせて 分析のためにデータをストリーミングしましょう。
「BigQuery でデータ ウェアハウスを構築する」スキルバッジを獲得できる中級コースを修了すると、 データの結合による新しいテーブルの作成、結合のトラブルシューティング、UNION を使用したデータの連結、日付パーティション分割テーブルの作成、 BigQuery での JSON、配列、構造体の操作に関するスキルを証明できます。
「Google App Engine でアプリケーションをデプロイして管理する」コースを修了してスキルバッジを獲得しましょう。 このコースでは、Python、Go、PHP で App Engine を使用する方法を学びます。
「Google Cloud コンピューティングの基礎」クエストを修了してスキルバッジを獲得しましょう。 クエストでは、Compute Engine を使用して、仮想マシン(VM)、永続ディスク、ウェブサーバーを操作する方法を学習します。