参加 ログイン

Fekadu Kalkidan

メンバー加入日: 2026

ゴールドリーグ

2252 ポイント
Dataflow を使用したサーバーレスのデータ処理: パイプラインの開発 Earned 9月 11, 2026 EDT
Dataflow を使用したサーバーレスのデータ処理: 基礎 Earned 9月 7, 2026 EDT
Knowledge Catalog を使用したデータメッシュの構築 Earned 7月 28, 2026 EDT
Google Cloud の ML API 用にデータを準備 Earned 7月 20, 2026 EDT
マルチエージェント アーキテクチャをデプロイする Earned 7月 15, 2026 EDT
ストリーミング分析を BigQuery に読み込む Earned 7月 11, 2026 EDT
BigQuery のデータから分析情報を引き出す Earned 7月 10, 2026 EDT
BigQuery でデータ ウェアハウスを構築する Earned 7月 10, 2026 EDT

Dataflow コースシリーズの 2 回目である今回は、Beam SDK を使用したパイプラインの開発について詳しく説明します。まず、Apache Beam のコンセプトについて復習します。次に、ウィンドウ、ウォーターマーク、トリガーを使用したストリーミング データの処理について説明します。さらに、パイプラインのソースとシンクのオプション、構造化データを表現するためのスキーマ、State API と Timer API を使用してステートフル変換を行う方法について説明します。続いて、パイプラインのパフォーマンスを最大化するためのベスト プラクティスを再確認します。コースの終盤では、Beam でビジネス ロジックを表現するための SQL と DataFrame、および Beam ノートブックを使用してパイプラインを反復的に開発する方法を説明します。

詳細

このコースは、Dataflow を使用したサーバーレスのデータ処理に関する 3 コースシリーズのパート 1 です。この最初のコースでは、始めに Apache Beam とは何か、そして Dataflow とどのように関係しているかを復習します。次に、Apache Beam のビジョンと Beam Portability フレームワークの利点について説明します。Beam Portability フレームワークによって、デベロッパーが好みのプログラミング言語と実行バックエンドを使用できるビジョンが実現します。続いて、Dataflow によってどのように費用を節約しながらコンピューティングとストレージを分離できるか、そして識別ツール、アクセスツール、管理ツールがどのように Dataflow パイプラインと相互に機能するかを紹介します。最後に、Dataflow でそれぞれのユースケースに合った適切なセキュリティ モデルを実装する方法について学習します。

詳細

「Knowledge Catalog を使用したデータメッシュの構築」入門コースを修了してスキルバッジを獲得すると、Knowledge Catalog を使用してデータメッシュを構築し、 Google Cloud 上のデータ セキュリティ、ガバナンス、検出を強化するスキルを実証できます。このコースでは、Knowledge Catalog でアセットにタグを付け、IAM ロールを割り当て、データ品質を評価する方法を練習し、そのスキルをテストします。

詳細

「Google Cloud の ML API 用にデータを準備」コースの入門スキルバッジを獲得できるアクティビティを修了すると、 Dataprep by Trifacta を使用したデータのクリーニング、Dataflow でのデータ パイプラインの実行、Managed Service for Apache Spark でのクラスタの作成と Apache Spark ジョブの実行、 Cloud Natural Language API、Google Cloud Speech-to-Text API、Video Intelligence API などの ML API の呼び出しに関するスキルを証明できます。

詳細

「マルチエージェント アーキテクチャをデプロイする」の上級スキルバッジ コースを完了すると、次のスキルを証明できます。 ADK を使用したマルチエージェント システムの構築、エージェント間（A2A）プロトコルを使用したエージェントの接続、 Model Context Protocol（MCP）を使用した外部ツールの統合、完全なマルチエージェント ソリューションの Agent Engine へのデプロイ。

詳細

「ストリーミング分析を BigQuery に読み込む」 スキルバッジ コースを修了してスキルバッジを獲得し、ストリーミングで Pub/Sub、Dataflow、BigQuery を組み合わせて 分析のためにデータをストリーミングしましょう。

詳細

「BigQuery のデータから分析情報を引き出す」の入門スキルバッジを獲得すると、 SQL クエリの作成、一般公開テーブルに対するクエリの実行、BigQuery へのサンプルデータの読み込み、BigQuery でのクエリ バリデータを使用した一般的な構文エラーのトラブルシューティング、 BigQuery データへの接続による Data Studio でのレポート作成といったスキルを実証できます。

詳細

「BigQuery でデータ ウェアハウスを構築する」スキルバッジを獲得できる中級コースを修了すると、 データの結合による新しいテーブルの作成、結合のトラブルシューティング、UNION を使用したデータの連結、日付パーティション分割テーブルの作成、 BigQuery での JSON、配列、構造体の操作に関するスキルを証明できます。

詳細