メンバー加入日: 2022
Data Engineering on Google Cloud の概要
Earned 5月 4, 2025 EDT
Google Cloud Big Data and Machine Learning Fundamentals - 日本語版
Earned 4月 6, 2025 EDT
Google Cloud でのバッチデータ パイプラインの構築
Earned 3月 15, 2025 EDT
Knowledge Catalog を使用したデータメッシュの構築
Earned 2月 14, 2025 EST
Google Cloud でデータレイクとデータ ウェアハウスを構築する
Earned 1月 19, 2025 EST
イベント駆動型のメッセージングと自動化ワークフローの実装
Earned 1月 12, 2025 EST
このコースでは、Google Cloud におけるデータ エンジニアリング、データ エンジニアの役割と責任、それらが Google Cloud の各サービスにどのように対応しているかについて学びます。また、データ エンジニアリングの課題に対処する方法も学習します。
このコースでは、データから AI へのライフサイクルをサポートする Google Cloud のビッグデータと ML のプロダクトやサービスを紹介します。また、Google Cloud で Vertex AI を使用してビッグデータ パイプラインと ML モデルを作成する際のプロセス、課題、メリットについて説明します。
この中級コースでは、Google Cloud で堅牢なバッチデータ パイプラインを設計、構築、最適化する方法を学習します。基本的なデータ処理から一歩進んで、大規模なデータ変換と効率的なワークフロー オーケストレーションを確認します。この内容は、タイムリーなビジネス インテリジェンスと重要なレポートの作成に不可欠です。 実装に Apache Beam 用の Dataflow と Apache Spark 向け Serverless（Dataproc Serverless）を使用する実践的な演習を行い、パイプラインの信頼性の確保と効果的な運用を実現するために、データの品質、モニタリング、アラートに関する重要な考慮事項に対処します。データ ウェアハウジング、ETL / ELT、SQL、Python、Google Cloud のコンセプトに関する基本的な知識があることが推奨されます。
「Knowledge Catalog を使用したデータメッシュの構築」入門コースを修了してスキルバッジを獲得すると、Knowledge Catalog を使用してデータメッシュを構築し、 Google Cloud 上のデータ セキュリティ、ガバナンス、検出を強化するスキルを実証できます。このコースでは、Knowledge Catalog でアセットにタグを付け、IAM ロールを割り当て、データ品質を評価する方法を練習し、そのスキルをテストします。
データレイクとデータ ウェアハウスを使用する従来のアプローチは効果的ですが、特に大規模な企業環境においては欠点があります。このコースでは、データ レイクハウスのコンセプトと、データ レイクハウスの作成に使用する Google Cloud プロダクトについて説明します。レイクハウス アーキテクチャは、オープン スタンダードのデータソースを使用し、データレイクとデータ ウェアハウスの優れた機能を組み合わせて、両者の欠点の多くに対処します。
「イベント駆動型のメッセージングと自動化ワークフローの実装」クエストを修了すると スキルバッジを獲得できます。 このクエストでは、Cloud コンソールでの Pub/Sub の使用方法、Cloud Scheduler ジョブで作業を効率化する方法、 大量のイベント取り込みで Pub/Sub Lite を使用してコストを 削減できるタイミングについて学習します。