GOOGLEUSER Shanmugapriya
メンバー加入日: 2025
ダイヤモンド リーグ
6838 ポイント
メンバー加入日: 2025
Dataflow シリーズの最後のコースでは、Dataflow 運用モデルのコンポーネントを紹介します。パイプラインのパフォーマンスのトラブルシューティングと最適化に役立つツールと手法を検証した後で、Dataflow パイプラインのテスト、デプロイ、信頼性に関するベスト プラクティスについて確認します。最後に、数百人のユーザーがいる組織に対して Dataflow パイプラインを簡単に拡張するためのテンプレートについても確認します。これらの内容を習得することで、データ プラットフォームの安定性を保ち、予期せぬ状況に対する回復力を確保できるようになります。
このコースでは、ストリーミング データ パイプラインの構築時に直面する実際の問題を解決するために、実践的な演習を行います。ポイントは、Google Cloud プロダクトを使用して、絶えず流れ続けるデータを効果的に管理することです。
この中級コースでは、Google Cloud で堅牢なバッチデータ パイプラインを設計、構築、最適化する方法を学習します。基本的なデータ処理から一歩進んで、大規模なデータ変換と効率的なワークフロー オーケストレーションを確認します。この内容は、タイムリーなビジネス インテリジェンスと重要なレポートの作成に不可欠です。 実装に Apache Beam 用の Dataflow と Apache Spark 向け Serverless(Dataproc Serverless)を使用する実践的な演習を行い、パイプラインの信頼性の確保と効果的な運用を実現するために、データの品質、モニタリング、アラートに関する重要な考慮事項に対処します。データ ウェアハウジング、ETL / ELT、SQL、Python、Google Cloud のコンセプトに関する基本的な知識があることが推奨されます。
このコースは、Dataflow を使用したサーバーレスのデータ処理に関する 3 コースシリーズのパート 1 です。この最初のコースでは、始めに Apache Beam とは何か、そして Dataflow とどのように関係しているかを復習します。次に、Apache Beam のビジョンと Beam Portability フレームワークの利点について説明します。Beam Portability フレームワークによって、デベロッパーが好みのプログラミング言語と実行バックエンドを使用できるビジョンが実現します。続いて、Dataflow によってどのように費用を節約しながらコンピューティングとストレージを分離できるか、そして識別ツール、アクセスツール、管理ツールがどのように Dataflow パイプラインと相互に機能するかを紹介します。最後に、Dataflow でそれぞれのユースケースに合った適切なセキュリティ モデルを実装する方法について学習します。
データレイクとデータ ウェアハウスを使用する従来のアプローチは効果的ですが、特に大規模な企業環境においては欠点があります。このコースでは、データ レイクハウスのコンセプトと、データ レイクハウスの作成に使用する Google Cloud プロダクトについて説明します。レイクハウス アーキテクチャは、オープン スタンダードのデータソースを使用し、データレイクとデータ ウェアハウスの優れた機能を組み合わせて、両者の欠点の多くに対処します。
「イベント駆動型のメッセージングと自動化ワークフローの実装」クエストを修了すると スキルバッジを獲得できます。 このクエストでは、Cloud コンソールでの Pub/Sub の使用方法、Cloud Scheduler ジョブで作業を効率化する方法、 大量のイベント取り込みで Pub/Sub Lite を使用してコストを 削減できるタイミングについて学習します。
このコースでは、Google Cloud におけるデータ エンジニアリング、データ エンジニアの役割と責任、それらが Google Cloud の各サービスにどのように対応しているかについて学びます。また、データ エンジニアリングの課題に対処する方法も学習します。
Google Cloud コンピューティングの基礎コースは、クラウド コンピューティングのバックグラウンドや経験がほとんどまたはまったくない方を対象としています。クラウドの基礎、ビッグデータ、ML の中核となるコンセプトと、Google Cloud を活用できる場面や方法の概要を示します。 この一連のコースを修了すると、これらのコンセプトについて明確に理解し、実践的なスキルを実証できます。 このコースは、次の順で完了する必要があります。 1. Google Cloud コンピューティングの基礎: クラウド コンピューティングの基本 2. Google Cloud コンピューティングの基礎: Google Cloud のインフラストラクチャ 3. Google Cloud コンピューティングの基礎: Google Cloud でのネットワーキングとセキュリティ 4. Google Cloud コンピューティングの基礎: Google Cloud のデータ、ML、AI この最初のコースでは、クラウド コンピューティングの概要、Google Cloud の使用方法、さまざまなコンピューティング オプションについて説明します。