Viloria Elides
メンバー加入日: 2025
メンバー加入日: 2025
このコースは、Dataflow を使用したサーバーレスのデータ処理に関する 3 コースシリーズのパート 1 です。この最初のコースでは、始めに Apache Beam とは何か、そして Dataflow とどのように関係しているかを復習します。次に、Apache Beam のビジョンと Beam Portability フレームワークの利点について説明します。Beam Portability フレームワークによって、デベロッパーが好みのプログラミング言語と実行バックエンドを使用できるビジョンが実現します。続いて、Dataflow によってどのように費用を節約しながらコンピューティングとストレージを分離できるか、そして識別ツール、アクセスツール、管理ツールがどのように Dataflow パイプラインと相互に機能するかを紹介します。最後に、Dataflow でそれぞれのユースケースに合った適切なセキュリティ モデルを実装する方法について学習します。
このコースでは、ストリーミング データ パイプラインの構築時に直面する実際の問題を解決するために、実践的な演習を行います。ポイントは、Google Cloud プロダクトを使用して、絶えず流れ続けるデータを効果的に管理することです。
この中級コースでは、Google Cloud で堅牢なバッチデータ パイプラインを設計、構築、最適化する方法を学習します。基本的なデータ処理から一歩進んで、大規模なデータ変換と効率的なワークフロー オーケストレーションを確認します。この内容は、タイムリーなビジネス インテリジェンスと重要なレポートの作成に不可欠です。 実装に Apache Beam 用の Dataflow と Apache Spark 向け Serverless(Dataproc Serverless)を使用する実践的な演習を行い、パイプラインの信頼性の確保と効果的な運用を実現するために、データの品質、モニタリング、アラートに関する重要な考慮事項に対処します。データ ウェアハウジング、ETL / ELT、SQL、Python、Google Cloud のコンセプトに関する基本的な知識があることが推奨されます。
データレイクとデータ ウェアハウスを使用する従来のアプローチは効果的ですが、特に大規模な企業環境においては欠点があります。このコースでは、データ レイクハウスのコンセプトと、データ レイクハウスの作成に使用する Google Cloud プロダクトについて説明します。レイクハウス アーキテクチャは、オープン スタンダードのデータソースを使用し、データレイクとデータ ウェアハウスの優れた機能を組み合わせて、両者の欠点の多くに対処します。
このコースでは、Google Cloud におけるデータ エンジニアリング、データ エンジニアの役割と責任、それらが Google Cloud の各サービスにどのように対応しているかについて学びます。また、データ エンジニアリングの課題に対処する方法も学習します。
「Looker でのデータモデルの管理」スキルバッジを獲得できる中級コースを修了すると、 次のスキルを身につけていることを実証できます。LookML プロジェクトを健全に維持する、SQL Runner を利用してデータを検証する、 LookML のベスト プラクティスを実践する、パフォーマンス向上のためにクエリとレポートを最適化する、 永続的な派生テーブルとキャッシュ保存ポリシーを実装する。
「BigQuery ML を使用した ML モデルの作成」コースの中級スキルバッジを獲得できるアクティビティを修了すると、 BigQuery ML を使用して ML モデルを作成および評価し、データを予測するスキルを証明できます。
「BigQuery のデータから分析情報を引き出す」の入門スキルバッジを獲得すると、 SQL クエリの作成、一般公開テーブルに対するクエリの実行、BigQuery へのサンプルデータの読み込み、BigQuery でのクエリ バリデータを使用した一般的な構文エラーのトラブルシューティング、 BigQuery データへの接続による Data Studio でのレポート作成といったスキルを実証できます。
このコースを受講すると、スケーラブルでパフォーマンスの高い LookML(Looker モデリング言語)モデルを開発し、ビジネス ユーザーの疑問解決に役立つ標準化されたすぐに使えるデータを提供できるようになります。このコースの修了時には、組織の Looker インスタンスでデータをキュレートして管理するための LookML モデルの構築と維持が可能になります。
このコースでは、これまで主に SQL のデベロッパーやアナリストが行っていたようなデータの探索や分析を Looker で実施する方法について学びます。このコースを修了すると、Looker の最新の分析プラットフォームを活用して、組織の Looker インスタンスにおける関連性の高いコンテンツの検索と探索、データに関する問い合わせ、必要に応じた新しい指標の作成、データドリブンな意思決定を促進するためのビジュアリゼーションとダッシュボードの作成や共有を行えるようになります。
「Looker ダッシュボードとレポート用にデータを準備する」スキルバッジを獲得できる入門コースを修了すると、 データのフィルタ、並べ替え、ピボット、異なる Looker Explore から取得した結果の統合、 関数と演算子を使用してデータを分析し可視化するための Looker ダッシュボードとレポートの作成に関するスキルを実証できます。
Google Cloud を活用して、生の数値データを明確かつデータドリブンな意思決定に変換する方法を学びましょう。この初級レベルのコースでは、ハンズオンラボと実践的なシナリオを通じて、BigQuery でのデータのクエリ、Looker での傾向分析、データポータルでの共有可能なインタラクティブ レポートの作成について説明します。
Gemini Notebook を使用して、Professional Data Engineer 認定試験に向けた自分専用の学習ガイドを作成する方法を学びます。Gemini Notebook の機能を確認して、Gemini Notebook でノートブックを作成し、認定試験の対策として学習ガイドを活用する方法を身につけます。