Chomicz Dawid
メンバー加入日: 2023
メンバー加入日: 2023
すべてのデータ パイプラインには、データレイクとデータ ウェアハウスという 2 つの主要コンポーネントがあります。このコースでは、各ストレージ タイプのユースケースを紹介し、Google Cloud で利用可能なデータレイクとデータ ウェアハウスのソリューションを技術的に詳しく説明します。また、データ エンジニアの役割や、効果的なデータ パイプラインが事業運営にもたらすメリットについて確認し、クラウド環境でデータ エンジニアリングを行うべき理由を説明します。 これは「Data Engineering on Google Cloud」シリーズの最初のコースです。このコースを修了したら、「Google Cloud でのバッチデータ パイプラインの構築」コースに登録してください。
「ストリーミング分析を BigQuery に読み込む」 スキルバッジ コースを修了してスキルバッジを獲得し、ストリーミングで Pub/Sub、Dataflow、BigQuery を組み合わせて 分析のためにデータをストリーミングしましょう。
「BigQuery でデータ ウェアハウスを構築する」スキルバッジを獲得できる中級コースを修了すると、 データの結合による新しいテーブルの作成、結合のトラブルシューティング、UNION を使用したデータの連結、日付パーティション分割テーブルの作成、 BigQuery での JSON、配列、構造体の操作に関するスキルを証明できます。
このコースでは、Professional Data Engineer(PDE)認定資格試験に向けた学習計画を作成できます。学習者は、試験の範囲を把握できます。また、試験への準備状況を把握して、個々の学習計画を作成します。
「BigQuery のデータから分析情報を引き出す」の入門スキルバッジを獲得すると、 SQL クエリの作成、一般公開テーブルに対するクエリの実行、BigQuery へのサンプルデータの読み込み、BigQuery でのクエリ バリデータを使用した一般的な構文エラーのトラブルシューティング、 BigQuery データへの接続による Looker Studio でのレポート作成といったスキルを実証できます。
「Google Cloud の ML API 用にデータを準備」コースの入門スキルバッジを獲得できるアクティビティを修了すると、 Dataprep by Trifacta を使用したデータのクリーニング、Dataflow でのデータ パイプラインの実行、Dataproc でのクラスタの作成と Apache Spark ジョブの実行、 Cloud Natural Language API、Google Cloud Speech-to-Text API、Video Intelligence API などの ML API の呼び出しに関するスキルを証明できます。
BigQuery ML を使用した予測モデリング向けのデータ エンジニアリング」のスキルバッジを獲得できる中級コースを修了すると、 Dataprep by Trifacta を使用した BigQuery へのデータ変換パイプラインの構築、 Cloud Storage、Dataflow、BigQuery を使用した抽出、変換、読み込み(ETL)ワークフローの構築、 BigQuery ML を使用した ML モデルの構築に関するスキルを実証できます。
Welcome to Cloud Composer, where we discuss how to orchestrate data lake workflows with Cloud Composer.