メンバー加入日: 2023
Serverless Data Processing with Dataflow: Foundations - 日本語版
Earned 10月 23, 2023 EDT
Smart Analytics, Machine Learning, and AI on Google Cloud - 日本語版
Earned 10月 15, 2023 EDT
Building Resilient Streaming Analytics Systems on Google Cloud - 日本語版
Earned 10月 15, 2023 EDT
Google Cloud でのバッチデータ パイプラインの構築
Earned 10月 9, 2023 EDT
Google Cloud でデータレイクとデータ ウェアハウスを構築する
Earned 9月 30, 2023 EDT
このコースは、Dataflow を使用したサーバーレスのデータ処理に関する 3 コースシリーズのパート 1 です。この最初のコースでは、始めに Apache Beam とは何か、そして Dataflow とどのように関係しているかを復習します。次に、Apache Beam のビジョンと Beam Portability フレームワークの利点について説明します。Beam Portability フレームワークによって、デベロッパーが好みのプログラミング言語と実行バックエンドを使用できるビジョンが実現します。続いて、Dataflow によってどのように費用を節約しながらコンピューティングとストレージを分離できるか、そして識別ツール、アクセスツール、管理ツールがどのように Dataflow パイプラインと相互に機能するかを紹介します。最後に、Dataflow でそれぞれのユースケースに合った適切なセキュリティ モデルを実装する方法について学習します。
機械学習をデータ パイプラインに組み込むと、企業がデータから分析情報を抽出する能力を向上できます。このコースでは、必要なカスタマイズのレベルに応じて Google Cloud でデータ パイプラインに機械学習を含める複数の方法について説明します。カスタマイズをまったくしないか、またはほとんどしない場合については、AutoML を紹介します。よりカスタマイズされた機械学習機能については、Notebooks と BigQuery の機械学習（BigQuery ML）を紹介します。また、Kubeflow を使用して機械学習ソリューションを本番環境に導入する方法も説明します。受講者には、QwikLabs を使って、Google Cloud で機械学習モデルを構築する実習を行っていただきます。
ストリーミングによって企業が事業運営に関するリアルタイムの指標を取得できるようになり、ストリーミング データの処理を行う機会が増えてきました。このコースでは、Google Cloud でストリーミング データ パイプラインを構築する方法について学習します。受信ストリーミング データの処理のための Pub/Sub について説明します。また、このコースでは、Dataflow を使用してストリーミング データを集計または変換する方法、処理済みのレコードを分析用に BigQuery や Cloud Bigtable に保存する方法についても説明します。そして、Qwiklabs を使用して Google Cloud でストリーミング データ パイプラインのコンポーネントを構築する実践演習を行います。
この中級コースでは、Google Cloud で堅牢なバッチデータ パイプラインを設計、構築、最適化する方法を学習します。基本的なデータ処理から一歩進んで、大規模なデータ変換と効率的なワークフロー オーケストレーションを確認します。この内容は、タイムリーなビジネス インテリジェンスと重要なレポートの作成に不可欠です。 実装に Apache Beam 用の Dataflow と Apache Spark 向け Serverless（Dataproc Serverless）を使用する実践的な演習を行い、パイプラインの信頼性の確保と効果的な運用を実現するために、データの品質、モニタリング、アラートに関する重要な考慮事項に対処します。データ ウェアハウジング、ETL / ELT、SQL、Python、Google Cloud のコンセプトに関する基本的な知識があることが推奨されます。
データレイクとデータ ウェアハウスを使用する従来のアプローチは効果的ですが、特に大規模な企業環境においては欠点があります。このコースでは、データ レイクハウスのコンセプトと、データ レイクハウスの作成に使用する Google Cloud プロダクトについて説明します。レイクハウス アーキテクチャは、オープン スタンダードのデータソースを使用し、データレイクとデータ ウェアハウスの優れた機能を組み合わせて、両者の欠点の多くに対処します。