Barreto Marcelo
メンバー加入日: 2025
ゴールドリーグ
5197 ポイント
メンバー加入日: 2025
「BigQuery でデータ ウェアハウスを構築する」スキルバッジを獲得できる中級コースを修了すると、 データの結合による新しいテーブルの作成、結合のトラブルシューティング、UNION を使用したデータの連結、日付パーティション分割テーブルの作成、 BigQuery での JSON、配列、構造体の操作に関するスキルを証明できます。
Dataflow シリーズの最後のコースでは、Dataflow 運用モデルのコンポーネントを紹介します。パイプラインのパフォーマンスのトラブルシューティングと最適化に役立つツールと手法を検証した後で、Dataflow パイプラインのテスト、デプロイ、信頼性に関するベスト プラクティスについて確認します。最後に、数百人のユーザーがいる組織に対して Dataflow パイプラインを簡単に拡張するためのテンプレートについても確認します。これらの内容を習得することで、データ プラットフォームの安定性を保ち、予期せぬ状況に対する回復力を確保できるようになります。
Dataflow コースシリーズの 2 回目である今回は、Beam SDK を使用したパイプラインの開発について詳しく説明します。まず、Apache Beam のコンセプトについて復習します。次に、ウィンドウ、ウォーターマーク、トリガーを使用したストリーミング データの処理について説明します。さらに、パイプラインのソースとシンクのオプション、構造化データを表現するためのスキーマ、State API と Timer API を使用してステートフル変換を行う方法について説明します。続いて、パイプラインのパフォーマンスを最大化するためのベスト プラクティスを再確認します。コースの終盤では、Beam でビジネス ロジックを表現するための SQL と DataFrame、および Beam ノートブックを使用してパイプラインを反復的に開発する方法を説明します。
このコースは、Dataflow を使用したサーバーレスのデータ処理に関する 3 コースシリーズのパート 1 です。この最初のコースでは、始めに Apache Beam とは何か、そして Dataflow とどのように関係しているかを復習します。次に、Apache Beam のビジョンと Beam Portability フレームワークの利点について説明します。Beam Portability フレームワークによって、デベロッパーが好みのプログラミング言語と実行バックエンドを使用できるビジョンが実現します。続いて、Dataflow によってどのように費用を節約しながらコンピューティングとストレージを分離できるか、そして識別ツール、アクセスツール、管理ツールがどのように Dataflow パイプラインと相互に機能するかを紹介します。最後に、Dataflow でそれぞれのユースケースに合った適切なセキュリティ モデルを実装する方法について学習します。
データレイクとデータ ウェアハウスを使用する従来のアプローチは効果的ですが、特に大規模な企業環境においては欠点があります。このコースでは、データ レイクハウスのコンセプトと、データ レイクハウスの作成に使用する Google Cloud プロダクトについて説明します。レイクハウス アーキテクチャは、オープン スタンダードのデータソースを使用し、データレイクとデータ ウェアハウスの優れた機能を組み合わせて、両者の欠点の多くに対処します。
「Google Cloud の ML API 用にデータを準備」コースの入門スキルバッジを獲得できるアクティビティを修了すると、 Dataprep by Trifacta を使用したデータのクリーニング、Dataflow でのデータ パイプラインの実行、Managed Service for Apache Spark でのクラスタの作成と Apache Spark ジョブの実行、 Cloud Natural Language API、Google Cloud Speech-to-Text API、Video Intelligence API などの ML API の呼び出しに関するスキルを証明できます。
Google Cloud コンピューティングの基礎コースは、クラウド コンピューティングのバックグラウンドや経験がほとんどまたはまったくない方を対象としています。クラウドの基礎、ビッグデータ、ML の中核となるコンセプトと、Google Cloud を活用できる場面や方法の概要を示します。 この一連のコースを修了すると、これらのコンセプトについて明確に理解し、実践的なスキルを実証できます。 このコースは、次の順で完了する必要があります。 1. Google Cloud コンピューティングの基礎: クラウド コンピューティングの基本 2. Google Cloud コンピューティングの基礎: Google Cloud のインフラストラクチャ 3. Google Cloud コンピューティングの基礎: Google Cloud でのネットワーキングとセキュリティ 4. Google Cloud コンピューティングの基礎: Google Cloud のデータ、ML、AI このシリーズの最後のコースでは、マネージド ビッグデータ サービス、ML とその価値、スキルバッジを獲得して Google Cloud に関するスキルセットをさらに実証する方法について説明します。
安全な Google Cloud ネットワークの構築コースを修了してスキルバッジを獲得しましょう。このコースでは、Google Cloud でアプリケーションを ビルド、スケール、保護するための複数のネットワーク関連リソースについて学習します。
Google Cloud コンピューティングの基礎コースは、クラウド コンピューティングのバックグラウンドや経験がほとんどまたはまったくない方を対象としています。クラウドの基礎、ビッグデータ、ML の中核となるコンセプトと、Google Cloud を活用できる場面や方法の概要を示します。 この一連のコースを修了すると、これらのコンセプトについて明確に理解し、実践的なスキルを実証できます。 このコースは、次の順で完了する必要があります。 1. Google Cloud コンピューティングの基礎: クラウド コンピューティングの基本 2. Google Cloud コンピューティングの基礎: Google Cloud のインフラストラクチャGoogle Cloud コンピューティングの基礎: Google Cloud でのネットワーキングとセキュリティ 4. Google Cloud コンピューティングの基礎: Google Cloud のデータ、ML、AI この 3 番目のコースでは、クラウドの自動化、管理ツール、安全なネットワークの構築について説明します。