Herdiansyah Bagas Wahyu
メンバー加入日: 2022
ダイヤモンド リーグ
45577 ポイント
メンバー加入日: 2022
Dataflow シリーズの最後のコースでは、Dataflow 運用モデルのコンポーネントを紹介します。パイプラインのパフォーマンスのトラブルシューティングと最適化に役立つツールと手法を検証した後で、Dataflow パイプラインのテスト、デプロイ、信頼性に関するベスト プラクティスについて確認します。最後に、数百人のユーザーがいる組織に対して Dataflow パイプラインを簡単に拡張するためのテンプレートについても確認します。これらの内容を習得することで、データ プラットフォームの安定性を保ち、予期せぬ状況に対する回復力を確保できるようになります。
このコースでは、BigQuery の生成 AI タスクで AI / ML モデルを使用する方法をご紹介します。顧客管理を含む実際のユースケースを通して、Gemini モデルを使用してビジネス上の問題を解決するワークフローを学びます。また、理解を深めるために、このコースでは SQL クエリと Python ノートブックの両方を使用したコーディング ソリューションの詳細な手順も提供しています。
このコースでは、データを AI 活用へつなげるためのワークフローに役立つ AI 搭載の機能スイート、Gemini in BigQuery について説明します。この機能スイートには、データの探索と準備、コード生成とトラブルシューティング、ワークフローの検出と可視化などが含まれます。このコースでは、概念の説明、実際のユースケース、ハンズオンラボを通じて、データ実務者が生産性を高め、開発パイプラインを迅速化できるよう支援します。
Dataflow コースシリーズの 2 回目である今回は、Beam SDK を使用したパイプラインの開発について詳しく説明します。まず、Apache Beam のコンセプトについて復習します。次に、ウィンドウ、ウォーターマーク、トリガーを使用したストリーミング データの処理について説明します。さらに、パイプラインのソースとシンクのオプション、構造化データを表現するためのスキーマ、State API と Timer API を使用してステートフル変換を行う方法について説明します。続いて、パイプラインのパフォーマンスを最大化するためのベスト プラクティスを再確認します。コースの終盤では、Beam でビジネス ロジックを表現するための SQL と DataFrame、および Beam ノートブックを使用してパイプラインを反復的に開発する方法を説明します。
生成 AI アプリケーションは、大規模言語モデル(LLM)の発明以前にはほぼ不可能であった、新しいユーザー エクスペリエンスを生み出すことができます。アプリケーション デベロッパーが Google Cloud 上で生成 AI を活用し、魅力的で強力なアプリを構築するにはどうすればよいでしょうか? このコースでは、生成 AI アプリケーションについて学びます。また、プロンプト設計と検索拡張生成(RAG)を使用して、LLM を活用した強力なアプリケーションを構築する方法についても学びます。さらに、生成 AI アプリケーションで使用できるプロダクション レディなアーキテクチャについて学び、LLM と RAG ベースのチャット アプリケーションを構築します。
このコースでは、Google Cloud におけるデータ エンジニアリング、データ エンジニアの役割と責任、それらが Google Cloud の各サービスにどのように対応しているかについて学びます。また、データ エンジニアリングの課題に対処する方法も学習します。
このコースでは、ストリーミング データ パイプラインの構築時に直面する実際の問題を解決するために、実践的な演習を行います。ポイントは、Google Cloud プロダクトを使用して、絶えず流れ続けるデータを効果的に管理することです。
この中級コースでは、Google Cloud で堅牢なバッチデータ パイプラインを設計、構築、最適化する方法を学習します。基本的なデータ処理から一歩進んで、大規模なデータ変換と効率的なワークフロー オーケストレーションを確認します。この内容は、タイムリーなビジネス インテリジェンスと重要なレポートの作成に不可欠です。 実装に Apache Beam 用の Dataflow と Apache Spark 向け Serverless(Dataproc Serverless)を使用する実践的な演習を行い、パイプラインの信頼性の確保と効果的な運用を実現するために、データの品質、モニタリング、アラートに関する重要な考慮事項に対処します。データ ウェアハウジング、ETL / ELT、SQL、Python、Google Cloud のコンセプトに関する基本的な知識があることが推奨されます。
ML をデータ パイプラインに組み込むと、データから分析情報を抽出する能力を向上できます。このコースでは、Google Cloud でデータ パイプラインに ML を含める複数の方法について説明します。カスタマイズがほとんど、またはまったく必要ない場合のために、このコースでは AutoML について説明します。よりカスタマイズされた ML 機能については、Notebooks と BigQuery の機械学習(BigQuery ML)を紹介します。また、Vertex AI を使用して ML ソリューションを本番環境に導入する方法も説明します。
このコースは、Dataflow を使用したサーバーレスのデータ処理に関する 3 コースシリーズのパート 1 です。この最初のコースでは、始めに Apache Beam とは何か、そして Dataflow とどのように関係しているかを復習します。次に、Apache Beam のビジョンと Beam Portability フレームワークの利点について説明します。Beam Portability フレームワークによって、デベロッパーが好みのプログラミング言語と実行バックエンドを使用できるビジョンが実現します。続いて、Dataflow によってどのように費用を節約しながらコンピューティングとストレージを分離できるか、そして識別ツール、アクセスツール、管理ツールがどのように Dataflow パイプラインと相互に機能するかを紹介します。最後に、Dataflow でそれぞれのユースケースに合った適切なセキュリティ モデルを実装する方法について学習します。
「Google Cloud の ML API 用にデータを準備」コースの入門スキルバッジを獲得できるアクティビティを修了すると、 Dataprep by Trifacta を使用したデータのクリーニング、Dataflow でのデータ パイプラインの実行、Managed Service for Apache Spark でのクラスタの作成と Apache Spark ジョブの実行、 Cloud Natural Language API、Google Cloud Speech-to-Text API、Video Intelligence API などの ML API の呼び出しに関するスキルを証明できます。
「BigQuery でデータ ウェアハウスを構築する」スキルバッジを獲得できる中級コースを修了すると、 データの結合による新しいテーブルの作成、結合のトラブルシューティング、UNION を使用したデータの連結、日付パーティション分割テーブルの作成、 BigQuery での JSON、配列、構造体の操作に関するスキルを証明できます。
「BigQuery ML を使用した予測モデリング向けのデータ エンジニアリング」のスキルバッジを獲得できる中級コースを修了すると、 Dataprep by Trifacta を使用した BigQuery へのデータ変換パイプラインの構築、 Cloud Storage、Dataflow、BigQuery を使用した抽出、変換、読み込み(ETL)ワークフローの構築、 BigQuery ML を使用した ML モデルの構築に関するスキルを実証できます。
「Knowledge Catalog を使用したデータメッシュの構築」入門コースを修了してスキルバッジを獲得すると、Knowledge Catalog を使用してデータメッシュを構築し、 Google Cloud 上のデータ セキュリティ、ガバナンス、検出を強化するスキルを実証できます。このコースでは、Knowledge Catalog でアセットにタグを付け、IAM ロールを割り当て、データ品質を評価する方法を練習し、そのスキルをテストします。
「Agent Platform におけるプロンプト設計」スキルバッジを獲得できる入門コースを修了すると、 Agent Platform のプロンプト エンジニアリング、画像分析、マルチモーダル生成手法のスキルを実証できます。効果的なプロンプトを作成する方法、目的どおりの生成 AI 出力を生成する方法、 Gemini モデルを実際のマーケティング シナリオに適用する方法を学びます。
データレイクとデータ ウェアハウスを使用する従来のアプローチは効果的ですが、特に大規模な企業環境においては欠点があります。このコースでは、データ レイクハウスのコンセプトと、データ レイクハウスの作成に使用する Google Cloud プロダクトについて説明します。レイクハウス アーキテクチャは、オープン スタンダードのデータソースを使用し、データレイクとデータ ウェアハウスの優れた機能を組み合わせて、両者の欠点の多くに対処します。
Gemini Notebook を使用して、Professional Data Engineer 認定試験に向けた自分専用の学習ガイドを作成する方法を学びます。Gemini Notebook の機能を確認して、Gemini Notebook でノートブックを作成し、認定試験の対策として学習ガイドを活用する方法を身につけます。
このコースでは、Google Cloud の生成 AI を活用したコラボレーターである Gemini が、Google のプロダクトとサービスを使用してアプリケーションを開発、テスト、デプロイ、管理するうえでどのように役立つかを学習します。Gemini を利用して、ウェブ アプリケーションを開発および構築する方法、アプリケーションのエラーを修正する方法、テストを作成する方法、データをクエリする方法を学びます。ハンズオンラボでは、Gemini を使用することでソフトウェア開発ライフサイクル(SDLC)がどのように向上するかを体験します。 Duet AI は、次世代モデルである Gemini に名称変更されました。
この自習式トレーニング コースでは、Google Cloud でのセキュリティの管理と手法全般について学習します。録画された講義、デモ、ハンズオンラボを通して、Cloud Identity、Resource Manager、Cloud IAM、Virtual Private Cloud ファイアウォール、Cloud Load Balancing、Cloud ピアリング、Cloud Interconnect、VPC Service Controls など、安全な Google Cloud ソリューションのコンポーネントについて学び、演習を行います。 これは「Google Cloud におけるセキュリティ」シリーズの最初のコースです。このコースを修了したら、「Google Cloud におけるセキュリティのベスト プラクティス」コースを受講してください。
Google Cloud での Kubernetes アプリケーションのデプロイ コースの中級スキルバッジを獲得できるアクティビティを修了すると、 Docker コンテナ イメージの構成とビルド、Google Kubernetes Engine(GKE)クラスタの作成と管理、kubectl を活用した効率的な クラスタ管理、堅牢な継続的デリバリー(CD)による Kubernetes アプリケーションのデプロイ手法といったスキルを実証できます。
「Google Cloud における Terraform を使用したインフラストラクチャの構築」の中級スキルバッジを獲得すると、 Terraform を使用した Infrastructure as Code(IaC)の原則、Terraform 構成を使用した Google Cloud リソースのプロビジョニングと管理、 状態の効果的な管理(ローカルおよびリモート)、組織内での再利用性を念頭に置いた Terraform コードのモジュール化といったスキルを実証できます。
Blockchain and related technologies, such as distributed ledger and distributed apps, are becoming new value drivers and solution priorities in many industries. In this course you will gain hands-on experience with distributed ledger and the exploration of blockchain datasets in Google Cloud. It brings the research and solution work of Google's Allen Day into self-paced labs for you to run and learn directly. Since this course uses advanced SQL in BigQuery, a SQL-in-BigQuery refresher lab is at the start.
「Google Cloud ネットワークの構築」コースを修了してスキルバッジを獲得しましょう。このコースでは、 アプリケーションをデプロイしてモニタリングするための複数の方法について学びます。具体的には、IAM ロールの確認とプロジェクト アクセスの追加 / 削除、 VPC ネットワークの作成、Compute Engine VM のデプロイとモニタリング、 SQL クエリの記述、Compute Engine での VM のデプロイとモニタリング、Kubernetes を使用した複数のデプロイ アプローチによるアプリケーションのデプロイなどです。
この入門コースは、他のコースとは異なるものです。 これらのラボは、Google Cloud Certified Associate Cloud Engineer 認定資格試験に出題されるトピックやサービスについて、IT プロフェッショナルがハンズオンで演習するために作成されました。IAM からネットワーキング、 Kubernetes Engine のデプロイまでを 網羅する個別のラボで構成されており、Goodle Cloud の知識が試されます。これらのラボによる演習で 知識やスキルや能力を向上させることは可能ですが、 試験ガイドやその他の対策資料も参照することをおすすめします。
「Google Cloud におけるアプリ開発環境の設定」コースを完了すると、スキルバッジを獲得できます。このコースでは、 Cloud Storage、Identity and Access Management、Cloud Functions、Pub/Sub のテクノロジーの基本機能を使用して、ストレージ中心のクラウド インフラストラクチャを構築し接続する方法を学びます。
これは、Google Cloud Essentials よりもレベルの高い内容の練習機会を求めている初心者のクラウド デベロッパーに おすすめのコースです。Cloud Storage だけでなく、 Monitoring や Cloud Run functions などの主要なアプリケーション サービスに関連するラボを通して、 実践的な経験を積むことが可能です。また、 あらゆる Google Cloud イニシアチブに応用できる有益なスキルを身に付けることができます。
「Compute Engine での Cloud Load Balancing の実装」入門コースを修了してスキルバッジを獲得すると、次のスキルを実証できます: Compute Engine における仮想マシンの作成とデプロイ、 ネットワーク ロードバランサとアプリケーション ロードバランサの構成。