Aher Amod
メンバー加入日: 2021
シルバーリーグ
24610 ポイント
メンバー加入日: 2021
Gemini Notebook を使用して、Professional Data Engineer 認定試験に向けた自分専用の学習ガイドを作成する方法を学びます。Gemini Notebook の機能を確認して、Gemini Notebook でノートブックを作成し、認定試験の対策として学習ガイドを活用する方法を身につけます。
「Google Cloud の ML API 用にデータを準備」コースの入門スキルバッジを獲得できるアクティビティを修了すると、 Dataprep by Trifacta を使用したデータのクリーニング、Dataflow でのデータ パイプラインの実行、Managed Service for Apache Spark でのクラスタの作成と Apache Spark ジョブの実行、 Cloud Natural Language API、Google Cloud Speech-to-Text API、Video Intelligence API などの ML API の呼び出しに関するスキルを証明できます。
Dataflow コースシリーズの 2 回目である今回は、Beam SDK を使用したパイプラインの開発について詳しく説明します。まず、Apache Beam のコンセプトについて復習します。次に、ウィンドウ、ウォーターマーク、トリガーを使用したストリーミング データの処理について説明します。さらに、パイプラインのソースとシンクのオプション、構造化データを表現するためのスキーマ、State API と Timer API を使用してステートフル変換を行う方法について説明します。続いて、パイプラインのパフォーマンスを最大化するためのベスト プラクティスを再確認します。コースの終盤では、Beam でビジネス ロジックを表現するための SQL と DataFrame、および Beam ノートブックを使用してパイプラインを反復的に開発する方法を説明します。
このコースは、Dataflow を使用したサーバーレスのデータ処理に関する 3 コースシリーズのパート 1 です。この最初のコースでは、始めに Apache Beam とは何か、そして Dataflow とどのように関係しているかを復習します。次に、Apache Beam のビジョンと Beam Portability フレームワークの利点について説明します。Beam Portability フレームワークによって、デベロッパーが好みのプログラミング言語と実行バックエンドを使用できるビジョンが実現します。続いて、Dataflow によってどのように費用を節約しながらコンピューティングとストレージを分離できるか、そして識別ツール、アクセスツール、管理ツールがどのように Dataflow パイプラインと相互に機能するかを紹介します。最後に、Dataflow でそれぞれのユースケースに合った適切なセキュリティ モデルを実装する方法について学習します。
ML をデータ パイプラインに組み込むと、データから分析情報を抽出する能力を向上できます。このコースでは、Google Cloud でデータ パイプラインに ML を含める複数の方法について説明します。カスタマイズがほとんど、またはまったく必要ない場合のために、このコースでは AutoML について説明します。よりカスタマイズされた ML 機能については、Notebooks と BigQuery の機械学習(BigQuery ML)を紹介します。また、Vertex AI を使用して ML ソリューションを本番環境に導入する方法も説明します。
このコースでは、ストリーミング データ パイプラインの構築時に直面する実際の問題を解決するために、実践的な演習を行います。ポイントは、Google Cloud プロダクトを使用して、絶えず流れ続けるデータを効果的に管理することです。
この中級コースでは、Google Cloud で堅牢なバッチデータ パイプラインを設計、構築、最適化する方法を学習します。基本的なデータ処理から一歩進んで、大規模なデータ変換と効率的なワークフロー オーケストレーションを確認します。この内容は、タイムリーなビジネス インテリジェンスと重要なレポートの作成に不可欠です。 実装に Apache Beam 用の Dataflow と Apache Spark 向け Serverless(Dataproc Serverless)を使用する実践的な演習を行い、パイプラインの信頼性の確保と効果的な運用を実現するために、データの品質、モニタリング、アラートに関する重要な考慮事項に対処します。データ ウェアハウジング、ETL / ELT、SQL、Python、Google Cloud のコンセプトに関する基本的な知識があることが推奨されます。
データレイクとデータ ウェアハウスを使用する従来のアプローチは効果的ですが、特に大規模な企業環境においては欠点があります。このコースでは、データ レイクハウスのコンセプトと、データ レイクハウスの作成に使用する Google Cloud プロダクトについて説明します。レイクハウス アーキテクチャは、オープン スタンダードのデータソースを使用し、データレイクとデータ ウェアハウスの優れた機能を組み合わせて、両者の欠点の多くに対処します。
このコースでは、データから AI へのライフサイクルをサポートする Google Cloud のビッグデータと ML のプロダクトやサービスを紹介します。また、Google Cloud で Vertex AI を使用してビッグデータ パイプラインと ML モデルを作成する際のプロセス、課題、メリットについて説明します。
ビッグデータ、機械学習、科学的データ。完璧な組み合わせといえます。このクエストは上級レベルであり、実際の科学的データセットを使用するユースケースに BigQuery、Managed Service for Apache Spark、Tensorflow などの GCP サービスを当てはめ、実践的な演習を行います。「科学的データ処理」では、地震データの分析や衛星画像の集約といったタスクを実践し、ビッグデータと機械学習に関するスキルの強化を図ります。これにより、多岐にわたる科学的分野でさまざまな問題に取り組むことができるようになります。
In this advanced-level quest, you will learn how to harness serious Google Cloud computing power to run big data and machine learning jobs. The hands-on labs will give you use cases, and you will be tasked with implementing big data and machine learning practices utilized by Google’s very own Solutions Architecture team. From running Big Query analytics on tens of thousands of basketball games, to training TensorFlow image classifiers, you will quickly see why Google Cloud is the go-to platform for running big data and machine learning jobs.
「Google Cloud におけるアプリ開発環境の設定」コースを完了すると、スキルバッジを獲得できます。このコースでは、 Cloud Storage、Identity and Access Management、Cloud Functions、Pub/Sub のテクノロジーの基本機能を使用して、ストレージ中心のクラウド インフラストラクチャを構築し接続する方法を学びます。
この入門レベルのコースでは、 Google Cloud の基本的なツールやサービスに関する実践演習を行います。オプションで動画も提供されており、 ラボで取り上げられたコンセプトに関するさらなるコンテキストの確認や、復習に利用できます。「Google Cloud の基礎」は、Google Cloud の学習者に最初に推奨されるコースです。 クラウドの予備知識がほとんどなくても、 最初の Google Cloud プロジェクトに応用できる実践的な経験を積むことができます。Cloud Shell コマンドの記述、 初めての仮想マシンのデプロイ、Kubernetes Engine 上でのアプリケーションの実行や ロード バランシングなど、「Google Cloud の基礎」では、Google Cloud の 基本的な機能について学ぶことができます。
「Compute Engine での Cloud Load Balancing の実装」入門コースを修了してスキルバッジを獲得すると、次のスキルを実証できます: Compute Engine における仮想マシンの作成とデプロイ、 ネットワーク ロードバランサとアプリケーション ロードバランサの構成。
「BigQuery でデータ ウェアハウスを構築する」スキルバッジを獲得できる中級コースを修了すると、 データの結合による新しいテーブルの作成、結合のトラブルシューティング、UNION を使用したデータの連結、日付パーティション分割テーブルの作成、 BigQuery での JSON、配列、構造体の操作に関するスキルを証明できます。
データ ウェアハウスの構築または最適化を検討している場合は、BigQuery を使ったデータの抽出、変換、Google Cloud への読み込みに関するおすすめの方法を学びます。この一連のインタラクティブなラボでは、各種の大規模な BigQuery 一般公開データセットを使って独自のデータ ウェアハウスを作成、最適化します。BigQuery は、Google が低料金で提供する NoOps のフルマネージド分析データベースです。インフラストラクチャを所有して管理したり、データベース管理者を配置したりすることなく、テラバイト単位の大規模なデータでクエリを実行できます。また、SQL が採用されており、従量課金制モデルでご利用いただけます。このような特徴を活かし、お客様は有用な情報を得るためのデータ分析に専念できます。
「BigQuery ML を使用した予測モデリング向けのデータ エンジニアリング」のスキルバッジを獲得できる中級コースを修了すると、 Dataprep by Trifacta を使用した BigQuery へのデータ変換パイプラインの構築、 Cloud Storage、Dataflow、BigQuery を使用した抽出、変換、読み込み(ETL)ワークフローの構築、 BigQuery ML を使用した ML モデルの構築に関するスキルを実証できます。
Cloud SQL is a fully managed database service that stands out from its peers due to high performance, seamless integration, and impressive scalability. In this quest you will receive hands-on practice with the basics of Cloud SQL and quickly progress to advanced features, which you will apply to production frameworks and application environments. From creating instances and querying data with SQL, to building Deployment Manager scripts and connecting Cloud SQL instances with applications run on GKE containers, this quest will give you the knowledge and experience needed so you can start integrating this service right away.
This advanced-level quest is unique amongst the other catalog offerings. The labs have been curated to give IT professionals hands-on practice with topics and services that appear in the Google Cloud Certified Professional Data Engineer Certification. From Big Query, to Dataprep, to Cloud Composer, this quest is composed of specific labs that will put your Google Cloud data engineering knowledge to the test. Be aware that while practice with these labs will increase your skills and abilities, you will need other preparation, too. The exam is quite challenging and external studying, experience, and/or background in cloud data engineering is recommended. Looking for a hands on challenge lab to demonstrate your skills and validate your knowledge? On completing this quest, enroll in and finish the additional challenge lab at the end of the Engineer Data in the Google Cloud to receive an exclusive Google Cloud digital badge.
Blockchain and related technologies, such as distributed ledger and distributed apps, are becoming new value drivers and solution priorities in many industries. In this course you will gain hands-on experience with distributed ledger and the exploration of blockchain datasets in Google Cloud. It brings the research and solution work of Google's Allen Day into self-paced labs for you to run and learn directly. Since this course uses advanced SQL in BigQuery, a SQL-in-BigQuery refresher lab is at the start.
In this series of labs you will learn how to use BigQuery to analyze NCAA basketball data with SQL. Build a Machine Learning Model to predict the outcomes of NCAA March Madness basketball tournament games.
マーケティングデータを洞察し、ダッシュボード構築はいかがでしょう?大規模な分析とモデル構築のために、すべてのデータを1か所にまとめましょう。クエリ方法を学び、また BigQuery を使用しながら、再現性があり、拡張可能、そして価値ある洞察を データ化します。 BigQuery は、Google が完全管理しており、 NoOpsで、低コストの分析データベースです。 BigQuery を使用すれば、管理すべき インフラストラクチャを持たずに、またはデータベース管理者を必要とすることなく、何テラバイトものデータをクエリすることができます。 BigQuery は SQL を使用し、従量制モデルを利用できます。 BigQuery を使用すれば、データ分析に集中でき、意味ある洞察を見い出だすことができます。
「BigQuery ML を使用した ML モデルの作成」コースの中級スキルバッジを獲得できるアクティビティを修了すると、 BigQuery ML を使用して ML モデルを作成および評価し、データを予測するスキルを証明できます。
SQL だけを使用して、数時間ではなく数分で ML モデルを構築したいとお考えの場合、BigQuery ML は、データ アナリストが既存の SQL ツールやスキルを使って、ML モデルを作成、トレーニング、 評価し、そのモデルで予測を行うことを可能にして、ML をより多くの人が利用できるようにします。 この一連のラボでは、さまざまなモデルタイプを試して、 優れたモデルを作成する方法を学習します。
「BigQuery のデータから分析情報を引き出す」の入門スキルバッジを獲得すると、 SQL クエリの作成、一般公開テーブルに対するクエリの実行、BigQuery へのサンプルデータの読み込み、BigQuery でのクエリ バリデータを使用した一般的な構文エラーのトラブルシューティング、 BigQuery データへの接続による Data Studio でのレポート作成といったスキルを実証できます。
Want to scale your data analysis efforts without managing database hardware? Learn the best practices for querying and getting insights from your data warehouse with this interactive series of BigQuery labs. BigQuery is Google's fully managed, NoOps, low cost analytics database. With BigQuery you can query terabytes and terabytes of data without having any infrastructure to manage or needing a database administrator. BigQuery uses SQL and can take advantage of the pay-as-you-go model. BigQuery allows you to focus on analyzing data to find meaningful insights.
These labs will give you a deeper understanding of security features in the cloud. These labs are a little more challenging. It’s OK to take a lab more than once to achieve a great score. Complete this game to earn the Level 2 game badge, and you'll be one step closer to completing the challenge. Race the clock to increase your score and watch your name rise on the leaderboard!
These labs help you get started with cloud security basics. At the end of each lab, you'll have hands-on experience with securing your cloud. Complete this game to earn the Level 1 game badge, and you'll be one step closer to completing the challenge. Race the clock to increase your score and watch your name rise on the leaderboard!