Dataflow コースシリーズの 2 回目である今回は、Beam SDK を使用したパイプラインの開発について詳しく説明します。まず、Apache Beam のコンセプトについて復習します。次に、ウィンドウ、ウォーターマーク、トリガーを使用したストリーミング データの処理について説明します。さらに、パイプラインのソースとシンクのオプション、構造化データを表現するためのスキーマ、State API と Timer API を使用してステートフル変換を行う方法について説明します。続いて、パイプラインのパフォーマンスを最大化するためのベスト プラクティスを再確認します。コースの終盤では、Beam でビジネス ロジックを表現するための SQL と DataFrame、および Beam ノートブックを使用してパイプラインを反復的に開発する方法を説明します。
あらゆる規模の組織が、事業運営の変革にクラウドの能力と柔軟性を活用しているなかで、 けれども、クラウド リソースを効果的に管理、スケーリングするのは複雑なタスクになる場合があります。 このコースでは、クラウドにおける最新の運用、信頼性、レジリエンスに関する基本的概念と、Google Cloud がこういった取り組みをどのように支援できるのかについて理解を深めます。このコースは Cloud Digital Leader 学習プログラムの一部で、個人が自分の役割において成長し、ビジネスの未来を構築することを目的としています。
多くの従来型企業では、既存のシステムやアプリで昨今の顧客の期待に応え続けることが難しくなっています。この場合、経営者は、老朽化した IT システムの保守を続けるのか、新たな製品やサービスに投資をするのか、選択を迫られることになります。このコースではそうした課題を明らかにするとともに、そうした課題をクラウド テクノロジーによって乗り越えるためのソリューションについて学びます。このコースは Cloud Digital Leader 学習プログラムの一部で、個人が自分の役割において成長し、ビジネスの未来を構築することを目的としています。
クラウド テクノロジーは組織に大きな力をもたらします。データと組み合わせることで、イノベーションの触媒となり、カスタマー エクスペリエンスの向上を促進します。「Google Cloud によるデータ トランスフォーメーションの探求」では、組織がクラウドを活用して、データをよりアクセスしやすく、実用的で、価値のあるものにする方法を学びます。このコースは Cloud Digital Leader 学習プログラムの一部で、個人が自分の役割において成長し、ビジネスの未来を構築することを目的としています。
デジタル トランスフォーメーションは、現代の組織にとって重要なプロセスです。クラウド コンピューティングで強固なベースラインを確立することは、有意義なイノベーションを推進するための第一歩となります。「Google Cloud によるデジタル トランスフォーメーション」では、組織が業務をモダナイズするのに役立つコア テクノロジーと戦略的フレームワークを紹介します。このコースでは、クラウドの基本的なコンセプト、グローバル ネットワーク インフラストラクチャ、責任の共有モデルについて説明し、リーダーが自信を持ってクラウドへの移行を進められるようにします。このコースは Cloud Digital Leader 学習プログラムの一部で、個人が自分の役割において成長し、ビジネスの未来を構築することを目的としています。
Google Cloud で機械学習を実装する際のベスト プラクティスには何があるでしょうか。Vertex AI とは何であり、このプラットフォームを使用してコードを 1 行も記述せずに AutoML 機械学習モデルを迅速に構築、トレーニング、デプロイするにはどうすればよいでしょうか。機械学習とはどのようなもので、どのような問題の解決に役立つのでしょうか。 Google では機械学習について独自の視点で考えています。マネージド データセット、特徴量ストア、そしてコードを 1 行も記述せずに迅速に機械学習モデルを構築、トレーニング、デプロイする手段を 1 つにまとめた統合プラットフォームを提供するとともに、データにラベル付けし、TensorFlow、SciKit Learn、Pytorch、R やその他のフレームワークを使用して Workbench ノートブックを作成できるようにすることが、Google の考える機械学習の在り方です。Google の Vertex AI プラットフォームでは、カスタムモデルをトレーニングしたり、コンポーネント パイプラインを構築したりすることもできます。さらに、オンライン予測とバッチ予測の両方を実施できます。このコースでは、候補となるユースケースを機械学習で学習できる形に変換する 5 つのフェーズについても説明し、これらのフェーズを省略しないことが重要である理由について論じます。最後に、機械学習によって増幅される可能性のあるバイアスの認識と、それを識別する方法について説明します。
「Bigtable インスタンスの作成と管理」入門コースを修了してスキルバッジを獲得すると、インスタンスの作成、スキーマの設計、 データのクエリ、Bigtable での管理タスク実行(パフォーマンスのモニタリング、ノードの自動スケーリングとレプリケーションの構成など)のスキルを実証できます。
「Cloud Spanner インスタンスの作成と管理」スキルバッジを 獲得できる入門コースを修了すると、 Cloud Spanner のインスタンスとデータベースの作成と操作、 さまざまな手法による Cloud Spanner データベースの読み込み、 Cloud Spanner データベースのバックアップ、スキーマの定義、クエリプランの理解、 Cloud Spanner インスタンスに接続された最新ウェブアプリのデプロイといったスキルを実証できます。
This course is intended to give architects, engineers, and developers the skills required to help enterprise customers architect, plan, execute, and test database migration projects. Through a combination of presentations, demos, and hands-on labs participants move databases to Google Cloud while taking advantage of various services. This course covers how to move on-premises, enterprise databases like SQL Server to Google Cloud (Compute Engine and Cloud SQL) and Oracle to Google Cloud bare metal.
Google Cloud の基礎: コア インストラクチャ では、Google Cloud に関する重要なコンセプトと用語について説明します。このコースでは動画とハンズオンラボを通じて学習を進めていきます。Google Cloud の多数のコンピューティング サービスとストレージ サービス、そしてリソースとポリシーを管理するための重要なツールについて比較しながら説明します。
このコースは、Dataflow を使用したサーバーレスのデータ処理に関する 3 コースシリーズのパート 1 です。この最初のコースでは、始めに Apache Beam とは何か、そして Dataflow とどのように関係しているかを復習します。次に、Apache Beam のビジョンと Beam Portability フレームワークの利点について説明します。Beam Portability フレームワークによって、デベロッパーが好みのプログラミング言語と実行バックエンドを使用できるビジョンが実現します。続いて、Dataflow によってどのように費用を節約しながらコンピューティングとストレージを分離できるか、そして識別ツール、アクセスツール、管理ツールがどのように Dataflow パイプラインと相互に機能するかを紹介します。最後に、Dataflow でそれぞれのユースケースに合った適切なセキュリティ モデルを実装する方法について学習します。
ML をデータ パイプラインに組み込むと、データから分析情報を抽出する能力を向上できます。このコースでは、Google Cloud でデータ パイプラインに ML を含める複数の方法について説明します。カスタマイズがほとんど、またはまったく必要ない場合のために、このコースでは AutoML について説明します。よりカスタマイズされた ML 機能については、Notebooks と BigQuery の機械学習(BigQuery ML)を紹介します。また、Vertex AI を使用して ML ソリューションを本番環境に導入する方法も説明します。
このコースでは、ストリーミング データ パイプラインの構築時に直面する実際の問題を解決するために、実践的な演習を行います。ポイントは、Google Cloud プロダクトを使用して、絶えず流れ続けるデータを効果的に管理することです。
この中級コースでは、Google Cloud で堅牢なバッチデータ パイプラインを設計、構築、最適化する方法を学習します。基本的なデータ処理から一歩進んで、大規模なデータ変換と効率的なワークフロー オーケストレーションを確認します。この内容は、タイムリーなビジネス インテリジェンスと重要なレポートの作成に不可欠です。 実装に Apache Beam 用の Dataflow と Apache Spark 向け Serverless(Dataproc Serverless)を使用する実践的な演習を行い、パイプラインの信頼性の確保と効果的な運用を実現するために、データの品質、モニタリング、アラートに関する重要な考慮事項に対処します。データ ウェアハウジング、ETL / ELT、SQL、Python、Google Cloud のコンセプトに関する基本的な知識があることが推奨されます。
「Google Cloud におけるアプリ開発環境の設定」コースを完了すると、スキルバッジを獲得できます。このコースでは、 Cloud Storage、Identity and Access Management、Cloud Functions、Pub/Sub のテクノロジーの基本機能を使用して、ストレージ中心のクラウド インフラストラクチャを構築し接続する方法を学びます。
ビッグデータ、機械学習、科学的データ。完璧な組み合わせといえます。このクエストは上級レベルであり、実際の科学的データセットを使用するユースケースに BigQuery、Managed Service for Apache Spark、Tensorflow などの GCP サービスを当てはめ、実践的な演習を行います。「科学的データ処理」では、地震データの分析や衛星画像の集約といったタスクを実践し、ビッグデータと機械学習に関するスキルの強化を図ります。これにより、多岐にわたる科学的分野でさまざまな問題に取り組むことができるようになります。
In this course you will learn how to use several BigQuery ML features to improve retail use cases. Predict the demand for bike rentals in NYC with demand forecasting, and see how to use BigQuery ML for a classification task that predicts the likelihood of a website visitor making a purchase.
データレイクとデータ ウェアハウスを使用する従来のアプローチは効果的ですが、特に大規模な企業環境においては欠点があります。このコースでは、データ レイクハウスのコンセプトと、データ レイクハウスの作成に使用する Google Cloud プロダクトについて説明します。レイクハウス アーキテクチャは、オープン スタンダードのデータソースを使用し、データレイクとデータ ウェアハウスの優れた機能を組み合わせて、両者の欠点の多くに対処します。
Gemini Notebook を使用して、Professional Data Engineer 認定試験に向けた自分専用の学習ガイドを作成する方法を学びます。Gemini Notebook の機能を確認して、Gemini Notebook でノートブックを作成し、認定試験の対策として学習ガイドを活用する方法を身につけます。
このコースでは、データから AI へのライフサイクルをサポートする Google Cloud のビッグデータと ML のプロダクトやサービスを紹介します。また、Google Cloud で Vertex AI を使用してビッグデータ パイプラインと ML モデルを作成する際のプロセス、課題、メリットについて説明します。
「Google Cloud の ML API 用にデータを準備」コースの入門スキルバッジを獲得できるアクティビティを修了すると、 Dataprep by Trifacta を使用したデータのクリーニング、Dataflow でのデータ パイプラインの実行、Managed Service for Apache Spark でのクラスタの作成と Apache Spark ジョブの実行、 Cloud Natural Language API、Google Cloud Speech-to-Text API、Video Intelligence API などの ML API の呼び出しに関するスキルを証明できます。
ビッグデータ、ML、AI は今日のコンピュータ業界ではホットなトピックですが、 これらの分野は非常に専門性が高く、 入門レベルの教材を見つけるのは困難です。幸いなことに、Google Cloud はこうした分野でユーザー フレンドリーなサービスを提供しており、 この入門レベルのコースを通じて、BigQuery、Cloud Speech API、 Video Intelligence などのツールを使い始めるための第一歩を踏み出せます。
「AlloyDB インスタンスの作成と管理」スキルバッジを獲得できる入門コースを修了すると、次のスキルを身につけていることを実証できます。AlloyDB の主なオペレーションと タスクを実行する、PostgreSQL から AlloyDB に移行する、AlloyDB データベースを管理する、 AlloyDB カラム型エンジンを使用して分析クエリを高速化する。
SQL だけを使用して、数時間ではなく数分で ML モデルを構築したいとお考えの場合、BigQuery ML は、データ アナリストが既存の SQL ツールやスキルを使って、ML モデルを作成、トレーニング、 評価し、そのモデルで予測を行うことを可能にして、ML をより多くの人が利用できるようにします。 この一連のラボでは、さまざまなモデルタイプを試して、 優れたモデルを作成する方法を学習します。
この入門レベルのコースでは、 Google Cloud の基本的なツールやサービスに関する実践演習を行います。オプションで動画も提供されており、 ラボで取り上げられたコンセプトに関するさらなるコンテキストの確認や、復習に利用できます。「Google Cloud の基礎」は、Google Cloud の学習者に最初に推奨されるコースです。 クラウドの予備知識がほとんどなくても、 最初の Google Cloud プロジェクトに応用できる実践的な経験を積むことができます。Cloud Shell コマンドの記述、 初めての仮想マシンのデプロイ、Kubernetes Engine 上でのアプリケーションの実行や ロード バランシングなど、「Google Cloud の基礎」では、Google Cloud の 基本的な機能について学ぶことができます。
In this fundamental-level course, you will learn the ins and outs of Google Cloud's operations suite running on Google Kubernetes Engine, an important service for generating insights into the health of your applications. It provides a wealth of information in application monitoring, report logging, and diagnoses. The labs in this course will give you hands-on practice with and will teach you how to monitor virtual machines, generate logs and alerts, and create custom metrics for application data. It is recommended that the students have at least earned a Badge by completing the Google Cloud Essentials course. Additional lab experience with the labs in the Baseline - Infrastructure course will also be useful. Looking for a hands-on challenge lab to demonstrate your skills and validate your knowledge? On completing this course, enroll in and finish the additional challenge lab at the end of this course to receive an exclusive Google Cloud digital badge.
Want to scale your data analysis efforts without managing database hardware? Learn the best practices for querying and getting insights from your data warehouse with this interactive series of BigQuery labs. BigQuery is Google's fully managed, NoOps, low cost analytics database. With BigQuery you can query terabytes and terabytes of data without having any infrastructure to manage or needing a database administrator. BigQuery uses SQL and can take advantage of the pay-as-you-go model. BigQuery allows you to focus on analyzing data to find meaningful insights.
In this series of labs you will learn how to use BigQuery to analyze NCAA basketball data with SQL. Build a Machine Learning Model to predict the outcomes of NCAA March Madness basketball tournament games.
In this quest you will get hands-on experience writing infrastructure as code with Terraform.