Create a Managed Apache Spark cluster (region: us-central1)

進行状況を確認

/ 50

Submit a Spark Job

進行状況を確認

/ 25

Update a cluster for 3 worker nodes

進行状況を確認

/ 25

このラボでは、学習をサポートする AI ツールが組み込まれている場合があります。

GSP288

Google Cloud セルフペース ラボ

概要

Google APIs Explorer は、さまざまな Google API をインタラクティブに試すことができるツールです。APIs Explorer を使用すると、次のことができます。

  • 利用可能な API とそのバージョンを簡単に確認する。
  • 各 API で使用できるメソッド、メソッドでサポートされるパラメータ、インラインのドキュメントを確認する。
  • メソッドのリクエストを実行して、リアルタイムでレスポンスを確認する。
  • 認証および承認済みの API 呼び出しを行う。
  • すべてのサービスメソッド最新のリクエストの中から目的のものを迅速に見つける。

APIs Explorer では、リクエストが行われるたびに独自の API キーが使用されます。APIs Explorer を使用してリクエストを行う際、{YOUR_API_KEY} というラベルのプレースホルダを含むリクエスト構文が表示されますが、このプレースホルダを独自の API キーに置き換えると、アプリケーションで同じリクエストを行うことができます。

このラボでは、インライン Google APIs Explorer テンプレートを使用して Cloud Dataproc API を呼び出し、クラスタを作成します。その後、クラスタ内でシンプルな Spark ジョブを実行します。また、APIs Explorer テンプレートを使用して Cloud Dataproc API を呼び出し、クラスタを更新する方法についても説明します。

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。

このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

  • 標準的なインターネット ブラウザ(Chrome を推奨)
注: このラボの実行には、シークレット モード(推奨)またはシークレット ブラウジング ウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生しないようにすることができます。
  • ラボを完了するための時間(開始後は一時停止できません)
注: このラボでは、受講者アカウントのみを使用してください。別の Google Cloud アカウントを使用すると、そのアカウントに料金が発生する可能性があります。

ラボを開始して Google Cloud コンソールにログインする方法

  1. [ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるダイアログでお支払い方法を選択してください。 右側の [ラボの設定とアクセス] パネルには、以下が表示されます。

    • [Google Cloud コンソールを開く] ボタン
    • このラボで使用する一時的な認証情報(ユーザー名とパスワード)
    • このラボを行うために必要なその他の情報(ある場合)

    ラボのタイマーはページの上部に表示され、残り時間が示されます。

  2. [Google Cloud コンソールを開く] をクリックします(Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウで開く] を選択します)。

    ラボでリソースがスピンアップし、別のタブで [ログイン] ページが表示されます。

    ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。

    注: [アカウントの選択] ダイアログが表示された場合は、[別のアカウントを使用] をクリックします。
  3. 必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。

    {{{user_0.username | "Username"}}}

    [ラボの設定とアクセス] パネルでもユーザー名を確認できます。

  4. [次へ] をクリックします。

  5. 以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。

    {{{user_0.password | "Password"}}}

    [ラボの設定とアクセス] パネルでもパスワードを確認できます。

  6. [次へ] をクリックします。

    重要: ラボで指定された認証情報を使用する必要があります。ご自身の Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。
  7. その後のページはクリックして先に進みます。

    • 利用規約に同意します。
    • 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
    • 無料トライアルには登録しないでください。

しばらくすると、このタブで Google Cloud コンソールが開きます。

注: Google Cloud のプロダクトやサービスにアクセスするには、ナビゲーション メニューをクリックするか、[検索] フィールドにサービス名またはプロダクト名を入力します。 ナビゲーション メニューのアイコンと検索フィールド

Cloud Shell をアクティブにする

Cloud Shell は、開発ツールと一緒に読み込まれる仮想マシンです。5 GB の永続ホーム ディレクトリが用意されており、Google Cloud で稼働します。Cloud Shell を使用すると、コマンドラインで Google Cloud リソースにアクセスできます。

  1. Google Cloud コンソールの上部にある「Cloud Shell をアクティブにする」アイコン 「Cloud Shell をアクティブにする」アイコン をクリックします。

  2. ウィンドウで次の操作を行います。

    • Cloud Shell 情報ウィンドウで操作を進めます。
    • Cloud Shell が認証情報を使用して Google Cloud API を呼び出すことを承認します。

接続した時点で認証が完了しており、プロジェクトに各自の Project_ID が設定されます。出力には、このセッションの PROJECT_ID を宣言する次の行が含まれています。

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud は Google Cloud のコマンドライン ツールです。このツールは、Cloud Shell にプリインストールされており、タブ補完がサポートされています。

  1. (省略可)次のコマンドを使用すると、有効なアカウント名を一覧表示できます。
gcloud auth list
  1. [承認] をクリックします。

出力:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`
  1. (省略可)次のコマンドを使用すると、プロジェクト ID を一覧表示できます。
gcloud config list project

出力:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} 注: Google Cloud における gcloud ドキュメントの全文については、gcloud CLI の概要ガイドをご覧ください。

タスク 1. APIs Explorer を開く

  1. [ナビゲーション メニュー] > [API とサービス] に移動します。

  2. [Cloud Dataproc API] が見つかるまで下にスクロールして、この API をクリックします。

  3. API が有効になっていることを確認します。有効になっていない場合は、[有効にする] をクリックします。

  4. API が有効になっていることを確認できたら、Rest API リファレンスを開きます。Cloud Dataproc API の REST API リファレンス ページが、新しいタブで表示されます。

タスク 2. クラスタを作成する

左側の [API とリファレンス] セクションで [REST リファレンス] > [v1] > [projects.regions.clusters] > [create] を選択して、projects.regions.clusters.create メソッドを開きます。または、メソッド: projects.regions.clusters.create のリファレンスを参照してクラスタを作成します。

次のようにフォームに入力して、以下の APIs Explorer テンプレートを実行します。

  1. [projectId] フィールドに Qwiklabs プロジェクト ID を入力します。
  2. [region] フィールドを に設定します。
  3. [Request body] で中かっこの内側をクリックし、clusterName プロパティを追加します。clusterName に任意のクラスタ名を入力します。clusterName の値に大文字とスペースを含めることはできません。
  4. [add a property] プルダウン メニューで、config を選択します。
  5. [add a property] プルダウンで、gceClusterConfig を選択します。
  6. この [add a Property] プルダウンで zoneUri フィールドを選択し、以下の URI を追加します。my-project-id はこのラボのプロジェクト ID に置き換えてください。
https://www.googleapis.com/compute/v1/projects/my-project-id/zones/{{{ project_0.default_zone | "ZONE" }}}
  1. config の中かっこで softwareConfig を選択します。
  2. softwareConfig の中かっこで imageVersion を選択して、2.0-debian10 に設定します。
  3. softwareConfig の中かっこで optionalComponents を選択します。optionalComponents で [ADD ITEM] をクリックして、プルダウンから JUPYTER を選択します。

以上の操作が終了すると、[Request body] フィールドは以下のように表示されます。

数行のコードが表示された [Request body] フィールド

  1. [Credentials] セクションの [Google OAuth 2.0] と [API key] のチェックボックスがオンになっていることを確認します。
注: 認証情報に関するよくある質問を表示するには、[Credentials] の横にある疑問符アイコンをクリックします。
  1. 各フィールドに余分なスペースが含まれていないことを確認し、

  2. 下にスクロールして [Execute] をクリックします。

  3. このラボを開始するときに使用した受講者アカウントを選択します。

  4. 次の画面で [Allow] をクリックすると、APIs Explorer にアクセスできます。

  5. リクエストの下に Dataproc API の結果が次のように表示されます。

Dataproc API の処理結果

  1. [ナビゲーション メニュー] > [Managed Service for Spark] > [クラスタ] に移動して、作成したクラスタを確認できます。

完了したタスクをテストする

[進行状況を確認] をクリックして、実行したタスクを確認します。 リージョンに Managed Service for Spark クラスタが正常に作成されていれば、評価スコアが表示されます。

Managed Service for Spark クラスタを作成する(リージョン:

タスク 3. Spark ジョブを実行する

次に、既存の Cloud Managed Service for Spark クラスタで、pi のおおよその値を計算するシンプルな Apache Spark ジョブを実行します。

  • 左側の [API とリファレンス] セクションで [REST レファレンス] > [v1] > [projects.regions.jobs] > [submit] を選択して、projects.regions.jobs.submit メソッドを開きます。または、こちらのリンクを参照してクラスタにジョブを送信します。

次のようにフォームに入力して、以下の APIs Explorer テンプレートを実行します。

  1. [projectId] フィールドにプロジェクト ID を入力します。
  2. [region] フィールドを に設定します。
  3. [Request body] で中かっこの内側をクリックし、job を選択します。
  4. その下にある中かっこをクリックし、placement を選択します。
  5. その下にある中かっこをクリックし、clusterName を選択してからクラスタの名前を入力します。
  6. ジョブの下にある中かっこで、sparkJob を選択します。
  7. 次の 3 つの項目を sparkJob の下に追加します。
  • sparkJob の中かっこで args を選択します。args で [ADD ITEM] をクリックして、「1000」と入力します。
  • [add a property] プルダウンで jarFileUris を選択します。jarFileUris で [ADD ITEM] をクリックして、「file:///usr/lib/spark/examples/jars/spark-examples.jar」と入力します。
  • [add a Property] プルダウンで、mainClass を選択して、「org.apache.spark.examples.SparkPi」と入力します。

以上の操作が終了すると、[Request body] フィールドは以下のように表示されます。

[Request body] の入力内容

  1. [Credentials] セクションの [Google OAuth 2.0] と [API key] のチェックボックスがオンになっていることを確認します。
注: 認証情報に関するよくある質問を表示するには、[Credentials] の横にある疑問符アイコンをクリックします。
  1. 各フィールドに余分なスペースが含まれていないことを確認し、[EXECUTE] をクリックします。

リクエストの下に Dataproc API の処理結果が次のように表示されます。

Dataproc API の処理結果

  1. [Managed Service for Spark] > [クラスタ] に移動すると、結果を確認できます。クラスタの名前をクリックして、[ジョブ] タブをクリックします。

  2. [ジョブ ID] をクリックして [行の折り返し] をオンにすると、右端を超える行を表示できます。

[行の折り返し] をオンにした状態でジョブの出力を表示するタブページ

完了したタスクをテストする

[進行状況を確認] をクリックして、実行したタスクを確認します。Spark ジョブがクラスタに正常に送信されていれば、評価スコアが表示されます。

Spark ジョブを送信する

タスク 4. クラスタを更新する

  • 左側の [API とリファレンス] セクションで [REST レファレンス] > [v1] > [projects.regions.clusters] > [patch] を選択して、projects.regions.clusters.patch メソッドを開きます。または、こちらのリンクを参照してクラスタを更新します。

次のようにフォームに入力して、以下の APIs Explorer テンプレートを実行します。

  1. projectID = プロジェクト ID
  2. region =
  3. clusterName = クラスタ名
  4. updateMask = config.worker_config.num_instances
  5. [Patch body] に以下を入力します。
  • 最初の中かっこ = config
  • その下の中かっこで workerConfig を選択します。
  • その下の中かっこで numInstances を選択し、「3」と入力します。

フォームが次のように表示されます。

リクエストのパラメータ

  1. [Credentials] セクションの [Google OAuth 2.0] と [API key] のチェックボックスがオンになっていることを確認します。
注: 認証情報に関するよくある質問を表示するには、[Credentials] の横にある疑問符アイコンをクリックします。
  1. 各フィールドに余分なスペースが含まれていないことを確認し、[EXECUTE] をクリックします。

リクエストの下に Dataproc API の処理結果が次のように表示されます。

Dataproc API の処理結果

  1. この更新を確認するには、[Managed Service for Spark クラスタ] ページに戻ります。合計 3 つのワーカーノードがあることを確認できます。

完了したタスクをテストする

[進行状況を確認] をクリックして、実行したタスクを確認します。ワーカー構成が 3 つのワーカーノードに正常に更新されていれば、評価スコアが表示されます。

3 つのワーカーノードでクラスタを更新する

タスク 5. 理解度を確認する

今回のラボで学習した内容の理解を深めていただくため、以下の多肢選択問題を用意しました。正解を目指して頑張ってください。

お疲れさまでした

APIs Explorer で Cloud Dataproc API を使用してクラスタを作成し、Spark ジョブの実行とクラスタの更新を行いました。

次のステップと詳細情報

Google Cloud トレーニングと認定資格

Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

マニュアルの最終更新日: 2024 年 11 月 6 日

ラボの最終テスト日: 2024 年 11 月 6 日

Copyright 2026 Google LLC. All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。

始める前に

  1. ラボでは、Google Cloud プロジェクトとリソースを一定の時間利用します
  2. ラボには時間制限があり、一時停止機能はありません。ラボを終了した場合は、最初からやり直す必要があります。
  3. 画面左上の [ラボを開始] をクリックして開始します

シークレット ブラウジングを使用する

  1. ラボで使用するユーザー名パスワードをコピーします
  2. プライベート モードで [コンソールを開く] をクリックします

コンソールにログインする

    ラボの認証情報を使用して
  1. ログインします。他の認証情報を使用すると、エラーが発生したり、料金が発生したりする可能性があります。
  2. 利用規約に同意し、再設定用のリソースページをスキップします
  3. ラボを終了する場合や最初からやり直す場合を除き、[ラボを終了] はクリックしないでください。クリックすると、作業内容がクリアされ、プロジェクトが削除されます

このコンテンツは現在ご利用いただけません

利用可能になりましたら、メールでお知らせいたします

ありがとうございます。

利用可能になりましたら、メールでご連絡いたします

1 回に 1 つのラボ

既存のラボをすべて終了して、このラボを開始することを確認してください

シークレット ブラウジングを使用してラボを実行する

このラボを実行するには、シークレット モードまたはシークレット ブラウジング ウィンドウを使用することをおすすめします。これにより、個人アカウントと受講者アカウントの競合を防ぎ、個人アカウントに追加料金が発生することを防ぎます。