GSP104

概要

Managed Service for Apache Spark は、Apache Spark クラスタと Apache Hadoop クラスタをより簡単かつ費用対効果の高い方法で実行できるようにする、高速で使いやすいフルマネージド クラウド サービスです。これまで数時間から数日かかっていたオペレーションを数秒から数分で処理できます。Managed Service for Apache Spark クラスタは迅速に作成でき、いつでもサイズ変更が可能です。そのためデータ パイプラインの成長にクラスタが追いつかなくなることを心配する必要はありません。

このラボでは、コマンドラインを使用して Managed Apache Spark クラスタを作成する方法、クラスタで簡単な Apache Spark ジョブを実行する方法、クラスタ内のワーカーの数を変更する方法について説明します。

演習内容

このラボでは、次の方法について学びます。

• コマンドラインを使用して Managed Apache Spark クラスタを作成する
• 簡単な Apache Spark ジョブを実行する
• クラスタ内のワーカー数を変更する

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。

このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

• 標準的なインターネット ブラウザ（Chrome を推奨）

注: このラボの実行には、シークレット モード（推奨）またはシークレット ブラウジング ウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生しないようにすることができます。

• ラボを完了するための時間（開始後は一時停止できません）

注: このラボでは、受講者アカウントのみを使用してください。別の Google Cloud アカウントを使用すると、そのアカウントに料金が発生する可能性があります。

ラボを開始して Google Cloud コンソールにログインする方法

1. [ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるダイアログでお支払い方法を選択してください。 右側の [ラボの設定とアクセス] パネルには、以下が表示されます。

   • [Google Cloud コンソールを開く] ボタン
   • このラボで使用する一時的な認証情報（ユーザー名とパスワード）
   • このラボを行うために必要なその他の情報（ある場合）

   ラボのタイマーはページの上部に表示され、残り時間が示されます。

2. [Google Cloud コンソールを開く] をクリックします（Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウで開く] を選択します）。

   ラボでリソースがスピンアップし、別のタブで [ログイン] ページが表示されます。

   ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。

   注: [アカウントの選択] ダイアログが表示された場合は、[別のアカウントを使用] をクリックします。

3. 必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。

   {{{user_0.username | "Username"}}}

   [ラボの設定とアクセス] パネルでもユーザー名を確認できます。

4. [次へ] をクリックします。

5. 以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。

   {{{user_0.password | "Password"}}}

   [ラボの設定とアクセス] パネルでもパスワードを確認できます。

6. [次へ] をクリックします。

   重要: ラボで指定された認証情報を使用する必要があります。ご自身の Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。

7. その後のページはクリックして先に進みます。

   • 利用規約に同意します。
   • 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
   • 無料トライアルには登録しないでください。

しばらくすると、このタブで Google Cloud コンソールが開きます。

注: Google Cloud のプロダクトやサービスにアクセスするには、ナビゲーション メニューをクリックするか、[検索] フィールドにサービス名またはプロダクト名を入力します。

Cloud Shell をアクティブにする

Cloud Shell は、開発ツールと一緒に読み込まれる仮想マシンです。5 GB の永続ホーム ディレクトリが用意されており、Google Cloud で稼働します。Cloud Shell を使用すると、コマンドラインで Google Cloud リソースにアクセスできます。

1. Google Cloud コンソールの上部にある「Cloud Shell をアクティブにする」アイコン をクリックします。

2. ウィンドウで次の操作を行います。

   • Cloud Shell 情報ウィンドウで操作を進めます。
   • Cloud Shell が認証情報を使用して Google Cloud API を呼び出すことを承認します。

接続した時点で認証が完了しており、プロジェクトに各自の Project_ID、 が設定されます。出力には、このセッションの PROJECT_ID を宣言する次の行が含まれています。

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud は Google Cloud のコマンドライン ツールです。このツールは、Cloud Shell にプリインストールされており、タブ補完がサポートされています。

3. （省略可）次のコマンドを使用すると、有効なアカウント名を一覧表示できます。

gcloud auth list

4. [承認] をクリックします。

出力:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. （省略可）次のコマンドを使用すると、プロジェクト ID を一覧表示できます。

gcloud config list project

出力:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} 注: Google Cloud における gcloud ドキュメントの全文については、gcloud CLI の概要ガイドをご覧ください。

タスク 1. クラスタを作成する

1. Cloud Shell で、次のコマンドを実行してリージョンを設定します。

gcloud config set dataproc/region {{{project_0.default_region | Region}}}

2. Cloud Dataproc API を無効にします。

gcloud services disable dataproc.googleapis.com --force

3. Cloud Dataproc API を再度有効にします。

gcloud services enable dataproc.googleapis.com

4. Managed Service for Apache Spark は、同じリージョン内のクラスタ間で共有されるステージング バケットと一時バケットを作成します。Managed Apache Spark で使用するアカウントを指定していないため、Compute Engine のデフォルトのサービス アカウントが使用されます。デフォルトでは、このアカウントに Storage バケットの権限はありません。これらの権限を追加しましょう。

• まず、次のコマンドを実行して PROJECT_ID と PROJECT_NUMBER を取得します。

PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')

• 次のコマンドを実行し、Compute Engine のデフォルトのサービス アカウントに Storage 管理者と Managed Apache Spark ワーカーのロールを追加します。

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/dataproc.worker

3. 次のコマンドを実行して、サブネットワークでプライベート Google アクセスを有効にします。

gcloud compute networks subnets update default --region={{{project_0.default_region | REGION }}} --enable-private-ip-google-access

4. 次のコマンドを実行し、e2-standard-4 VM とデフォルトの Cloud Managed Apache Spark 設定を使用して example-cluster というクラスタを作成します。

gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4

5. クラスタのゾーンを確認するよう求められたら、「Y」と入力します。

クラスタの構築には数分かかります。

Waiting for cluster creation operation...done. Created [... example-cluster]

「Created」（作成完了）と表示されたら、次の手順に進みます。

完了したタスクをテストする

[進行状況を確認] をクリックして、実行したタスクを確認します。Managed Service for Apache Spark クラスタが正常に作成されている場合は、評価スコアが表示されます。

クラスタを作成する

タスク 2. ジョブを送信する

• 次のコマンドを実行し、円周率の概算値を計算するサンプルの Spark ジョブを送信します。

gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

このコマンドでは、以下が指定されています。

• Spark ジョブを example-cluster クラスタで実行すること
• ジョブの円周率計算アプリケーションの main メソッドが含まれる class
• ジョブのコードが含まれる jar ファイルの場所
• ジョブに渡すパラメータ。この場合は、タスクの個数（1000）

注: ジョブに渡すパラメータは、2 個のダッシュ（--）の後に記述する必要があります。詳しくは、gcloud のドキュメントをご覧ください。

ジョブの実行中の出力と最終出力がターミナル ウィンドウに表示されます。

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

完了したタスクをテストする

[進行状況を確認] をクリックして、実行したタスクを確認します。ジョブが正常に送信されている場合は、評価スコアが表示されます。

ジョブを送信する

タスク 3. クラスタを更新する

1. クラスタ内のワーカー数を 4 に変更するには、次のコマンドを実行します。

gcloud dataproc clusters update example-cluster --num-workers 4

クラスタの更新内容の詳細がコマンドの出力に表示されます。

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.

2. 同じコマンドを使って、ワーカーノードの数を減らすことができます。

gcloud dataproc clusters update example-cluster --num-workers 2

これで、Google Cloud から gcloud コマンドラインを使用して Managed Service for Apache Spark クラスタを作成し、ワーカーの数を調整できるようになりました。

タスク 4. 理解度チェック

今回のラボで学習した内容の理解を深めていただくため、以下の多肢選択式問題を用意しました。正解を目指して頑張ってください。

お疲れさまでした

コマンドラインを使用して、Managed Service for Apache Spark クラスタを作成して変更し、ジョブを送信する方法を学びました。

次のステップと詳細情報

このラボは Qwik Start と呼ばれるラボシリーズの一部でもあります。これらのラボでは、Google Cloud で利用できる多くの機能を体験できます。ラボカタログで「Qwik Start」のリストを確認して、興味のあるラボを探してみてください。

Google Cloud トレーニングと認定資格

Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

マニュアルの最終更新日: 2026 年 4 月 15 日

ラボの最終テスト日: 2026 年 4 月 15 日

Copyright 2026 Google LLC. All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。