始める前に
- ラボでは、Google Cloud プロジェクトとリソースを一定の時間利用します
- ラボには時間制限があり、一時停止機能はありません。ラボを終了した場合は、最初からやり直す必要があります。
- 画面左上の [ラボを開始] をクリックして開始します
Create a Managed Apache Spark cluster (region: us-central1)
/ 50
Submit a Spark Job
/ 25
Update a cluster for 3 worker nodes
/ 25
Create a Managed Apache Spark cluster (region: us-central1)
/ 50
Submit a Spark Job
/ 25
Update a cluster for 3 worker nodes
/ 25
Google APIs Explorer は、さまざまな Google API をインタラクティブに試すことができるツールです。APIs Explorer を使用すると、次のことができます。
APIs Explorer では、リクエストが行われるたびに独自の API キーが使用されます。APIs Explorer を使用してリクエストを行う際、{YOUR_API_KEY} というラベルのプレースホルダを含むリクエスト構文が表示されますが、このプレースホルダを独自の API キーに置き換えると、アプリケーションで同じリクエストを行うことができます。
このラボでは、インライン Google APIs Explorer テンプレートを使用して Cloud Dataproc API を呼び出し、クラスタを作成します。その後、クラスタ内でシンプルな Spark ジョブを実行します。また、APIs Explorer テンプレートを使用して Cloud Dataproc API を呼び出し、クラスタを更新する方法についても説明します。
こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。
このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。
このラボを完了するためには、下記が必要です。
[ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるダイアログでお支払い方法を選択してください。 右側の [ラボの設定とアクセス] パネルには、以下が表示されます。
ラボのタイマーはページの上部に表示され、残り時間が示されます。
[Google Cloud コンソールを開く] をクリックします(Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウで開く] を選択します)。
ラボでリソースがスピンアップし、別のタブで [ログイン] ページが表示されます。
ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。
必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。
[ラボの設定とアクセス] パネルでもユーザー名を確認できます。
[次へ] をクリックします。
以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。
[ラボの設定とアクセス] パネルでもパスワードを確認できます。
[次へ] をクリックします。
その後のページはクリックして先に進みます。
しばらくすると、このタブで Google Cloud コンソールが開きます。
Cloud Shell は、開発ツールと一緒に読み込まれる仮想マシンです。5 GB の永続ホーム ディレクトリが用意されており、Google Cloud で稼働します。Cloud Shell を使用すると、コマンドラインで Google Cloud リソースにアクセスできます。
Google Cloud コンソールの上部にある「Cloud Shell をアクティブにする」アイコン をクリックします。
ウィンドウで次の操作を行います。
接続した時点で認証が完了しており、プロジェクトに各自の Project_ID、
gcloud は Google Cloud のコマンドライン ツールです。このツールは、Cloud Shell にプリインストールされており、タブ補完がサポートされています。
出力:
出力:
gcloud ドキュメントの全文については、gcloud CLI の概要ガイドをご覧ください。
[ナビゲーション メニュー] > [API とサービス] に移動します。
[Cloud Dataproc API] が見つかるまで下にスクロールして、この API をクリックします。
API が有効になっていることを確認します。有効になっていない場合は、[有効にする] をクリックします。
API が有効になっていることを確認できたら、Rest API リファレンスを開きます。Cloud Dataproc API の REST API リファレンス ページが、新しいタブで表示されます。
左側の [API とリファレンス] セクションで [REST リファレンス]
> [v1] > [projects.regions.clusters] >
[create] を選択して、projects.regions.clusters.create
メソッドを開きます。または、メソッド: projects.regions.clusters.create のリファレンスを参照してクラスタを作成します。
次のようにフォームに入力して、以下の APIs Explorer テンプレートを実行します。
clusterName
プロパティを追加します。clusterName
に任意のクラスタ名を入力します。clusterName
の値に大文字とスペースを含めることはできません。
config を選択します。
gceClusterConfig を選択します。
zoneUri フィールドを選択し、以下の URI を追加します。my-project-id
はこのラボのプロジェクト ID に置き換えてください。
config の中かっこで softwareConfig を選択します。
softwareConfig の中かっこで
imageVersion を選択して、2.0-debian10
に設定します。
softwareConfig の中かっこで
optionalComponents を選択します。optionalComponents
で [ADD ITEM] をクリックして、プルダウンから
JUPYTER を選択します。
以上の操作が終了すると、[Request body] フィールドは以下のように表示されます。
各フィールドに余分なスペースが含まれていないことを確認し、
下にスクロールして [Execute] をクリックします。
このラボを開始するときに使用した受講者アカウントを選択します。
次の画面で [Allow] をクリックすると、APIs Explorer にアクセスできます。
リクエストの下に Dataproc API の結果が次のように表示されます。
[進行状況を確認]
をクリックして、実行したタスクを確認します。
次に、既存の Cloud Managed Service for Spark クラスタで、pi のおおよその値を計算するシンプルな Apache Spark ジョブを実行します。
projects.regions.jobs.submit
メソッドを開きます。または、こちらのリンクを参照してクラスタにジョブを送信します。
次のようにフォームに入力して、以下の APIs Explorer テンプレートを実行します。
job を選択します。
placement を選択します。
clusterName
を選択してからクラスタの名前を入力します。
sparkJob を選択します。args を選択します。args で
[ADD ITEM] をクリックして、「1000」と入力します。
jarFileUris を選択します。jarFileUris
で [ADD ITEM]
をクリックして、「file:///usr/lib/spark/examples/jars/spark-examples.jar」と入力します。
mainClass
を選択して、「org.apache.spark.examples.SparkPi」と入力します。
以上の操作が終了すると、[Request body] フィールドは以下のように表示されます。
リクエストの下に Dataproc API の処理結果が次のように表示されます。
[Managed Service for Spark] > [クラスタ] に移動すると、結果を確認できます。クラスタの名前をクリックして、[ジョブ] タブをクリックします。
[ジョブ ID] をクリックして [行の折り返し] をオンにすると、右端を超える行を表示できます。
[進行状況を確認] をクリックして、実行したタスクを確認します。Spark ジョブがクラスタに正常に送信されていれば、評価スコアが表示されます。
projects.regions.clusters.patch
メソッドを開きます。または、こちらのリンクを参照してクラスタを更新します。
次のようにフォームに入力して、以下の APIs Explorer テンプレートを実行します。
config
workerConfig を選択します。numInstances を選択し、「3」と入力します。
フォームが次のように表示されます。
リクエストの下に Dataproc API の処理結果が次のように表示されます。
[進行状況を確認] をクリックして、実行したタスクを確認します。ワーカー構成が 3 つのワーカーノードに正常に更新されていれば、評価スコアが表示されます。
今回のラボで学習した内容の理解を深めていただくため、以下の多肢選択問題を用意しました。正解を目指して頑張ってください。
APIs Explorer で Cloud Dataproc API を使用してクラスタを作成し、Spark ジョブの実行とクラスタの更新を行いました。
Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。
マニュアルの最終更新日: 2024 年 11 月 6 日
ラボの最終テスト日: 2024 年 11 月 6 日
Copyright 2026 Google LLC. All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。
このコンテンツは現在ご利用いただけません
利用可能になりましたら、メールでお知らせいたします
ありがとうございます。
利用可能になりましたら、メールでご連絡いたします
1 回に 1 つのラボ
既存のラボをすべて終了して、このラボを開始することを確認してください