GSP1096

概要

このラボでは、SingleStoreDB をデプロイし、Pub/Sub、Dataflow、Cloud Storage など、Google Cloud のクラウドネイティブ プロダクトと組み合わせて使用する実践的な経験を積むことができます。各プロダクトの機能を実演するため、ニューヨーク市のタクシーに関する一般公開データセットを使って実習を行います。

ラボの流れとしては、まずローカルマシンのブラウザから SingleStoreDB をデプロイし、適切なスキーマを作成します。次に Dataflow を活用して、Pub/Sub でデータをリアルタイムで Cloud Storage に push します。オブジェクト ストレージで生成および保存されたデータは、SingleStoreDB のネイティブ パイプラインを通じて消費されます。SingleStoreDB にデータが取り込まれると、クエリを実行して SingleStore を操作できるようになります。

学習内容

このラボでは、次のタスクの実行方法について学びます。

• Google Cloud にログインして操作する。
• SingleStore DB インスタンス / クラスタを作成する。
• Cloud Shell を使用して SingleStoreDB に接続し、スキーマを作成する。
• Pub/Sub トピックとサブスクリプションを作成し、他のサービスにデータを pull および push する。
• Dataflow ストリーミング ジョブを作成する。
• SingleStore ネイティブ パイプラインを使用して、オブジェクト ストレージからデータを読み込む。
• SingleStore でクエリを実行し、データを処理する。

前提条件

SingleStore からの確認メールを受信できる個人用メール アカウントにアクセスできる必要があります。ラボの実習中に確認コードを受信するのですが、これには個人用のメール アカウントが必要になります。

ある程度 Google Cloud と SingleStore の知識があると役立ちますが、必須ではありません。

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。

このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

• 標準的なインターネット ブラウザ（Chrome を推奨）

注: このラボの実行には、シークレット モード（推奨）またはシークレット ブラウジング ウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生しないようにすることができます。

• ラボを完了するための時間（開始後は一時停止できません）

注: このラボでは、受講者アカウントのみを使用してください。別の Google Cloud アカウントを使用すると、そのアカウントに料金が発生する可能性があります。

ラボを開始して Google Cloud コンソールにログインする方法

1. [ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるダイアログでお支払い方法を選択してください。 左側の [ラボの詳細] ペインには、以下が表示されます。

   • [Google Cloud コンソールを開く] ボタン
   • 残り時間
   • このラボで使用する必要がある一時的な認証情報
   • このラボを行うために必要なその他の情報（ある場合）

2. [Google Cloud コンソールを開く] をクリックします（Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウで開く] を選択します）。

   ラボでリソースがスピンアップし、別のタブで [ログイン] ページが表示されます。

   ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。

   注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。

3. 必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。

   {{{user_0.username | "Username"}}}

   [ラボの詳細] ペインでもユーザー名を確認できます。

4. [次へ] をクリックします。

5. 以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。

   {{{user_0.password | "Password"}}}

   [ラボの詳細] ペインでもパスワードを確認できます。

6. [次へ] をクリックします。

   重要: ラボで提供された認証情報を使用する必要があります。Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。

7. その後次のように進みます。

   • 利用規約に同意してください。
   • 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
   • 無料トライアルには登録しないでください。

その後、このタブで Google Cloud コンソールが開きます。

注: Google Cloud のプロダクトやサービスにアクセスするには、ナビゲーション メニューをクリックするか、[検索] フィールドにサービス名またはプロダクト名を入力します。

タスク 1. 自分用の SingleStore クラスタを起動する

事前にシークレット ウィンドウで Google Cloud コンソールにログインしておく必要があります。

1. 開いているシークレット ウィンドウの別のタブで、SingleStore ポータルにアクセスします。次のようなページが表示されます。

2. [Sign up] をクリックし、自分の詳細情報を入力します。
3. [Company email address] に個人用メールアドレスを入力します。
4. [Continue] をクリックします。
5. 一意のパスワードを入力し、[Continue] をクリックして SingleStore にログインします。
6. メールアドレスに届いた確認コードを入力し、[Submit] をクリックします。
7. [Terms of Service + Privacy Policy] のチェックボックスをオンにして、[Continue] をクリックします。
8. [About your project] ページで、いずれかのオプションを選択して [Next] をクリックします。
9. [View my Deployment] をクリックして、SingleStore Customer Portal に移動します。
10. 「Your free starter workspace is ready!」と表示されたら、[Start Using SingleStore] をクリックします。

ワークスペースを作成する

1. 左上の [+ Create New] をクリックし、[Deployment] を選択します。

2. [Create Workspace] ページで、次のように設定を構成します。

   • [Workspace Group Name]: Workshop
   • [Cloud Provider]: GCP
   • [Region]: US East 4 (N.Virginia)（これはデフォルトです。該当しない場合は、適宜変更してください。）

構成は次のようになります。

3. [Next] をクリックします。

4. [Workspace Details] ページでデフォルトの設定を変えずに [Create Workspace] をクリックします。

ワークスペースが起動するまで数分待ちます。サンプルのデータベースが生成されますが、このラボでは使用しません。

タスク 2. SingleStore と Google Cloud に接続する

1. SingleStore ワークスペースに接続する前に、Google Cloud コンソールに戻ります。

2. コンソールの右上にある Cloud Shell をアクティブにするアイコン（）をクリックして、新しい Cloud Shell ウィンドウを開きます。プロンプトが表示されたら、[Continue]、[Authorize] の順にクリックします。

3. Cloud Shell で次のコマンドを実行し、GitHub リポジトリのクローンを作成して、ワークショップで使用するコードをダウンロードします。

git clone https://github.com/mlochbihler/singlestore-gcp-looker-devday-01 cd singlestore-gcp-looker-devday-01/section_b

4. SingleStore ポータルに戻ります。ワークスペースが初期化されたら、[Connect] の横にあるプルダウン矢印をクリックし、[CLI Client] を選択します。

5. [Connect to Workspace] ページで、まず生成されたパスワードをコピーします。パスワードの横にコピーアイコンがあります。このパスワードはラボの後半で必要になるため、ローカル ファイルに保存しておくことをおすすめします。

6. MySQL コマンドの右にあるコピーアイコンをクリックします。これにより、コマンドがクリップボードにコピーされます。

MySQL コマンドは、mysql -u admin -h svc-b675ae2f-b129-4baf-86ca-0a03c2c31d19-dml.gcp-virginia-1.svc.singlestore.com -P 3306 --default-auth=mysql_native_password --password のようになります。

注: 上記の MySQL コマンドで設定したパスワードがウィンドウに表示される場合があります。これは、最初にウィンドウが開くときのみで、その後は表示されなくなるため、パスワードは保存しておいてください。 なんらかの理由で SingleStore DB に接続できなくなった場合は、[Access] タブに移動して [Reset] をクリックすると、パスワードをリセットできます。

7. Google Cloud コンソールと Cloud Shell インスタンスに戻ります。

8. MySQL コマンドをターミナルに貼り付けます。

9. プロンプトが表示されたら、先ほどコピーしたパスワードを入力します。mysql> プロンプトが表示されます。

注: デプロイ環境が MySQL コマンドに応答しなくなった場合は、SingleStore でワークスペースの状態を確認してください。20 分以上操作が行われないと一時停止する設定になっています。一時停止になっている場合は、ボタンに [Resume] と表示されており、クリックするとプロセスが再開されます。通常、プロセスは数分で完了します。

タスク 3. スキーマを作成して SingleStore を操作する

このセクションでは、テーブル スキーマを構築します。

次の DDL を使用して、nyc_taxi という名前の新しいデータベースを作成します。

1. mysql> プロンプトで、次のコードを実行します。

source create_nyctaxi_tables.ddl; use nyc_taxi; show tables;

出力は次のようになります。

出力:

Database changed +--------------------+ | Tables_in_nyc_taxi | +--------------------+ | avgcost | | avgdist | | avgriders | | avgridetime | | avgwait_driver | | avgwait_passenger | | drivers | | nab_nyctaxi_scored | | neighborhoods | | trips | | triptotals | | triptotalsc | +--------------------+ 12 rows in set (0.05 sec)

スキーマが作成され、データベース テーブルが一覧表示されました。

2. 次のコマンドを実行します。

select * from avgcost limit 5;

このクエリの出力は「Empty set」または「0」になります。これは、スキーマのみを作成し、テーブルが空であるためです。

ここまでの作業では、SingleStore Database を作成して接続しました。スキーマも設定しましたが、まだデータはロードされていません。

時間に余裕があれば、SingleStore のさまざまな機能を自由に試してみてください。

タスク 4. ラボで使用するデータを探索する（省略可）

本日のラボでは、ニューヨーク市のタクシーに関するデータを使用します。このデータは、BigQuery の一般公開データセットまたは NYC Open Data ウェブサイトで確認できます。

このデータは事前に Cloud Storage バケットに保存されているため、Google Cloud にダウンロード / インポートする必要はありません。いつでも自由に探索できます。

NYC Open Data のウェブサイトでは、タクシー、教育、警察のデータなど、ニューヨーク市に関連するデータセットを無料で提供しています。

このラボでは、ニューヨーク市都市計画局の近隣集計エリア（NTA）を使用します。NTA によって、ニューヨーク市内のおおよそのゾーンや近隣地域に関する情報が提供されます。このデータをニューヨーク市のタクシーに関するデータと組み合わせることで、乗客の乗車場所と降車場所を確認できます。

また、ウェブサイトでは、データを近隣地域ごとに可視化できます。

タスク 5. Cloud Storage バケットを設定する

1. このセクションを開始する前に、[+] ボタンをクリックして新しい Cloud Shell ターミナルタブを開いておきます。

Google Cloud でリソースを設定する主な方法は、GUI と CLI の 2 種類です。このラボでは、CLI を使用してバケットを作成し、NYC Open Data ウェブサイトからタクシーに関する最新の近隣データを取得します。

2. 次のコマンドをコピーして実行し、独自のバケットを作成して、公開バケットから自分のバケットにデータをインポートします。

gcloud storage buckets create gs://$GOOGLE_CLOUD_PROJECT --location={{{ project_0.default_region | "REGION" }}} gcloud storage cp -r gs://configuring-singlestore-on-gcp/drivers gs://$GOOGLE_CLOUD_PROJECT gcloud storage cp -r gs://configuring-singlestore-on-gcp/trips gs://$GOOGLE_CLOUD_PROJECT gcloud storage cp gs://configuring-singlestore-on-gcp/neighborhoods.csv gs://$GOOGLE_CLOUD_PROJECT

プロンプトが表示されたら、[承認] をクリックします。

なお、プロジェクトにはすでに別のバケットが作成されていますが、このバケットは Dataflow のステージング / 一時ストレージ用なので、心配する必要はありません。

3. [Cloud Storage] > [バケット] に移動し、自分のバケット（）を見つけます。このバケットに 2 つのフォルダと 1 つの CSV ファイルが含まれていることを確認します。以下のように表示されるはずです。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 Cloud Storage バケットを設定する

タスク 6. Pub/Sub と Dataflow ストリーミング ジョブを構成する

Pub/Sub と Dataflow のリソースは、プロジェクトに事前設定されています。これらを表示するには、Cloud コンソールの上部にある検索ボックスを使用して、それぞれ Pub/Sub または Dataflow を検索します。

1. Pub/Sub に対しては、次の操作を行います。

• 「Taxi」というトピックがあることを確認する
• 「Taxi-sub」というサブスクリプションがあることを確認する

2. Dataflow に対しては、次の操作を行います。

• ステータスが「failed」の「GCStoPS」というジョブがあることを確認する

3. ジョブをクリックし、このジョブをそのまま実行できるよう [クローン] をクリックします。名前を変更し、ジョブ情報を確認します（クローン作成時に事前入力されています）。ジョブ名を変更することで、実行中のジョブを判別しやすくなります。下にスクロールして [ジョブを実行] をクリックします。

4. [Dataflow ジョブ] に戻り、ジョブのステータスが「running」であることを確認します。

注: Dataflow ジョブがストリーミングを開始するまでに 5～7 分かかることがあります。

5. [Pub/Sub] ページに戻り、Taxi-sub サブスクリプションを見つけて、[メッセージ] をクリックし、さらに [pull] をクリックします。これにより、メッセージが読み込まれ始め、次のようになります。

これで、ライブ データ ストリーミングをシミュレートできました。たとえば、GCS にさらにデータをアップロードして Pub/Sub で pull すると、Dataflow がそのデータをライブで移動します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 Dataflow ジョブのクローンを作成する

タスク 7. Google Cloud でストリーミング アーキテクチャを設定する

Google Cloud の一般的なストリーミング アーキテクチャは、Pub/Sub > Dataflow > GCS で構成されます。このタスクでは、この設定を行ってから、SingleStore を GCS に接続します。

1. [Dataflow] に戻ります。

2. [テンプレートからジョブを作成] をクリックし、ジョブに「pstogcs」（PubSub to GCS）という名前を付けます。

3. リージョン エンドポイントとして [] を選択します。

4. Dataflow テンプレートとして、「Pub/Sub Subscription or Topic to Text Files on Cloud Storage」を選択します（多数のオプションが表示されるため、フィルタが必要になる場合があります。）

5. [ターゲット] で [参照] をクリックし、先ほど作成したバケット（）を選択します。後でこのジョブを実行したら、このバケットにジョブの出力を保存します。[選択] をクリックします。

6. 出力ファイル名の接頭辞は output のままにしておきます。これにより、出力ファイルを明確に識別できるようにします。

7. [オプションのソース パラメータ] を開きます。[入力 Pub/Sub サブスクリプション名] で、先ほどメッセージが読み込まれた Taxi-sub を選択します。入力トピックを含める必要はありません。

8. その他の設定はすべてデフォルトのままにして、ページの下部にある [ジョブを実行] をクリックします。

注: ジョブの実行時にエラーが発生した場合は、日付と時刻のカスタム パターン フィールドに問題がないか確認してください。問題がある場合は、これらのフィールドの値をすべて削除してからジョブを再試行してください。

この Dataflow ジョブは、先ほど Pub/Sub で確認したメッセージを読み取り、Cloud Storage バケットにストリーミングするためのものです。

注: Dataflow ジョブがストリーミングを開始するまでに 5～7 分かかることがあります。

9. [Cloud Storage] > [バケット] に移動し、バケット を開きます。バケットにタイムスタンプ付きの出力ファイルが表示されます。

10. 出力ファイルをクリックして、[ダウンロード] を選択します。名前、座標、時間を含むタクシーのデータが表示されます。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 Google Cloud でストリーミング アーキテクチャを設定する

Cloud Shell IDE で Gemini Code Assist を有効にする

Cloud Shell などの統合開発環境（IDE）で Gemini Code Assist を使用して、コードに関するガイダンスを受けたり、コードの問題を解決したりできます。使用を開始する前に、Gemini Code Assist を有効にする必要があります。

1. Cloud Shell で、次のコマンドを使用して Gemini for Google Cloud API を有効にします。

gcloud services enable cloudaicompanion.googleapis.com

2. Cloud Shell ツールバーの [エディタを開く] をクリックします。

注: Cloud Shell エディタを開くには、Cloud Shell ツールバーの [エディタを開く] をクリックします。必要に応じて、[エディタを開く] または [ターミナルを開く] をクリックして、Cloud Shell とコードエディタを切り替えることができます。

3. 左側のペインで [設定] アイコンをクリックし、[設定] ビューで「Gemini Code Assist」を検索します。

4. [Geminicodeassist: Enable] のチェックボックスがオンになっていることを確認し、[設定] を閉じます。

5. 画面下部のステータスバーで [Cloud Code - No Project] をクリックします。

6. 指示に従ってプラグインを承認します。プロジェクトが自動的に選択されない場合は、[Google Cloud プロジェクトを選択する] をクリックして を選択します。

7. ステータスバーの Cloud Code ステータス メッセージに Google Cloud プロジェクト（）が表示されていることを確認します。

Cloud Storage を SingleStore に接続する

次に、このプライベート Cloud Storage バケットを SingleStore に接続するためのキーを作成する必要があります。

1. Cloud Storage で、[設定]（ナビゲーション メニュー内）に移動します。

2. [相互運用性] タブをクリックします。下部にある [鍵を作成] をクリックします。

次に、パイプラインを使用してデータを SingleStore に取り込み、ストアド プロシージャを開始します。

3. SingleStore ターミナルが開いている Cloud Shell タブに戻ります。

4. SingleStore の最初のパイプラインを次の手順で作成します。

   • 最初の CloudShell タブで、[エディタを開く] をクリックします。プロンプトが表示されたら、[新しいウィンドウで開く] をクリックします。
   • singlestore-gcp-looker-devday-01 > section b > create_nyctaxi_pipelines.dml ファイルを開きます。

   この操作により Gemini Code Assist が有効になり、エディタの右上隅に アイコンが表示されます。

Gemini Code Assist を使用して SingleStore パイプライン ファイルについて調べる

1. Gemini Code Assist: Smart Actions アイコン をクリックし、[この内容を説明] を選択します。

2. Gemini Code Assist は、「Explain this」というプロンプトが事前入力されたチャットペインを開きます。Code Assist のチャットのインライン テキスト ボックスで、事前入力されたプロンプトを次のプロンプトに置き換えて、[Send] をクリックします。

あなたは Cymbal AI のエキスパート データ エンジニアです。新しいチームメンバーはこの SingleStore Pipelines コードに慣れていません。この「create_nyctaxi_pipelines.dml」ファイルについて、コードで使用されている主要なコンポーネントごとに詳しく説明してください。 改善案の提案がある場合でも、このファイルを更新しないでください。

create_nyctaxi_pipelines.dml ファイルのコードの説明が Gemini Code Assist のチャットに表示されます。

3. ファイルを次のように更新します。

• 4 行目のバケット名を、自分のバケット名に変更する。
• 5 行目に、先ほど作成したストレージ バケットのアクセス ID とシークレット キーを追加する。
• 12 行目のバケット名を、自分のバケット名に変更する。
• 13 行目に、先ほど作成したストレージ バケットのアクセス ID とシークレット キーを追加する。
• 22 行目のバケット名を自分のバケット名に変更し、.tsv を .csv に変更する。
• 23 行目に、先ほど作成したストレージ バケットのアクセス ID とシークレット キーを追加する。
• 26 行目の /t を , に変更する。

ファイルは次のようになります。

4. [保存] をクリックします。

5. Cloud Shell ターミナルに戻ります。MySQL コマンドを使用して SingleStore に接続します。SingleStore への接続には、先ほど使用したのと同じコマンドを使用できます。

6. MySQL プロンプトで、次のコマンドを実行してパイプラインを作成します。

source create_nyctaxi_pipelines.dml; show pipelines;

出力は次のようになります。

出力:

| Pipelines_in_nyc_taxi | State | Scheduled | | --------------------- | ------- | --------- | | neighborhoods | Stopped | False | | drivers | Stopped | False | | trips | Stopped | False |

タスク 8. パイプラインを開始する

1. 次のコマンドを実行してパイプラインを開始します。

source start_nyctaxi_pipelines.dml; show pipelines;

出力:

| Pipelines_in_nyc_taxi | State | Scheduled | | --------------------- | ------- | --------- | | neighborhoods | Running | False | | drivers | Running | False | | trips | Running | False |

2. 3 つすべてのパイプラインのステータスが [実行中] になっていることを確認します。

タスク 9. 運用分析クエリを実行する

1. 次のコマンドを実行して、運用分析クエリを実行します。

select * from trips limit 5; select * from drivers limit 5; select * from neighborhoods limit 5;

レポート 1: 各近隣地域における移動回数の総数。

2. 次のコマンドを実行します。

source total_trips.sql;

レポート 2: 配車のリクエストから乗車までの平均時間。

3. 続いて、次のコマンドを実行します。

source average_wait.sql;

レポート 3: 移動の平均距離。

4. 以下のコマンドを実行します。

source average_distance.sql;

レポート 4: 乗車から降車までの平均時間。

5. 以下のコマンドを実行します。

source average_ride_time.sql;

レポート 5: 移動にかかった平均費用。

6. 以下のコマンドを実行します。

source average_cost.sql;

レポート 6: ドライバーが配車を受諾してから乗客のところに到着するまでの平均時間。

7. 以下のコマンドを実行します。

source average_wait2.sql;

レポート 7: 1 回の乗車あたりの平均乗車人数。

8. 最後に、次のコマンドを実行します。

source average_num_riders.sql;

お疲れさまでした

これで完了です。このラボでは、SingleStoreDB をデプロイし、Pub/Sub、Dataflow、Cloud Storage などの Google Cloud のクラウドネイティブ プロダクトと組み合わせて使用しました。また、SingleStoreDB のネイティブ パイプラインを使用して、Cloud Storage からデータを取り込み、運用分析クエリを実行しました。

SingleStore の詳細については、SingleStore.com をご覧ください。

Google Cloud トレーニングと認定資格

Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

マニュアルの最終更新日: 2025 年 9 月 4 日

ラボの最終テスト日: 2025 年 9 月 4 日

Copyright 2025 Google LLC. All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。