概要

BigQuery で Cloud Storage の Iceberg テーブルをクエリする このラボでは、BigQuery の BigLake テーブルを使用して、Cloud Storage 内のオープンソース形式のデータを直接クエリする方法を学びます。既存の Iceberg テーブルを参照する BigLake テーブルを作成し、データを移動または複製することなく分析できる方法を習得します。この強力な機能により、オープン形式で信頼できる唯一の情報源を維持しながら、BigQuery の高性能な分析エンジンを活用できます。この実践演習は、形式や保存場所に関わらずデータを統合できる最新のデータ レイクハウスの基盤となります。

まず、BigQuery が Cloud Storage のデータに安全にアクセスできるようにする接続を作成します。次に、ウェブログの生データを含むサンプル Iceberg テーブルに対して BigLake テーブルを定義します。Iceberg は、大規模な分析データセット向けに設計されたオープン テーブル形式で、Apache Spark などの処理エンジンと組み合わせてよく利用されます。

最後に、Cloud Storage の Iceberg データと、顧客情報を収めたネイティブの BigQuery テーブルをシームレスに結合するクエリを実行します。これらの手法を習得することで、Cymbal E-commerce はさまざまなデータソースにまたがる重要なビジネス課題に答えることができます。たとえば、「最も価値の高いお客様が購入直前に最も頻繁に閲覧している商品はどれか？」といった質問に答えられます。

演習内容

• BigQuery と BigLake を使用して、Cloud Storage の CSV ファイルから Iceberg テーブルを作成する。
• Iceberg テーブルに対してクエリを実行し、Cloud Storage に保存されているデータを分析する。
• BigLake テーブルをネイティブの BigQuery テーブルと結合して、データセットを統合する。
• Cloud Storage への Cloud リソース接続を作成する。

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの手順をお読みください。ラボの時間は記録されており、一時停止することはできません。[ラボを開始] をクリックするとスタートするタイマーは、Google Cloud のリソースを利用できる時間を示しています。

このハンズオンラボでは、シミュレーションやデモ環境ではなく、実際のクラウド環境を使ってご自身でラボのアクティビティを行うことができます。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

必要なもの

このラボを完了するためには、下記が必要です。

• 標準的なインターネット ブラウザ（Chrome を推奨）
• ラボを完了するために十分な時間

Google Cloud コンソールにログインする

1. このラボ セッションで使用しているブラウザタブまたはウィンドウで、[接続の詳細] パネルからユーザー名をコピーし、[Google Console を開く] ボタンをクリックします。

2. ユーザー名を貼り付け、プロンプトが表示されたらパスワードを入力します。
3. [次へ] をクリックします。
4. 利用規約に同意します。

これは、このラボの間だけ有効な一時的なアカウントです。以下の点に注意してください。

• 復元オプションを追加しないでください。
• 無料トライアルに登録しないでください。

5. コンソールが開いたら、左上のナビゲーション メニュー（）をクリックしてサービスのリストを確認します。

必要な API を確認または有効にする

1. Google Cloud コンソールの上部の検索バーに「BigQuery API」と入力します。

2. Marketplace の下に表示された検索結果で、[BigQuery API] をクリックします。

3. API が有効になっていない場合は、[有効にする] をクリックして有効にします。

IAM 権限を確認します。

1. ナビゲーション メニューで [IAM と管理] を選択し、フライアウト サブメニューで [IAM] を選択します。

2. student-xx-xxxxxxxxxxxx@qwiklabs.net のような形式のエントリを見つけます。

3. BigQuery Connection 管理者と BigQuery Connection ユーザーのロールが付与されていることを確認します。

タスク 1. Cloud Storage への接続を作成する

このタスクでは、BigQuery が Cloud Storage 内の CSV ファイルにあるデータを外部テーブルとして読み取れるように、Cloud Storage への新しい接続を作成します。

接続の作成

1. Google Cloud コンソールのナビゲーション メニュー（）で、[BigQuery] > [スタジオ] に移動します。

2. 左上のペインで、[エクスプローラ] をクリックし、[+ データを追加] をクリックします。

3. [データソースのタイプ] で、[ストレージ　/　データレイク] を選択します。

4. [最も人気のあるデータソース] から [Google Cloud Storage] のカードをクリックします。

5. 表示された[外部データへのアクセス] のカードの中から、[外部テーブルまたは BigLake テーブル] をクリックします。

6. [テーブルを作成] の画面で、次の値を使用します。

7. 他はすべてデフォルトのままで [テーブルを作成] をクリックします。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 Cloud Storage への接続を作成する

タスク 2. BigQuery を使用して Cloud Storage に Iceberg テーブルを作成してデータを読み込む

このタスクでは、作成したばかりの外部テーブルからデータを取り込み、Cloud Storage バケットに Iceberg 形式で読み込みます。

1. Google Cloud コンソールのナビゲーション メニュー（）で、[BigQuery] > [スタジオ] に移動します。

2. まだ開いていない場合は、[従来のエクスプローラ] をクリックしてプロジェクトを開きます。qwiklabs-gcp-xx-xxxxxxxxxxxx のように表示されます。

3. cymbal_lake のエントリを展開します。

4. web_log のエントリの右側にあるその他アイコン（縦に 3 つ並んだ点）をクリックします。ポップアップ メニューから [クエリ] を選択します。

5. 右上の [X] をクリックして、リファレンス パネルを閉じます。

6. SQL クエリを次のコードに置き換えます。

   CREATE TABLE cymbal_lake.iceberg_web_log WITH CONNECTION `projects/{{{project_0.project_id | Project ID}}}/locations/{{{project_0.default_region | Region}}}/connections/gcs-bucket-{{{project_0.project_id | Project ID}}}_eds` OPTIONS ( table_format = 'ICEBERG', storage_uri = 'gs://gcs-bucket-{{{project_0.project_id | Project ID}}}') AS SELECT * FROM `cymbal_lake.web_log`;

7. [実行] ボタンをクリックします。処理後に、エラー メッセージが表示されます。このウィンドウは閉じないでください。適切な権限を設定するために、ここに表示される BigQuery サービス アカウント ID が必要になります。エラー メッセージは次のように表示されます。

8. エラー メッセージからユーザー ID をコピーします。形式は bqcx-xxxxxxxxxxxx-xxxx@gcp-sa-bigquery-condel.iam.gserviceaccount.com のようになります。

9. Google Cloud コンソールのナビゲーション メニュー（）で、[Cloud Storage] > [バケット] に移動します。

10. gcs-bucket- で始まるバケットの行の右端にあるその他アイコン（縦に 3 つ並んだ点）をクリックし、[アクセス権を編集] を選択します。

11. [アクセス制御] ボックスで、[均一に切り替える] のリンクをクリックします。

12. ポップアップで [均一] を選択します。[保存] をクリックします。

13. [+ プリンシパルを追加] をクリックします。

14. [新しいプリンシパル] に、BigQuery のエラー メッセージからコピーしたユーザー ID を貼り付けます。

15. [ロールを選択 *] をクリックします。

16. [フィルタ] に「Storage オブジェクト ユーザー」と入力し、表示されたリストから [Storage オブジェクト ユーザー] を選択して、[保存] をクリックします。

17. BigQuery に戻り、タスク 2 のステップ 6 を繰り返して、テーブル作成クエリを再実行します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 BigQuery を使用して Cloud Storage に Iceberg テーブルを作成して読み込む

タスク 3. BigQuery から Iceberg テーブルに対してクエリを実行する

ここでは、BigQuery を使用して、Cloud Storage に作成した Iceberg テーブル内のデータにアクセスします。

1. Google Cloud コンソールのナビゲーション メニュー（）で、[BigQuery] > [スタジオ] に移動します。

2. まだ開いていない場合は、[従来のエクスプローラ] 内のプロジェクトのエントリを開きます。qwiklabs-gcp-xx-xxxxxxxxxxxx のように表示されます。

3. cymbal_lake のエントリを展開します。

4. iceberg_web_log のエントリの右側にあるその他アイコン（縦に 3 つ並んだ点）をクリックします。ポップアップ メニューから [クエリ] を選択します。

5. 右上の [X] をクリックして、リファレンス パネルを閉じます。

6. SQL クエリを次のコードに置き換えます。

   SELECT * FROM cymbal_lake.iceberg_web_log LIMIT 1000;

7. [実行] ボタンをクリックします。返されたデータは、Cloud Storage の Iceberg テーブルから取得したものです。

8. SQL クエリを次のコードに置き換えます。

   SELECT * FROM cymbal_lake.iceberg_web_log AS WL INNER JOIN customers.customer_details AS CD ON WL.customer_id = CD.id LIMIT 1000;

9. [実行] ボタンをクリックします。返されたデータは、Cloud Storage の Iceberg テーブルと、ネイティブの BigQuery テーブルの顧客データを結合したものです。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 BigQuery から Iceberg テーブルに対してクエリを実行する

お疲れさまでした

BigQuery で外部テーブルを構成し、Cloud Storage の CSV ファイルからデータにアクセスできるようにしました。次に、Cloud Storage に Iceberg テーブルを作成し、BigQuery を使用して CSV ファイルからデータを取り込みました。最後に、Iceberg テーブルのデータとネイティブの BigQuery テーブルのデータを結合するクエリを実行しました。これは簡単な例でしたが、Cymbal の BigQuery と BigLake のレイクハウスが、データを強力なビジネスツールへと変えるパワーと柔軟性を備えていることを示しています。