GSP1075

Ringkasan

Di lab ini, Anda akan mempelajari cara menggunakan BigQuery Omni dengan AWS. BigQuery Omni memungkinkan Anda untuk menjalankan analisis BigQuery pada data yang disimpan di AWS S3. Anda akan membuat koneksi yang diizinkan antara Google Cloud BigQuery dan AWS S3, membuat kueri data yang berada di bucket S3 tanpa perpindahan data, dan menulis hasil kueri kembali ke bucket AWS S3. Lab ini berasal dari Panduan BigQuery Omni yang dipublikasikan oleh Google.

Arsitektur Tingkat Tinggi

Tujuan

Di lab ini, Anda akan mempelajari cara melakukan tugas berikut:

• Membuat koneksi antara Google Cloud dan AWS
• Mengizinkan BigQuery Omni membaca data di bucket AWS S3
• Membuat tabel eksternal BigQuery yang mereferensikan data mentah di bucket AWS S3
• Menjalankan kueri pada data AWS S3
• Mengekspor hasil kueri ke bucket AWS S3

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Cara memulai lab dan login ke Konsol Google Cloud

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kanan terdapat panel Lab setup and access yang berisi hal-hal berikut:

   • Tombol Open Google Cloud console
   • Kredensial sementara (nama pengguna dan sandi) yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

   Perhatikan bahwa timer lab terletak di dekat bagian atas halaman, yang menampilkan waktu yang tersisa.

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab setup and access.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab setup and access.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Penggunaan akun Google Cloud sendiri untuk lab ini mungkin dikenai biaya tambahan.

7. Klik untuk melanjutkan ke halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan daftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search.

Tugas 1. Membuat koneksi AWS BigQuery

BigQuery Omni mengakses data Amazon S3 melalui koneksi yang diotorisasi dari Google Cloud. Setiap koneksi memiliki pengguna Amazon Web Services (AWS) Identity and Access Management (IAM) yang unik. Anda memberikan izin kepada pengguna melalui peran AWS IAM. Kebijakan dalam peran AWS IAM menentukan data yang dapat diakses oleh BigQuery untuk setiap koneksi.

Catatan: Di lab ini, Anda akan menggunakan Konsol Google Cloud dan AWS, serta beralih di antara kedua tab/jendela berdasarkan deskripsi tugas.

Membuat kebijakan AWS IAM untuk BigQuery

1. Login ke AWS Management Console. Klik tombol Open AWS Console di panel lab, lalu login dengan nama pengguna dan sandi yang disediakan.

2. Di Kotak penelusuran di bagian atas, cari Amazon S3, lalu pilih S3. Bucket regional bernama yang sudah berisi data, telah tersedia untuk lab ini. Salin nama bucket ini untuk langkah selanjutnya.

3. Cari AWS Identity and Access Management (IAM) di Kotak penelusuran di bagian atas, lalu pilih IAM.

4. Dari panel sebelah kiri, pilih Policies dan klik bigquery-omni-connection-policy.

5. Klik tab JSON, lalu klik Edit dan tempelkan kode berikut ke editor. Ganti semua instance <BUCKET_NAME> dengan nama bucket S3 yang disalin dari Langkah 2.

{ "Statement": [ { "Action": [ "s3:ListBucket" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<BUCKET_NAME>" ], "Sid": "BucketLevelAccess" }, { "Action": [ "s3:GetObject" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<BUCKET_NAME>", "arn:aws:s3:::<BUCKET_NAME>/*" ], "Sid": "ObjectLevelGetAccess" }, { "Action": [ "s3:PutObject" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<BUCKET_NAME>", "arn:aws:s3:::<BUCKET_NAME>/*" ], "Sid": "ObjectLevelPutAccess" } ], "Version": "2012-10-17" }

6. Klik Berikutnya.

7. Klik Save changes.

Memvalidasi AWS IAM untuk BigQuery

1. Dari panel kiri, pilih Roles.

2. Klik peran bigquery-omni-connection.

3. Salin ARN. ARN akan memiliki format berikut, dengan <ACCOUNT_ID> sebagai ID Akun AWS Anda.

arn:aws:iam::<ACCOUNT_ID>:role/bigquery-omni-connection

Membuat koneksi BigQuery AWS

1. Di Konsol Google Cloud, melalui Navigation Menu, buka BigQuery > Studio.

2. Buka panel Explorer, lalu pilih + Add Data .

3. Klik kotak centang untuk Storage/Data Lakes. Di bagian Featured data sources, pilih Amazon S3, lalu BigQuery Omni Federation

4. Di panel External data source, masukkan informasi berikut:

   • Untuk Connection type, pilih Lakehouse on AWS (via BigQuery Omni).
   • Untuk Connection ID, ketik bq-omni-aws-connector sebagai ID untuk resource koneksi.
   • Untuk Connection location, pilih aws-us-east-1.
   • Opsional: Untuk Friendly name, masukkan nama yang mudah digunakan untuk koneksi tersebut. Nama yang cocok dapat berupa nilai apa pun yang membantu Anda untuk mengidentifikasi resource koneksi, jika perlu mengubahnya nanti.
   • Opsional: Untuk Description, masukkan deskripsi untuk resource koneksi ini.
   • Untuk AWS role id, masukkan ARN Peran IAM lengkap yang Anda salin di langkah sebelumnya dalam format berikut: arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME

5. Klik Create connection.

6. Kembali ke BigQuery Classic Explorer, klik dropdown di samping nama project Anda, lalu buka koneksi yang baru saja dibuat di dalam daftar External Connections.

7. Perhatikan identitas Google BigQuery. Ini adalah akun utama Google yang bersifat khusus untuk setiap koneksi. Salin identitas Google BigQuery ini, yang akan digunakan di bagian berikutnya.

Identitas Google BigQuery Anda akan terlihat seperti berikut:

BigQuery Google identity: 114999259451445753095

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat koneksi BigQuery AWS

Menambahkan Hubungan Kepercayaan ke peran AWS

Hubungan kepercayaan memungkinkan koneksi AWS BigQuery mengambil peran dan mengakses data S3 seperti yang ditentukan dalam kebijakan peran.

1. Kembali ke konsol AWS IAM.

2. Dari panel kiri, pilih Roles.

3. Pilih peran bigquery-omni-connection.

4. Pastikan Durasi sesi maksimum disetel ke 12 jam. Karena setiap kueri dapat berjalan hingga enam jam, durasi ini memungkinkan satu percobaan ulang tambahan. Menambah durasi sesi hingga lebih dari 12 jam tidak akan memungkinkan percobaan ulang tambahan. Untuk informasi selengkapnya, lihat batas waktu eksekusi kueri/kueri multi-pernyataan.

5. Pilih tab Trust Relationships dan klik Edit trust policy.

6. Ganti konten kebijakan dengan yang berikut, mengganti BIGQUERY_IDENTITY dengan identitas Google BigQuery yang Anda salin di Langkah 6, Membuat koneksi AWS BigQuery.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Federated": "accounts.google.com" }, "Action": "sts:AssumeRoleWithWebIdentity", "Condition": { "StringEquals": { "accounts.google.com:sub": "<BIGQUERY_IDENTITY>" } } } ] }

7. Klik Update Policy.

Koneksi kini siap digunakan.

Catatan: Penetapan peran di AWS mungkin memerlukan waktu untuk diterapkan. Jika Anda menerima error seperti ini saat menggunakan koneksi baru, tunggu beberapa saat, lalu coba lagi. Cara ini mungkin dapat mengatasi masalah tersebut.

Tugas 2. Menjalankan kueri pada tabel eksternal AWS S3

BigQuery Omni tidak mengelola data yang disimpan di Amazon S3. Untuk mengakses data S3, tentukan tabel eksternal. Tabel ini disebut tabel eksternal, karena datanya tidak disimpan di penyimpanan terkelola BigQuery. Untuk informasi selengkapnya tentang tabel eksternal, lihat Tabel eksternal.

Membuat set data BigQuery

Di bagian ini, Anda akan membuat set data BigQuery di region yang sama dengan bucket AWS S3 Anda.

1. Di Konsol Google Cloud, buka halaman BigQuery untuk membuat set data.

2. Di panel Classic Explorer, klik 3 titik di samping nama project Anda, lalu pilih Create dataset.

3. Di halaman Create dataset, masukkan informasi berikut:

   • Untuk Dataset ID, masukkan bq_omni_demo.
   • Untuk Data location, pilih aws-us-east-1.

4. Klik Create dataset.

Membuat tabel eksternal

Di bagian ini, Anda akan membuat tabel eksternal dalam set data tersebut.

1. Di penjelajah BigQuery ini, luaskan project Anda dan pilih set data bq_omni_demo yang telah dibuat.

2. Di panel detail, klik Create table.

3. Di halaman Create table, di bagian Source, lakukan hal berikut:

   • Untuk Create table from, pilih Amazon S3.
   • Untuk Select S3 path, masukkan s3://[S3 bucket name]/taxi-data_green_trips_table.csv.
     • Ganti [S3 bucket name] dengan .
   • Untuk File format, pilih CSV.

Catatan: format yang didukung adalah AVRO, PARQUET, ORC, CSV, NEWLINE_DELIMITED_JSON, dan Google Spreadsheet. Penting: pastikan Anda menghapus spasi di jalur S3, karena hal ini berpotensi menyebabkan error.

4. Di halaman Create table, di bagian Destination, lakukan hal berikut:

   • Untuk Dataset name, pilih bq_omni_demo.
   • Di kolom Table name, gunakan bq-omni-table.
   • Pastikan Table type disetel ke External table.
   • Untuk Connection ID, pilih Connection ID yang sesuai dari dropdown.
   • Di bagian Schema, pilih kotak centang Auto detect.

5. Klik Create table.

Catatan: Anda tidak perlu menentukan skema tabel, karena skema tersebut secara otomatis terdeteksi dari file sumber.

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat Set Data BigQuery dan Tabel Eksternal

Tugas 3. Membuat tabel eksternal dan mengkueri data AWS S3

BigQuery Omni memungkinkan Anda untuk membuat kueri tabel eksternal seperti tabel BigQuery lainnya. Ukuran hasil maksimum untuk kueri interaktif adalah 10 GB (pratinjau). Untuk informasi selengkapnya, lihat Batasan. Jika hasil kueri Anda lebih besar dari 10 GB, sebaiknya ekspor hasilnya ke Amazon S3. Hasil kueri disimpan di dalam tabel sementara BigQuery.

Buat kueri tabel eksternal

1. Dari halaman detail bq-omni-table, klik Query, editor baru akan terbuka.

2. Di Query editor, jalankan pernyataan berikut:

SELECT * FROM `{{{project_0.project_id|S3 bucket name}}}.bq_omni_demo.bq-omni-table`

3. Klik Run.

Anda akan melihat output berikut:

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat Kueri Tabel Eksternal

Tugas 4. Mengekspor hasil kueri ke AWS S3

BigQuery Omni memungkinkan Anda untuk mengekspor hasil kueri terhadap tabel eksternal BigQuery ke Amazon S3.

Mengekspor Hasil Kueri

BigQuery Omni menulis ke lokasi Amazon S3 yang ditentukan, terlepas dari konten apa pun yang ada. Kueri ekspor dapat menimpa data yang sudah ada, atau mencampur hasil kueri dengan data yang sudah ada. Di kolom Query editor, Anda perlu menjalankan kueri ekspor SQL Standar Google. SQL Standar Google adalah sintaksis default yang berada di dalam Konsol Google Cloud. Berikut adalah template yang perlu Anda tulis:

EXPORT DATA WITH CONNECTION `CONNECTION_REGION.CONNECTION_NAME` \ OPTIONS(uri="s3://BUCKET_NAME/PATH", format="FORMAT", ...) \ AS QUERY

Anda harus mengganti hal berikut:

• CONNECTION_REGION: region tempat koneksi dibuat.
• CONNECTION_NAME: nama koneksi yang Anda buat dengan izin yang diperlukan untuk menulis ke bucket S3.
• BUCKET_NAME: bucket Amazon S3 tempat Anda ingin menulis data.
• PATH: jalur tempat Anda ingin menulis file yang diekspor
• FORMAT: format yang didukung adalah JSON, AVRO, dan CSV.
• QUERY: kueri untuk menganalisis data yang disimpan di dalam tabel eksternal BigQuery.

1. Untuk lab ini, kueri telah diisi otomatis untuk Anda. Tempel kueri ini ke dalam editor:

EXPORT DATA WITH CONNECTION `aws-us-east-1.bq-omni-aws-connector` OPTIONS(uri="s3://{{{project_0.project_id|S3 bucket name}}}/exports/*", format="CSV") AS SELECT * FROM `{{{project_0.project_id|S3 bucket name}}}.bq_omni_demo.bq-omni-table`

2. Klik Run.

Anda akan melihat output berikut:

Successfully exported 15417 rows into 1 files.

3. Buka bucket S3 Anda, dan pastikan datanya telah diekspor di direktori exports.

Bagus! Anda telah berhasil menjalankan kueri ekspor dan membuat file di bucket S3.

Klik Periksa progres saya untuk memverifikasi tujuan. Mengekspor hasil kueri ke AWS S3

Selamat!

Di lab ini, Anda telah membuat koneksi antara Google Cloud dan AWS serta mengizinkan BigQuery Omni untuk membaca data di bucket AWS S3. Kemudian, Anda juga telah membuat tabel eksternal BigQuery yang mereferensikan data mentah di bucket AWS S3, menjalankan kueri pada data, dan mengekspor hasil kueri kembali ke bucket AWS S3.

Langkah berikutnya/pelajari lebih lanjut

Pastikan Anda membaca referensi berikut untuk mendapatkan informasi lebih lanjut tentang BigQuery Omni:

• Ringkasan BigQuery Omni
• Harga BigQuery Omni
• Menyiapkan Kontrol Layanan VPC untuk BigQuery Omni
• BigQuery Omni untuk analisis data lintas cloud

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 18 Mei 2026

Lab Terakhir Diuji pada 19 Februari 2026

Hak cipta 2026 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.