GSP1075

Übersicht

In diesem Lab lernen Sie, wie Sie BigQuery Omni mit AWS verwenden. Mit BigQuery Omni können Sie BigQuery-Analysen für Daten ausführen, die in AWS S3 gespeichert sind. Sie erstellen eine autorisierte Verbindung zwischen Google Cloud BigQuery und AWS S3, fragen Daten in S3-Buckets ab, ohne Daten zu verschieben, und schreiben Abfrageergebnisse zurück in AWS S3-Buckets. Dieses Lab basiert auf dem von Google veröffentlichten BigQuery Omni-Leitfaden.

Übergeordnete Architektur

Ziele

Aufgaben in diesem Lab:

• Verbindung zwischen Google Cloud und AWS erstellen
• BigQuery Omni zum Lesen von Daten in einem AWS S3-Bucket autorisieren
• Externe BigQuery-Tabelle erstellen, die auf die Rohdaten im AWS S3-Bucket verweist
• Abfragen für AWS S3-Daten ausführen
• Abfrageergebnisse in einen AWS S3-Bucket exportieren

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Dialogfeld geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der rechten Seite befindet sich der Bereich Lab-Einrichtung und ‑Zugriff:

   • Button Google Cloud Console öffnen
   • Die temporären Anmeldedaten (Nutzername und Passwort), die Sie für dieses Lab verwenden müssen
   • Gegebenenfalls weitere Informationen für dieses Lab

   Der Lab-Timer befindet sich oben auf der Seite und zeigt die verbleibende Zeit an.

2. Klicken Sie auf Google Cloud Console öffnen. Wenn Sie Chrome verwenden, können Sie auch rechtsklicken und Link in Inkognitofenster öffnen auswählen.

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite „Anmelden“ geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich Lab-Einrichtung und ‑Zugriff.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich Lab-Einrichtung und ‑Zugriff.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder 2-Faktor-Authentifizierung hinzu, da dies nur ein temporäres Konto ist.
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie auf Google Cloud-Produkte und ‑Dienste zugreifen möchten, klicken Sie auf das Navigationsmenü oder geben Sie den Namen des Produkts oder Dienstes in das Feld Suchen ein.

Aufgabe 1: BigQuery-AWS-Verbindung erstellen

BigQuery Omni greift über autorisierte Verbindungen von Google Cloud auf Amazon S3-Daten zu. Jede Verbindung hat einen eigenen eindeutigen IAM-Nutzer (Identity and Access Management, Identitäts- und Zugriffsverwaltung) für AWS (Amazon Web Services). Sie erteilen den Nutzern Berechtigungen über AWS IAM-Rollen. Die Richtlinien in den AWS IAM-Rollen bestimmen, auf welche Daten BigQuery bei einer Verbindung zugreifen kann.

AWS-IAM-Richtlinie für BigQuery erstellen

1. Melden Sie sich bei der AWS Management Console an. Klicken Sie im Lab-Bereich auf AWS-Konsole öffnen und melden Sie sich mit dem angegebenen Nutzernamen und Passwort an.

2. Suchen Sie oben in der Suchleiste nach Amazon S3 und wählen Sie S3 aus. Für dieses Lab ist bereits ein regionaler Bucket namens mit vorab ausgefüllten Daten verfügbar. Kopieren Sie diesen Bucket-Namen für die nachfolgenden Schritte.

3. Suchen Sie in der Suchleiste oben nach AWS Identity and Access Management (IAM) und wählen Sie IAM aus.

4. Wählen Sie im linken Bereich Richtlinien aus und klicken Sie auf bigquery-omni-connection-policy.

5. Klicken Sie auf den Tab JSON, dann auf Bearbeiten und fügen Sie Folgendes in den Editor ein: Ersetzen Sie alle Instanzen von <BUCKET_NAME> durch den Namen Ihres S3-Buckets, den Sie in Schritt 2 kopiert haben.

6. Klicken Sie auf Weiter.

7. Klicken Sie auf Änderungen speichern.

AWS IAM für BigQuery validieren

1. Wählen Sie im linken Bereich Rollen aus.

2. Klicken Sie auf die Rolle bigquery-omni-connection.

3. Kopieren Sie den ARN. Er hat das folgende Format, wobei <ACCOUNT_ID> Ihre AWS-Konto-ID ist.

BigQuery-AWS-Verbindung erstellen

1. Klicken Sie in der Google Cloud Console im Navigationsmenü auf BigQuery > Studio.

2. Wechseln Sie zum Bereich Explorer und wählen Sie + Daten hinzufügen aus.

3. Klicken Sie auf das Kästchen für Speicher/Data Lakes. Wählen Sie unter Empfohlene Datenquellen die Option Amazon S3 und dann BigQuery Omni Federation aus.

4. Geben Sie im Bereich Externe Datenquelle die folgenden Informationen ein:

   • Wählen Sie als Verbindungstyp die Option Lakehouse in AWS (über BigQuery Omni) aus.
   • Geben Sie als Verbindungs-ID bq-omni-aws-connector als Kennung für die Verbindungsressource ein.
   • Wählen Sie unter Verbindungsstandort den Wert aws-us-east-1 aus.
   • Optional: Geben Sie unter Anzeigename einen nutzerfreundlichen Namen für die Verbindung ein. Der Anzeigename kann ein beliebiger Wert sein, mit dem Sie die Verbindungsressource identifizieren können, wenn Sie sie später ändern müssen.
   • Optional: Geben Sie unter Beschreibung eine Beschreibung für diese Verbindungsressource ein.
   • Geben Sie unter AWS-Rollen-ID den vollständigen ARN der IAM-Rolle ein, den Sie im vorherigen Schritt kopiert haben, und zwar in diesem Format: arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME

5. Klicken Sie auf Verbindung erstellen.

6. Kehren Sie zum klassischen BigQuery Explorer zurück, klicken Sie auf das Drop-down-Menü neben dem Projektnamen und rufen Sie die neu erstellte Verbindung in der Liste Externe Verbindungen auf.

7. Beachten Sie die BigQuery-Google-Identität. Dies ist ein Google-Prinzip, das für jede Verbindung spezifisch ist. Kopieren Sie diese BigQuery-Google-Identität, da sie im nächsten Abschnitt verwendet wird.

Ihre BigQuery-Google-Identität sollte in etwa so aussehen:

Klicken Sie auf Fortschritt prüfen. BigQuery-AWS-Verbindung erstellen

Vertrauensstellung zur AWS-Rolle hinzufügen

Die Vertrauensstellung ermöglicht es der BigQuery-AWS-Verbindung, die Rolle zu übernehmen und auf die S3-Daten zuzugreifen, wie in der Rollenrichtlinie angegeben.

1. Kehren Sie zur AWS IAM-Konsole zurück.

2. Wählen Sie im linken Bereich Rollen aus.

3. Wählen Sie die Rolle bigquery-omni-connection aus.

4. Prüfen Sie, ob Maximale Sitzungsdauer auf 12 Stunden festgelegt ist. Da jede Abfrage bis zu sechs Stunden ausgeführt werden kann, ermöglicht diese Dauer einen weiteren Versuch. Wenn Sie die Sitzungsdauer auf mehr als 12 Stunden erhöhen, können keine weiteren Wiederholungen ausgeführt werden. Weitere Informationen finden Sie unter Zeitlimit für die Ausführung von Abfragen/Multi-Anweisungen.

5. Wählen Sie den Tab Vertrauensstellungen aus und klicken Sie auf Vertrauensrichtlinie bearbeiten.

6. Ersetzen Sie den Richtlinieninhalt durch Folgendes und ersetzen Sie dabei BIGQUERY_IDENTITY durch die BigQuery-Google-Identität, die Sie in Schritt 6 von BigQuery-AWS-Verbindung erstellen kopiert haben.

7. Klicken Sie auf Richtlinie aktualisieren.

Die Verbindung ist jetzt einsatzbereit.

Aufgabe 2: Abfragen für die externe AWS S3-Tabelle ausführen

BigQuery Omni verwaltet keine Daten, die in Amazon S3 gespeichert sind. Definieren Sie eine externe Tabelle, um auf S3-Daten zuzugreifen. Diese Tabelle wird als externe Tabelle bezeichnet, da die Daten nicht im verwalteten BigQuery-Speicher gespeichert werden. Weitere Informationen zu externen Tabellen finden Sie unter Externe Tabellen.

BigQuery-Dataset erstellen

In diesem Abschnitt erstellen Sie ein BigQuery-Dataset in derselben Region wie Ihr AWS S3-Bucket.

1. Rufen Sie in der Google Cloud Console die Seite „BigQuery“ auf, um ein Dataset zu erstellen.

2. Klicken Sie im Bereich Klassischer Explorer auf das Dreipunkt-Menü neben dem Namen Ihres Projekts und wählen Sie Dataset erstellen aus.

3. Geben Sie auf der Seite Dataset erstellen die folgenden Informationen ein:

   • Geben Sie für Dataset-ID den String bq_omni_demo ein.
   • Wählen Sie unter Speicherort der Daten die Option aws-us-east-1 aus.

4. Klicken Sie auf Dataset erstellen.

Externe Tabelle erstellen

In diesem Abschnitt erstellen Sie eine externe Tabelle im oben genannten Dataset.

1. Erweitern Sie in diesem BigQuery Explorer Ihr Projekt und wählen Sie das erstellte Dataset bq_omni_demo aus.

2. Klicken Sie im Bereich „Details“ auf Tabelle erstellen.

3. Gehen Sie auf der Seite Tabelle erstellen im Abschnitt Quelle so vor:

   • Wählen Sie unter Tabelle erstellen aus die Option Amazon S3 aus.
   • Geben Sie unter S3-Pfad auswählen s3://[S3 bucket name]/taxi-data_green_trips_table.csv ein.
     • Ersetzen Sie [S3 bucket name] durch .
   • Wählen Sie unter Dateiformat die Option CSV aus.

4. Gehen Sie auf der Seite Tabelle erstellen im Abschnitt Ziel so vor:

   • Wählen Sie für Dataset-Name die Option bq_omni_demo aus.
   • Verwenden Sie im Feld Tabellenname den Namen bq-omni-table.
   • Prüfen Sie, ob Tabellentyp auf Externe Tabelle festgelegt ist.
   • Wählen Sie unter Verbindungs-ID im Drop-down die entsprechende Verbindungs-ID aus.
   • Klicken Sie im Abschnitt Schema auf das Kästchen Automatisch erkennen.

5. Klicken Sie auf Tabelle erstellen.

Klicken Sie auf Fortschritt prüfen. BigQuery-Dataset und externe Tabelle erstellen

Aufgabe 3: Externe Tabelle erstellen und AWS S3-Daten abfragen

Mit BigQuery Omni können Sie die externe Tabelle wie jede andere BigQuery-Tabelle abfragen. Die maximale Ergebnisgröße für interaktive Abfragen beträgt 10 GB (Vorschau). Weitere Informationen finden Sie unter Einschränkungen. Wenn Ihr Abfrageergebnis größer als 10 GB ist, empfehlen wir, dass Sie es nach Amazon S3 exportieren. Das Abfrageergebnis wird in einer temporären BigQuery-Tabelle gespeichert.

Externe Tabelle abfragen

1. Klicken Sie auf der Detailseite bq-omni-table auf Abfrage. Ein neuer Editor wird geöffnet.

2. Führen Sie im Abfrageeditor die folgende Anweisung aus:

3. Klicken Sie auf Ausführen.

Es sollte folgende Ausgabe angezeigt werden:

Klicken Sie auf Fortschritt prüfen. Externe Tabelle abfragen

Aufgabe 4: Abfrageergebnisse nach AWS S3 exportieren

Mit BigQuery Omni können Sie das Ergebnis einer Abfrage in eine externe BigQuery-Tabelle nach Amazon S3 exportieren.

Abfrageergebnisse exportieren

BigQuery Omni schreibt in den angegebenen Amazon S3-Speicherort, unabhängig davon, ob bereits Inhalte vorhanden sind. Die Exportabfrage kann vorhandene Daten überschreiben oder das Abfrageergebnis mit vorhandenen Daten kombinieren. Im Feld „Abfrageeditor“ müssen Sie eine Google Standard-SQL-Exportabfrage ausführen. Google Standard-SQL ist in der Google Cloud Console die Standardsyntax. Hier ist die Vorlage für den Text, den Sie schreiben müssen:

Sie müssen Folgendes ersetzen:

• CONNECTION_REGION: die Region, in der die Verbindung erstellt wurde.
• CONNECTION_NAME: der Verbindungsname, den Sie mit der erforderlichen Berechtigung zum Schreiben in den S3-Bucket erstellt haben.
• BUCKET_NAME: der Amazon S3-Bucket, in den Sie die Daten schreiben möchten.
• PATH: der Pfad, in den Sie die exportierte Datei schreiben möchten.
• FORMAT: unterstützte Formate sind JSON, AVRO und CSV.
• QUERY: die Abfrage zur Analyse der Daten, die in einer externen BigQuery-Tabelle gespeichert sind.

1. Für dieses Lab wurde die Abfrage bereits für Sie ausgefüllt. Fügen Sie diese Abfrage in den Editor ein:

2. Klicken Sie auf Ausführen.

Es sollte folgende Ausgabe angezeigt werden:

3. Rufen Sie Ihren S3-Bucket auf und prüfen Sie, ob die Daten in das Verzeichnis exports exportiert wurden.

Sehr gut. Sie haben eine Exportabfrage ausgeführt und eine Datei in Ihrem S3-Bucket erstellt.

Klicken Sie auf Fortschritt prüfen. Abfrageergebnisse nach AWS S3 exportieren

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

In diesem Lab haben Sie eine Verbindung zwischen Google Cloud und AWS erstellt und BigQuery Omni autorisiert, die Daten in einem AWS S3-Bucket zu lesen. Anschließend haben Sie eine externe BigQuery-Tabelle erstellt, die auf die Rohdaten im AWS S3-Bucket verweist, Abfragen für die Daten ausgeführt und die Abfrageergebnisse wieder in einen AWS S3-Bucket exportiert.

Weitere Informationen

Weitere Informationen zu BigQuery Omni finden Sie hier:

• BigQuery Omni – Übersicht
• BigQuery Omni-Preise
• VPC Service Controls für BigQuery Omni einrichten
• BigQuery Omni für Cloud-Datenanalysen

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 18. Mai 2026 aktualisiert

Lab zuletzt am 19. Februar 2026 getestet

© 2026 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.