GSP514

Übersicht

In einem Challenge-Lab geht es um ein bestimmtes Szenario mit mehreren Aufgaben. Anders als bei einem normalen Lab erhalten Sie jedoch keine Schritt-für-Schritt-Anleitung, sondern nutzen die in den Labs des jeweiligen Kurses erlernten Fähigkeiten, um die Aufgaben selbst zu lösen. Ihre Lösungen werden automatisch bewertet. Die erzielten Punkte finden Sie rechts oben auf dieser Seite.

In Challenge-Labs werden keine neuen Grundlagen zu Google Cloud vermittelt. Sie sollen dabei Ihr Wissen erweitern und es wird erwartet, dass Sie beispielsweise Standardwerte ändern und Fehlermeldungen lesen und recherchieren, um Ihre eigenen Fehler zu beheben.

Die volle Punktzahl erreichen Sie nur, wenn Sie alle Aufgaben innerhalb der vorgegebenen Zeit lösen.

Dieses Lab wird Teilnehmern empfohlen, die sich für die Aufgabenreihe Data Mesh mit Dataplex aufbauen angemeldet haben. Sind Sie bereit?

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus (empfohlen), um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Verwenden Sie für dieses Lab nur das Teilnehmerkonto. Wenn Sie ein anderes Google Cloud-Konto verwenden, fallen dafür möglicherweise Kosten an.

Das Szenario

Sie haben gerade Ihre neue Stelle als Junior Data Engineer angetreten. Bisher haben Sie Teams beim Erstellen und Verwalten von Dataplex-Assets unterstützt.

Das Know-how für diese Aufgaben wird vorausgesetzt.

Die Aufgabe

Sie werden gebeten, einem neu gebildeten Entwicklungsteam beim Aufbau eines Data Mesh mit Dataplex zu helfen. Dazu müssen Sie einen Dataplex-Lake mit mehreren Zonen und Assets erstellen. Außerdem müssen Sie Aspekttypen erstellen und Aspekte zu Assets im neuen Data Lake hinzufügen sowie die Datenqualität bewerten. Dazu sollen Sie folgende Aufgaben ausführen:

• Dataplex-Lake mit zwei Zonen und zwei Assets erstellen
• Aspekttyp für geschützte Daten erstellen und einer Zone einen Aspekt hinzufügen
• Einem anderen Nutzer eine Dataplex-IAM-Rolle zuweisen
• Spezifikationsdatei für die Datenqualität erstellen und in Cloud Storage hochladen
• Datenqualitätsjob in Dataplex definieren und ausführen

Folgende Vorgaben sind zu beachten:

• Alle erforderlichen APIs (wie Dataplex, Data Catalog und Dataproc) müssen aktiviert sein
• Alle Ressourcen werden in der Region erstellt, sofern nicht anders angegeben

Die einzelnen Aufgaben sind nachfolgend genauer beschrieben. Viel Erfolg!

Aufgabe 1: Dataplex-Lake mit zwei Zonen und zwei Assets erstellen

Hinweis: Sie erstellen die Ressourcen für alle Aufgaben in diesem Challenge-Lab in der Region , sofern nicht anders angegeben.

Der Cloud Storage-Bucket und das BigQuery-Dataset für Schritt 2 wurden in diesem Lab bereits erstellt.

1. Erstellen Sie einen Dataplex-Lake namens Sales Lake mit zwei regionalen Zonen:

• Eine Rohdatenzone mit dem Namen Raw Customer Zone
• Eine kuratierte Zone mit dem Namen Curated Customer Zone

2. Fügen Sie jeder Zone ein vordefiniertes Asset hinzu:

• Hängen Sie an die Rohdatenzone den Cloud Storage-Bucket -customer-online-sessions als neues Asset mit dem Namen Customer Engagements an
• Hängen Sie an die kuratierte Zone das BigQuery-Dataset .customer_orders als neues Asset mit dem Namen Customer Orders an

Hilfreicher Tipp zum Erstellen eines Dataplex-Lake

Klicken Sie auf Fortschritt prüfen. Dataplex-Lake mit zwei Zonen und zwei Assets erstellen

Aufgabe 2: Aspekttyp erstellen und Aspekt zu einer Zone hinzufügen

1. Erstellen Sie einen Aspekttyp mit dem Namen Protected Customer Data Aspect und zwei Aufzählungsfeldern:

• Das erste Feld heißt Raw Data Flag und hat zwei Werte: Yes und No
• Das zweite Feld heißt Protected Contact Information Flag und hat ebenfalls die beiden Werte Yes und No

2. Fügen Sie diesen Aspekt der Raw Customer Zone mit dem Wert Yes für beide Flags hinzu.

Hilfreicher Tipp zum Erstellen und Anwenden von Aspekttypen

Klicken Sie auf Fortschritt prüfen. Aspekttyp erstellen und einer Zone einen Aspekt hinzufügen

Aufgabe 3: Einem anderen Nutzer eine Dataplex-IAM-Rolle zuweisen

• Weisen Sie Nutzer 2 () nach dem Prinzip der geringsten Berechtigung die Dataplex-IAM-Rolle zu, die es ihm ermöglicht, neue Cloud Storage-Dateien in das Dataplex-Asset Customer Engagements hochzuladen

Hilfreicher Tipp zum Zuweisen von Dataplex-IAM-Rollen

Klicken Sie auf Fortschritt prüfen. Einem anderen Nutzer eine Dataplex-IAM-Rolle zuweisen

Aufgabe 4: Spezifikationsdatei für die Datenqualität erstellen und in Cloud Storage hochladen

Der Cloud Storage-Bucket für Schritt 2 wurde in diesem Lab bereits erstellt.

1. Erstellen Sie eine Spezifikationsdatei für die Datenqualität namens dq-customer-orders.yaml mit den folgenden Spezifikationen:

• NICHT NULL-Regel (mit einem Schwellenwert von 100 %) für die Spalte user_id der Tabelle customer_orders.ordered_items
• NICHT NULL-Regel angewendet (mit einem Schwellenwert von 100 %) auf die Spalte order_id der Tabelle customer_orders.ordered_items
• BigQuery-Zieltabelle für die Ergebnisse: .orders_dq_dataset.results

2. Laden Sie die Datei in den Cloud Storage-Bucket -dq-config hoch.

Hilfreicher Tipp zum Erstellen von Spezifikationsdateien für die Datenqualität

Klicken Sie auf Fortschritt prüfen. Spezifikationsdatei für die Datenqualität erstellen und hochladen

Aufgabe 5: Automatischen Datenqualitätsjob in Dataplex definieren und ausführen

Das BigQuery-Dataset für Schritt 1 wurde in diesem Lab bereits erstellt.

1. Definieren Sie einen Datenqualitätsjob mit der Datei dq-customer-orders.yaml und den folgenden Spezifikationen:

Attribut	Wert
Name des Datenqualitätsjobs	Customer Orders Data Quality Job
Quelldaten	.customer_orders.ordered_items
Nutzerdienstkonto	Standardmäßiges Compute Engine-Dienstkonto

2. Führen Sie den Datenqualitätsjob sofort aus.

Das Ausführen des Jobs kann einige Minuten dauern. Sie können die Seite aktualisieren, um zu prüfen, ob der Job ausgeführt wurde.

Hilfreicher Tipp zum Definieren und Ausführen von Datenqualitätsjobs

Klicken Sie auf Fortschritt prüfen. Datenqualitätsjob in Dataplex definieren und ausführen

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Sie haben ein Data Mesh aufgebaut, indem Sie einen Dataplex-Lake mit mehreren Zonen und Assets erstellt, Aspekttypen erstellt und Assets Aspekte hinzugefügt und die Datenqualität bewertet haben.

Nächstes Skill-Logo erwerben

Dieses Lab zum selbstbestimmten Lernen ist Teil des Kurses Data Mesh mit Dataplex aufbauen. Wenn Sie diesen Kurs abschließen, erhalten Sie das oben gezeigte Skill-Logo, das Sie in Ihren Lebenslauf oder Ihre Social-Media-Profile einfügen können. Teilen Sie Ihre Leistung mit #GoogleCloudBadge.

Diese Aufgabenreihe ist Teil des Google Cloud-Lernpfads für Data Engineers. Wenn Sie die anderen Aufgabenreihen zum Erwerb eines Skill-Logos in diesem Lernpfad bereits absolviert haben, finden Sie im Katalog weitere Aufgabenreihen, für die Sie sich anmelden können.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 04. September 2024 aktualisiert

Lab zuletzt am 04. September 2024 getestet

© 2025 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.