GSP192

Opis

Z tego laboratorium dowiesz się, jak utworzyć potok strumieniowy przy użyciu jednego z udostępnionych przez Google szablonów Dataflow. Dokładniej rzecz ujmując, użyjesz szablonu Pub/Sub do BigQuery, który odczytuje wiadomości napisane w formacie JSON z tematu Pub/Sub i przenosi je do tabeli BigQuery. Dokumentację tego szablonu znajdziesz w przewodniku dotyczącym rozpoczynania pracy z szablonami udostępnionymi przez Google.

Do utworzenia zbioru danych i tabeli BigQuery możesz użyć wiersza poleceń Cloud Shell lub konsoli Cloud. Wybierz jedną metodę, a następnie korzystaj z niej do końca tego laboratorium. Jeśli chcesz poznać działanie obu metod, przejdź laboratorium jeszcze raz.

Jakie zadania wykonasz

• Utworzysz zbiór danych i tabelę BigQuery.
• Utworzysz zasobnik Cloud Storage.
• Utworzysz potok strumieniowy przy użyciu szablonu Dataflow Pub/Sub do BigQuery.

Konfiguracja i wymagania

Zanim klikniesz przycisk Rozpocznij moduł

Zapoznaj się z tymi instrukcjami. Moduły mają limit czasowy i nie można ich zatrzymać. Gdy klikniesz Rozpocznij moduł, na liczniku wyświetli się informacja o tym, na jak długo udostępniamy Ci zasoby Google Cloud.

W tym praktycznym module możesz spróbować swoich sił w wykonywaniu opisywanych działań w prawdziwym środowisku chmury, a nie w jego symulacji lub wersji demonstracyjnej. Otrzymasz nowe, tymczasowe dane logowania, dzięki którym zalogujesz się i uzyskasz dostęp do Google Cloud na czas trwania modułu.

Do ukończenia modułu potrzebne będą:

• Dostęp do standardowej przeglądarki internetowej (zalecamy korzystanie z przeglądarki Chrome).

Uwaga: uruchom ten moduł w oknie incognito (zalecane) lub przeglądania prywatnego. Dzięki temu unikniesz konfliktu między swoim kontem osobistym a kontem do nauki, co mogłoby spowodować naliczanie dodatkowych opłat na koncie osobistym.

• Odpowiednia ilość czasu na ukończenie modułu – pamiętaj, że gdy rozpoczniesz, nie możesz go wstrzymać.

Uwaga: w tym module używaj tylko konta do nauki. Jeśli użyjesz innego konta Google Cloud, mogą na nim zostać naliczone opłaty.

Rozpoczynanie laboratorium i logowanie się w konsoli Google Cloud

1. Kliknij przycisk Rozpocznij laboratorium. Jeśli laboratorium jest odpłatne, otworzy się okno, w którym możesz wybrać formę płatności. Po prawej stronie znajduje się panel Konfiguracja laboratorium i dostęp do niego z następującymi elementami:

   • przyciskiem Otwórz konsolę Google Cloud;
   • uprawnieniami tymczasowymi (nazwą użytkownika i hasłem), których musisz użyć w tym laboratorium;
   • innymi informacjami potrzebnymi do ukończenia modułu.

   Pamiętaj, że minutnik laboratorium znajduje się u góry strony i pokazuje pozostały czas.

2. Kliknij Otwórz konsolę Cloud (lub kliknij prawym przyciskiem myszy i wybierz Otwórz link w oknie incognito, jeśli korzystasz z przeglądarki Chrome).

   Laboratorium uruchomi zasoby, po czym otworzy nową kartę ze stroną logowania.

   Wskazówka: karty możesz otworzyć w osobnych oknach obok siebie.

   Uwaga: jeśli pojawi się okno Wybierz konto, kliknij Użyj innego konta.

3. W razie potrzeby skopiuj nazwę użytkownika znajdującą się poniżej i wklej ją w oknie logowania.

   {{{user_0.username | "Username"}}}

   Nazwę użytkownika znajdziesz też w panelu Konfiguracja laboratorium i dostęp do niego.

4. Kliknij Dalej.

5. Skopiuj podane niżej hasło i wklej je w oknie powitania.

   {{{user_0.password | "Password"}}}

   Hasło znajdziesz też w panelu Konfiguracja laboratorium i dostęp do niego.

6. Kliknij Dalej.

   Ważne: musisz użyć danych logowania podanych w laboratorium. Nie używaj danych logowania na swoje konto Google Cloud. Uwaga: korzystanie z własnego konta Google Cloud w tym laboratorium może wiązać się z dodatkowymi opłatami.

7. Na kolejnych stronach wykonaj następujące czynności:

   • Zaakceptuj Warunki korzystania z usługi.
   • Nie dodawaj opcji odzyskiwania ani uwierzytelniania dwuskładnikowego (ponieważ konto ma charakter tymczasowy).
   • Nie rejestruj się w bezpłatnych wersjach próbnych.

Poczekaj, aż na karcie otworzy się konsola Google Cloud.

Uwaga: aby uzyskać dostęp do produktów i usług Google Cloud, kliknij Menu nawigacyjne lub wpisz nazwę usługi albo produktu w polu Szukaj.

Aktywowanie Cloud Shell

Cloud Shell to maszyna wirtualna oferująca wiele narzędzi dla programistów. Zawiera stały katalog domowy o pojemności 5 GB i działa w Google Cloud. Dzięki wierszowi poleceń Cloud Shell zyskujesz dostęp do swoich zasobów Google Cloud.

1. Kliknij Aktywuj Cloud Shell  na górze konsoli Google Cloud.

2. Kliknij te okna:

   • Przejdź przez okno z informacjami o Cloud Shell.
   • Zezwól Cloud Shell na używanie Twoich danych logowania w celu wywoływania interfejsu Google Cloud API.

Po połączeniu użytkownik od razu jest uwierzytelniony. Uruchomi się Twój projekt o identyfikatorze Project_ID . Dane wyjściowe zawierają wiersz z zadeklarowanym identyfikatorem Project_ID dla tej sesji:

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud to narzędzie wiersza poleceń Google Cloud. Jest ono już zainstalowane w Cloud Shell i obsługuje funkcję autouzupełniania po naciśnięciu tabulatora.

3. (Opcjonalnie) Aby wyświetlić listę aktywnych kont, użyj tego polecenia:

gcloud auth list

4. Kliknij Autoryzuj.

Dane wyjściowe:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Opcjonalnie) Aby wyświetlić identyfikator projektu, użyj tego polecenia:

gcloud config list project

Dane wyjściowe:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Uwaga: pełną dokumentację gcloud w Google Cloud znajdziesz w opisie gcloud CLI.

Zadanie 1. Sprawdzanie, czy interfejs Dataflow API został włączony ponownie

Aby zapewnić dostęp do potrzebnego interfejsu API, ponownie uruchom połączenie z Dataflow API.

• W Cloud Shell uruchom te polecenia, aby zresetować interfejs Dataflow API przez jego wyłączenie i ponowne włączenie w projekcie.

gcloud services disable dataflow.googleapis.com --project {{{project_0.project_id|Project ID}}} --force gcloud services enable dataflow.googleapis.com --project {{{project_0.project_id|Project ID}}}

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Wyłączenie i ponownie włączenie Dataflow API

Zadanie 2. Tworzenie zbioru danych i tabeli BigQuery oraz zasobnika Cloud Storage przy użyciu Cloud Shell

Najpierw utworzymy zbiór danych i tabelę BigQuery.

Uwaga: w tym zadaniu użyjesz narzędzia wiersza poleceń bq. Jeśli chcesz wykonać te kroki przy użyciu konsoli Cloud, przejdź do zadania 3.

1. Aby utworzyć zbiór danych o nazwie taxirides (przejazdy_taksówką), uruchom następujące polecenie:

bq mk taxirides

Wynik powinien wyglądać mniej więcej tak:

Dataset '' successfully created

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Utworzenie zbioru danych BigQuery (nazwa: taxirides)

Uzyskanego zbioru danych użyjesz w następnym kroku do utworzenia instancji tabeli BigQuery.

2. Aby to zrobić, uruchom następujące polecenie:

bq mk \ --time_partitioning_field timestamp \ --schema ride_id:string,point_idx:integer,latitude:float,longitude:float,\ timestamp:timestamp,meter_reading:float,meter_increment:float,ride_status:string,\ passenger_count:integer -t taxirides.realtime

Wynik powinien wyglądać mniej więcej tak:

Table 'myprojectid:taxirides.realtime' successfully created

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Utworzenie tabeli w zbiorze danych BigQuery

Na pierwszy rzut oka polecenie bq mk wygląda na dość skomplikowane. Dokumentacja wiersza poleceń BigQuery pomoże nam je zrozumieć. Znajdziemy w niej na przykład informacje o schemacie:

• To albo ścieżka do lokalnego pliku schematu JSON, albo rozdzielana przecinkami lista definicji kolumn mająca postać [FIELD]:[DATA_TYPE], [FIELD]:[DATA_TYPE].

W tym przypadku wykorzystamy tę drugą formę – listę rozdzieloną przecinkami.

Tworzenie zasobnika Cloud Storage przy użyciu Cloud Shell

Utworzyliśmy już instancję tabeli, czas więc utworzyć zasobnik.

Użyj identyfikatora projektu jako nazwy zasobnika, aby zapewnić jej globalną unikalność:

• Aby to zrobić, uruchom następujące polecenia:

export BUCKET_NAME={{{project_0.project_id | "Bucket Name"}}} gsutil mb gs://$BUCKET_NAME/

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Utworzenie zasobnika Cloud Storage

Po utworzeniu zasobnika przewiń tę stronę w dół do sekcji z instrukcją uruchamiania potoku.

Zadanie 3. Tworzenie zbioru danych i tabeli BigQuery oraz zasobnika Cloud Storage przy użyciu konsoli Google Cloud

Uwaga: jeśli zadanie 2, które obejmuje te same czynności w wierszu poleceń, zostało już wykonane, pomiń zadanie 3.

1. W menu po lewej stronie, w sekcji Big Data, kliknij BigQuery.

2. Następnie kliknij Gotowe.

3. Kliknij 3 kropki obok nazwy projektu w sekcji Klasyczny eksplorator, a potem Utwórz zbiór danych.

4. Jako identyfikator zbioru danych wpisz taxirides:

5. W polu Lokalizacja danych wybierz us (wiele regionów w Stanach Zjednoczonych).

6. Pozostaw inne ustawienia domyślne bez zmian i kliknij Utwórz zbiór danych.

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Utworzenie zbioru danych BigQuery (nazwa: taxirides)

7. Zbiór danych taxirides powinien się pojawić pod identyfikatorem projektu, w konsoli po lewej stronie.

8. Kliknij 3 kropki obok zbioru danych taxirides i wybierz Otwórz.

9. Potem po prawej stronie konsoli kliknij Utwórz tabelę.

10. W polu Miejsce docelowe > Tabela wpisz realtime.

11. W sekcji Schemat przesuń suwak obok opcji Edytuj jako tekst i wpisz tę treść:

ride_id:string,point_idx:integer,latitude:float,longitude:float,timestamp:timestamp, meter_reading:float,meter_increment:float,ride_status:string,passenger_count:integer

Konsola powinna wyglądać mniej więcej tak:

12. Następnie kliknij Utwórz tabelę.

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Utworzenie tabeli w zbiorze danych BigQuery

Tworzenie zasobnika Cloud Storage za pomocą konsoli Cloud

1. Wróć do konsoli Cloud i otwórz Cloud Storage > Zasobniki > Utwórz zasobnik.

2. Użyj identyfikatora projektu jako nazwy zasobnika, aby zapewnić jej globalną unikalność:

3. Pozostaw inne ustawienia domyślne, a następnie kliknij Utwórz.

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Utworzenie zasobnika Cloud Storage

Zadanie 4. Uruchamianie potoku

Uruchom szablon Dataflow:

gcloud dataflow jobs run iotflow \ --gcs-location gs://dataflow-templates-{{{project_0.default_region | "Region"}}}/latest/PubSub_to_BigQuery \ --region {{{project_0.default_region | "Region"}}} \ --worker-machine-type e2-medium \ --staging-location gs://{{{project_0.project_id | "Bucket Name"}}}/temp \ --parameters inputTopic=projects/pubsub-public-data/topics/taxirides-realtime,outputTableSpec={{{project_0.project_id | "Table Name"}}}:taxirides.realtime

W Menu nawigacyjnym kliknij Wyświetl wszystkie usługi > Analityka > Dataflow > Zadania. Wyświetli się zadanie Dataflow.

Więcej informacji znajdziesz w tym dokumencie.

Uwaga: możliwe, że trzeba będzie poczekać chwilę na zakończenie śledzenia aktywności.

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Uruchomienie potoku

Zobaczysz, jak tworzą się Twoje zasoby i stają się gotowe do użycia.

Teraz wyświetlimy dane zapisane w BigQuery, klikając opcję BigQuery w Menu nawigacyjnym.

• Po otwarciu interfejsu BigQuery pod nazwą Twojego projektu zobaczysz zbiór danych taxirides, a niżej tabelę realtime.

Uwaga: możliwe, że trzeba będzie poczekać kilka minut na wypełnienie tabeli BigQuery danymi.

Zadanie 5. Wysyłanie zapytania

Zapytania możesz wysyłać przy użyciu standardowej wersji SQL.

1. W Edytorze BigQuery dodaj ten fragment, aby wysłać zapytanie dotyczące danych w projekcie:

SELECT * FROM `{{{project_0.project_id | "Bucket Name"}}}.taxirides.realtime` LIMIT 1000

2. Teraz kliknij Uruchom.

W przypadku wystąpienia problemów lub błędów uruchom zapytanie ponownie (uruchomienie potoku zajmuje minutę).

3. Gdy zapytanie się uruchomi, w panelu Wyniki zapytania wyświetlą się dane wyjściowe, które będą wyglądać tak:

Dobra robota! Właśnie udało Ci się wyciągnąć z tematu Pub/Sub dane dotyczące 1000 przejazdów taksówką i przenieść je do tabeli BigQuery. Jak widać, szablony stanowią praktyczny i łatwy w użyciu sposób uruchamiania zadań Dataflow. Aby zobaczyć inne szablony Google w dokumentacji Dataflow, przejrzyj przewodnik dotyczący rozpoczynania pracy z szablonami udostępnionymi przez Google.

Zadanie 6. Sprawdź swoją wiedzę

Poniżej znajdziesz pytania jednokrotnego wyboru, które pomogą Ci utrwalić wiedzę zdobytą w tym module. Odpowiedz na nie najlepiej, jak potrafisz.

Gratulacje!

Utworzyłeś(-aś) potok strumieniowy przy użyciu szablonu Dataflow Pub/Sub do BigQuery, który odczytuje wiadomości napisane w formacie JSON z tematu Pub/Sub i przenosi je do tabeli BigQuery.

Kolejne kroki / Więcej informacji

To laboratorium należy do serii laboratoriów Qwik Start. Opracowaliśmy je, aby dać Ci przedsmak bogactwa funkcji dostępnych w Google Cloud. Wyszukaj „Qwik Start” w katalogu Google Skills i znajdź kolejne interesujące Cię laboratorium.

Szkolenia i certyfikaty Google Cloud

…pomogą Ci wykorzystać wszystkie możliwości technologii Google Cloud. Nasze zajęcia obejmują umiejętności techniczne oraz sprawdzone metody, które ułatwią Ci szybką naukę i umożliwią jej kontynuację. Oferujemy szkolenia na poziomach od podstawowego po zaawansowany prowadzone w trybach wirtualnym, na żądanie i na żywo, dzięki czemu możesz dopasować program szkoleń do swojego napiętego harmonogramu. Certyfikaty umożliwią udokumentowanie i potwierdzenie Twoich umiejętności oraz doświadczenia w zakresie technologii Google Cloud.

Ostatnia aktualizacja instrukcji: 10 lutego 2026 r.

Ostatni test laboratorium: 10 lutego 2026 r.

Copyright 2026 Google LLC. Wszelkie prawa zastrzeżone. Google i logo Google są znakami towarowymi Google LLC. Wszelkie inne nazwy firm i produktów mogą być znakami towarowymi odpowiednich podmiotów, z którymi są powiązane.