GSP103

Opis

Usługa zarządzana dla Apache Spark to szybka, łatwa w użyciu, w pełni zarządzana usługa w chmurze, używana do uruchamiania klastrów Apache Spark i Apache Hadoop w bardziej przystępny i ekonomiczny sposób. Operacje, które zajmowały długie godziny lub dni, teraz zajmą kilka sekund lub minut. Możesz szybko tworzyć klastry usługi zarządzanej dla Apache Spark i w dowolnym momencie zmieniać ich rozmiar, nie martwiąc się, że potoki danych przerosną klaster.

W tym laboratorium dowiesz się, jak za pomocą konsoli Google Cloud utworzyć zarządzany klaster Apache Spark, uruchomić w nim proste zadanie Apache Spark, a następnie zmienić liczbę węzłów roboczych w tym klastrze.

Jakie zadania wykonasz

Z tego laboratorium dowiesz się, jak:

• utworzyć zarządzany klaster Apache Spark w konsoli Google Cloud,
• uruchomić proste zadanie Apache Spark,
• zmienić liczbę instancji roboczych w klastrze.

Konfiguracja i wymagania

Zanim klikniesz przycisk Rozpocznij moduł

Zapoznaj się z tymi instrukcjami. Moduły mają limit czasowy i nie można ich zatrzymać. Gdy klikniesz Rozpocznij moduł, na liczniku wyświetli się informacja o tym, na jak długo udostępniamy Ci zasoby Google Cloud.

W tym praktycznym module możesz spróbować swoich sił w wykonywaniu opisywanych działań w prawdziwym środowisku chmury, a nie w jego symulacji lub wersji demonstracyjnej. Otrzymasz nowe, tymczasowe dane logowania, dzięki którym zalogujesz się i uzyskasz dostęp do Google Cloud na czas trwania modułu.

Do ukończenia modułu potrzebne będą:

• Dostęp do standardowej przeglądarki internetowej (zalecamy korzystanie z przeglądarki Chrome).

Uwaga: uruchom ten moduł w oknie incognito (zalecane) lub przeglądania prywatnego. Dzięki temu unikniesz konfliktu między swoim kontem osobistym a kontem do nauki, co mogłoby spowodować naliczanie dodatkowych opłat na koncie osobistym.

• Odpowiednia ilość czasu na ukończenie modułu – pamiętaj, że gdy rozpoczniesz, nie możesz go wstrzymać.

Uwaga: w tym module używaj tylko konta do nauki. Jeśli użyjesz innego konta Google Cloud, mogą na nim zostać naliczone opłaty.

Rozpoczynanie laboratorium i logowanie się w konsoli Google Cloud

1. Kliknij przycisk Rozpocznij laboratorium. Jeśli laboratorium jest odpłatne, otworzy się okno, w którym możesz wybrać formę płatności. Po prawej stronie znajduje się panel Konfiguracja laboratorium i dostęp do niego z następującymi elementami:

   • przyciskiem Otwórz konsolę Google Cloud;
   • uprawnieniami tymczasowymi (nazwą użytkownika i hasłem), których musisz użyć w tym laboratorium;
   • innymi informacjami potrzebnymi do ukończenia modułu.

   Pamiętaj, że minutnik laboratorium znajduje się u góry strony i pokazuje pozostały czas.

2. Kliknij Otwórz konsolę Cloud (lub kliknij prawym przyciskiem myszy i wybierz Otwórz link w oknie incognito, jeśli korzystasz z przeglądarki Chrome).

   Laboratorium uruchomi zasoby, po czym otworzy nową kartę ze stroną logowania.

   Wskazówka: karty możesz otworzyć w osobnych oknach obok siebie.

   Uwaga: jeśli pojawi się okno Wybierz konto, kliknij Użyj innego konta.

3. W razie potrzeby skopiuj nazwę użytkownika znajdującą się poniżej i wklej ją w oknie logowania.

   {{{user_0.username | "Username"}}}

   Nazwę użytkownika znajdziesz też w panelu Konfiguracja laboratorium i dostęp do niego.

4. Kliknij Dalej.

5. Skopiuj podane niżej hasło i wklej je w oknie powitania.

   {{{user_0.password | "Password"}}}

   Hasło znajdziesz też w panelu Konfiguracja laboratorium i dostęp do niego.

6. Kliknij Dalej.

   Ważne: musisz użyć danych logowania podanych w laboratorium. Nie używaj danych logowania na swoje konto Google Cloud. Uwaga: korzystanie z własnego konta Google Cloud w tym laboratorium może wiązać się z dodatkowymi opłatami.

7. Na kolejnych stronach wykonaj następujące czynności:

   • Zaakceptuj Warunki korzystania z usługi.
   • Nie dodawaj opcji odzyskiwania ani uwierzytelniania dwuskładnikowego (ponieważ konto ma charakter tymczasowy).
   • Nie rejestruj się w bezpłatnych wersjach próbnych.

Poczekaj, aż na karcie otworzy się konsola Google Cloud.

Uwaga: aby uzyskać dostęp do produktów i usług Google Cloud, kliknij Menu nawigacyjne lub wpisz nazwę usługi albo produktu w polu Szukaj.

Aktywowanie Cloud Shell

Cloud Shell to maszyna wirtualna oferująca wiele narzędzi dla programistów. Zawiera stały katalog domowy o pojemności 5 GB i działa w Google Cloud. Dzięki wierszowi poleceń Cloud Shell zyskujesz dostęp do swoich zasobów Google Cloud.

1. Kliknij Aktywuj Cloud Shell  na górze konsoli Google Cloud.

2. Kliknij te okna:

   • Przejdź przez okno z informacjami o Cloud Shell.
   • Zezwól Cloud Shell na używanie Twoich danych logowania w celu wywoływania interfejsu Google Cloud API.

Po połączeniu użytkownik od razu jest uwierzytelniony. Uruchomi się Twój projekt o identyfikatorze Project_ID . Dane wyjściowe zawierają wiersz z zadeklarowanym identyfikatorem Project_ID dla tej sesji:

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud to narzędzie wiersza poleceń Google Cloud. Jest ono już zainstalowane w Cloud Shell i obsługuje funkcję autouzupełniania po naciśnięciu tabulatora.

3. (Opcjonalnie) Aby wyświetlić listę aktywnych kont, użyj tego polecenia:

gcloud auth list

4. Kliknij Autoryzuj.

Dane wyjściowe:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Opcjonalnie) Aby wyświetlić identyfikator projektu, użyj tego polecenia:

gcloud config list project

Dane wyjściowe:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Uwaga: pełną dokumentację gcloud w Google Cloud znajdziesz w opisie gcloud CLI.

Sprawdzenie, czy interfejs Cloud Dataproc API jest włączony

Jeśli chcesz utworzyć zarządzany klaster Apache Spark w Google Cloud, interfejs Cloud Dataproc API musi być włączony. Aby sprawdzić, czy interfejs API jest włączony:

1. Kliknij Menu nawigacyjne > Interfejsy API i usługi > Biblioteka.

2. W oknie Wyszukaj interfejsy API i usługi wpisz Cloud Dataproc API. W wynikach wyszukiwania konsola wyświetli interfejs Cloud Dataproc API.

3. Kliknij Cloud Dataproc API, aby wyświetlić stan interfejsu API. Jeśli interfejs API nie jest włączony, kliknij przycisk Włącz.

Po włączeniu interfejsu API wykonaj instrukcje podane w laboratorium.

Przypisywanie niezbędnej roli uprawnień do konta usługi Compute Engine

1. W konsoli Google Cloud otwórz Menu nawigacyjne () i kliknij Administracja > Uprawnienia.

2. Kliknij Edytuj podmiot zabezpieczeń (ikona ołówka) dla domyślnego konta usługi Compute Engine ([projekt-numer]-compute@developer.gserviceaccount.com).

3. Kliknij + Dodaj kolejną rolę.

4. W menu Wybierz rolę wyszukaj Administrator miejsca na dane i wybierz tę rolę z wyników.

5. Kliknij Zapisz.

Zadanie 1. Tworzenie klastra

1. Aby utworzyć klaster o nazwie example-cluster z maszynami wirtualnymi e2-standard-2 i standardowymi dyskami trwałymi o pojemności 30 GB, uruchom w Cloud Shell to polecenie:

gcloud dataproc clusters create example-cluster \ --region={{{ project_0.default_region }}} \ --zone={{{ project_0.default_zone }}} \ --master-machine-type=e2-standard-2 \ --master-boot-disk-type=pd-standard \ --master-boot-disk-size=30GB \ --worker-machine-type=e2-standard-2 \ --worker-boot-disk-type=pd-standard \ --worker-boot-disk-size=30GB \ --num-workers=2

2. Jeśli pojawi się prośba o potwierdzenie strefy lub autoryzację Cloud Shell, wpisz Y lub kliknij Autoryzuj.

Tworzenie klastra potrwa kilka minut. Gdy klaster będzie gotowy, w wyniku polecenia wyświetli się komunikat Created [... example-cluster].

Kliknij Sprawdź postępy, aby zobaczyć stan realizacji zadania.

Utworzenie klastra

Zadanie 2. Przesyłanie zadania

Aby uruchomić przykładowe zadanie Spark:

1. W konsoli Google Cloud wybierz Menu nawigacyjne () > Wyświetl wszystkie usługi, a następnie w sekcji Analityka kliknij Zarządzana usługa Apache Spark > Klastry.

Nowo utworzony klaster example-cluster powinien być widoczny na liście ze stanem Uruchomiono.

2. W lewym panelu kliknij Zadania, aby przejść do widoku zadań usługi zarządzanej Apache Spark, a następnie kliknij Prześlij zadanie.

3. Ustaw następujące pola, aby zaktualizować zadanie. Zaakceptuj domyślne wartości dla wszystkich pozostałych pól.

Pole	Wartość
Region
Klaster	example-cluster
Typ zadania	Spark
Główna klasa lub plik jar	org.apache.spark.examples.SparkPi
Pliki jar	file:///usr/lib/spark/examples/jars/spark-examples.jar
Argumenty	1000 (tak ustawia się liczbę zadań)

4. Kliknij Prześlij.

Uwaga: jak zadanie oblicza liczbę π – zadanie Spark oblicza wartości π przy użyciu metody Monte Carlo. Generuje punkty x,y w układzie współrzędnych, który modeluje koło wpisane w kwadrat jednostkowy. Argument wejściowy (1000) określa liczbę par x,y do wygenerowania. Im więcej par jest wygenerowanych, tym dokładniejszy jest szacunek. Proces szacowania wykorzystuje węzły robocze usługi zarządzanej Apache Spark, co pozwala na równoległe prowadzenie obliczeń. Więcej informacji znajdziesz na stronie poświęconej szacowaniu π przy użyciu metody Monte Carlo (w języku angielskim). Zobacz także plik JavaSparkPi.java na GitHubie.

Twoje zadanie powinno pojawić się na liście Zadania, która pokazuje klaster, typ oraz obecny stan każdego zadania. Zadanie wyświetla się jako Uruchomiono, a po zakończeniu – jako Ukończono.

Kliknij Sprawdź postępy, aby zobaczyć stan realizacji zadania.

Przesłanie zadania

Zadanie 3. Wyświetlanie wyniku zadania

Aby zobaczyć wyniki ukończonego zadania:

1. Kliknij identyfikator zadania na liście Zadania.

2. Aby zobaczyć obliczoną wartość liczby π, ustaw opcję ZAWIJANIE WIERSZY na WŁĄCZONE lub przewiń maksymalnie w prawo. Z opcją ZAWIJANIE WIERSZY ustawioną na WŁĄCZONE uzyskany wynik powinien wyglądać tak:

Twoje zadanie skutecznie obliczyło ogólną wartość liczby π!

Zadanie 4. Aktualizowanie klastra w celu zmiany liczby węzłów roboczych

Aby zmienić liczbę instancji roboczych w klastrze:

1. W lewym panelu nawigacji wybierz Klastry, aby wrócić do widoku zarządzanych klastrów Apache Spark.

2. Na liście Klastry kliknij example-cluster. Strona domyślnie wyświetla podsumowanie wykorzystania procesora przez klaster.

3. Kliknij pozycję Konfiguracja, aby wyświetlić obecne ustawienia klastra.

4. Kliknij Edytuj. Liczba węzłów roboczych jest teraz dostępna do edycji.

5. W polu Węzły robocze wpisz 4.

6. Kliknij Zapisz.

Klaster jest teraz zaktualizowany. Sprawdź, ile instancji maszyn wirtualnych jest w klastrze.

Kliknij Sprawdź postępy, aby zobaczyć stan realizacji zadania.

Zaktualizowanie klastra

1. Aby uruchomić zadanie ponownie ze zaktualizowanym klastrem, w lewym panelu kliknij Zadania, a następnie PRZEŚLIJ ZADANIE.

2. Ustaw pola tak samo jak w sekcji Przesyłanie zadania:

Pole	Wartość
Region
Klaster	example-cluster
Typ zadania	Spark
Główna klasa lub plik jar	org.apache.spark.examples.SparkPi
Pliki jar	file:///usr/lib/spark/examples/jars/spark-examples.jar
Argumenty	1000 (tak ustawia się liczbę zadań)

3. Kliknij Prześlij.

Zadanie 5. Sprawdzenie wiedzy

Poniżej znajdziesz pytania jednokrotnego wyboru, które pomogą Ci utrwalić wiedzę zdobytą w tym laboratorium. Odpowiedz na nie najlepiej, jak potrafisz.

Gratulacje!

Teraz wiesz, jak wykorzystać konsolę Google Cloud do utworzenia i zaktualizowania klastra zarządzanego Apache Spark, a także przesłania zadania w tym klastrze.

Kolejne kroki / Więcej informacji

To laboratorium należy do serii laboratoriów Qwik Start. Opracowaliśmy je, aby dać Ci przedsmak bogactwa funkcji dostępnych w Google Cloud. Przejrzyj listę laboratoriów „Qwik Start” w katalogu laboratoriów i znajdź kolejne laboratorium dla siebie.

Szkolenia i certyfikaty Google Cloud

…pomogą Ci wykorzystać wszystkie możliwości technologii Google Cloud. Nasze zajęcia obejmują umiejętności techniczne oraz sprawdzone metody, które ułatwią Ci szybką naukę i umożliwią jej kontynuację. Oferujemy szkolenia na poziomach od podstawowego po zaawansowany prowadzone w trybach wirtualnym, na żądanie i na żywo, dzięki czemu możesz dopasować program szkoleń do swojego napiętego harmonogramu. Certyfikaty umożliwią udokumentowanie i potwierdzenie Twoich umiejętności oraz doświadczenia w zakresie technologii Google Cloud.

Ostatnia aktualizacja instrukcji: 27 sierpnia 2026 r.

Ostatni test laboratorium: 27 sierpnia 2026 r.

Copyright 2026 Google LLC. Wszelkie prawa zastrzeżone. Google i logo Google są znakami towarowymi Google LLC. Wszelkie inne nazwy firm i produktów mogą być znakami towarowymi odpowiednich podmiotów, z którymi są powiązane.