GSP103

Огляд

Managed Service for Apache Spark – це швидкий, зручний і простий у керуванні хмарний сервіс для запуску кластерів Apache Spark і Apache Hadoop без зайвих клопотів і витрат. Дії, що раніше займали кілька годин або днів, тепер можна виконати за лічені хвилини чи навіть секунди. Із цим сервісом можна швидко створювати кластери Managed Service for Apache Spark і будь-коли змінювати їх розмір відповідно до поточних потреб конвеєрів для обробки даних.

На цьому практичному занятті ви навчитеся за допомогою консолі Google Cloud створювати кластер Managed Apache Spark, виконувати в ньому просте завдання Apache Spark і змінювати кількість робочих вузлів.

Завдання

Під час цього практичного заняття ви навчитеся виконувати наведені нижче дії.

• Створювати кластер Managed Apache Spark у консолі Google Cloud
• Виконувати просте завдання Apache Spark
• Змінювати кількість робочих вузлів у кластері

Налаштування й вимоги

Перш ніж натиснути кнопку Start Lab (Почати практичну роботу)

Ознайомтеся з наведеними нижче вказівками. На виконання практичного заняття відводиться обмежений час, і його не можна призупинити. Щойно ви натиснете Почати заняття, з’явиться таймер, який показуватиме, скільки часу для роботи з ресурсами Google Cloud у вас залишилося.

Ви зможете виконати практичне заняття в дійсному робочому хмарному середовищі (не в симуляції або демонстраційному середовищі). Для цього на час практичного заняття вам надаються тимчасові облікові дані для реєстрації і входу в Google Cloud.

Для цього практичного заняття потрібно мати:

• стандартний вебпереглядач, наприклад Chrome (рекомендовано);

Примітка. Виконуйте практичне заняття в анонімному вікні вебпереглядача (рекомендовано). Так ви уникнете додаткової плати, що може стягуватися з вашого особистого облікового запису внаслідок його помилкового використання замість облікового запису для навчання.

• достатню кількість часу, оскільки почавши практичне заняття, ви не зможете призупинити його.

Примітка. Для виконання цього практичного заняття використовуйте лише обліковий запис для навчання, оскільки з іншого облікового запису Google Cloud може стягуватися плата.

Як почати практичне заняття й увійти в консоль Google Cloud

1. Натисніть кнопку Почати заняття. Якщо за практичне заняття необхідно заплатити, відкриється вікно, де ви зможете обрати спосіб оплати. Праворуч розміщено панель Lab setup and access (Налаштування практичного заняття й доступ до нього) з такими даними:

   • кнопка Open Google Cloud console (Відкрити консоль Google Cloud);
   • тимчасові облікові дані (ім’я користувача й пароль) для доступу до цього практичного заняття;
   • інша необхідна для виконання цього практичного заняття інформація.

   Зверніть увагу, що таймер практичного заняття розташовано вгорі сторінки й на ньому відображається час, що залишився.

2. Натисніть Open Google Cloud console (Відкрити консоль Google Cloud) або натисніть правою кнопкою миші й виберіть Відкрити анонімне вікно, якщо ви використовуєте вебпереглядач Chrome.

   Завантажаться необхідні ресурси. Потім відкриється нова вкладка зі сторінкою входу.

   Порада. Упорядковуйте вкладки в окремих вікнах, розміщуючи їх поруч.

   Примітка. Якщо з’явиться вікно Choose an account (Виберіть обліковий запис), натисніть Use Another Account (Увійти в інший обліковий запис).

3. За потреби скопіюйте значення в полі Username (Ім’я користувача) нижче й вставте його у вікні Sign in (Вхід).

   {{{user_0.username | "Username"}}}

   Поле Username (Ім’я користувача) також можна знайти на панелі Lab setup and access (Налаштування практичного заняття й доступ до нього).

4. Натисніть Next (Далі).

5. Скопіюйте значення в полі Password (Пароль) нижче й вставте його у вікні Welcome (Вітаємо).

   {{{user_0.password | "Password"}}}

   Поле Password (Пароль) також можна знайти на панелі Lab setup and access (Налаштування практичного заняття й доступ до нього).

6. Натисніть Next (Далі).

   Важливо. Обов’язково використовуйте облікові дані, призначені для відповідного практичного заняття. Не використовуйте облікові дані Google Cloud. Примітка. Якщо ввійти у власний обліковий запис Google Cloud, може стягуватися додаткова плата.

7. Що від вас очікується

   • Прийміть Умови використання.
   • Не додавайте способи відновлення й двохетапну перевірку (оскільки це тимчасовий обліковий запис).
   • Не реєструйте безкоштовні пробні версії.

Через кілька секунд консоль Google Cloud відкриється в новій вкладці.

Примітка. Щоб отримати доступ до продуктів і сервісів Google Cloud, натисніть меню навігації або введіть назву сервісу чи продукту в полі пошуку.

Як активувати Cloud Shell

Cloud Shell – це віртуальна машина з попередньо завантаженими інструментами для розробників. Вона містить головний каталог обсягом 5 ГБ постійної пам’яті й працює в середовищі Google Cloud. Cloud Shell надає доступ до ресурсів Google Cloud через командний рядок.

1. Угорі консолі Google Cloud натисніть Activate Cloud Shell (Активувати Cloud Shell) .

2. У вікнах, що відкриються, виконайте наведені нижче дії.

   • У вікні з інформацією про Cloud Shell натисніть Continue (Далі).
   • Дозвольте Cloud Shell використовувати ваші облікові дані, щоб здійснювати виклики Google Cloud API.

Щойно ви підключитеся, вас буде автентифіковано, а проєкт отримає ваш Project_ID (Ідентифікатор проєкту) – . Вивід міститиме рядок зі значенням Project_ID (Ідентифікатор проєкту) для цього сеансу:

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud – це інструмент командного рядка для Google Cloud. Він входить у пакет Cloud Shell і підтримує функцію автозавершення клавішею TAB.

3. (Необов’язково) Щоб вивести поточне ім’я облікового запису, введіть таку команду:

gcloud auth list

4. Натисніть Authorize (Авторизувати).

Вивід:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Необов’язково) Щоб вивести ідентифікатор проєкту, введіть таку команду:

gcloud config list project

Вивід:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Примітка. Щоб знайти повну документацію щодо gcloud, перегляньте посібник з інтерфейсу командного рядка gcloud у Google Cloud.

Переконайтеся, що Cloud Dataproc API увімкнено

Щоб створити кластер Managed Apache Spark у Google Cloud, слід увімкнути Cloud Dataproc API. Переконайтеся, що API увімкнено.

1. Натисніть меню навігації > APIs & Services (API і сервіси) > Library (Бібліотека).

2. Введіть Cloud Dataproc API у вікні Search for APIs & Services (Пошук API і сервісів). У результатах пошуку на консолі з’явиться Cloud Dataproc API.

3. Натисніть Cloud Dataproc API, щоб переглянути статус. Якщо цей інтерфейс API не ввімкнено, натисніть кнопку Enable (Увімкнути).

Увімкнувши API, виконуйте вказівки практичного заняття.

Надайте сервісному обліковому запису Compute Engine необхідну роль керування ідентифікацією і доступом

1. У меню навігації () на консолі Google Cloud натисніть IAM & Admin (Адміністрування й керування ідентифікацією і доступом) > IAM (Керування ідентифікацією і доступом).

2. Натисніть Edit principal (Редагувати дані принципала) (значок олівця) біля сервісного облікового запису Compute Engine за умовчанням ([номер проєкту]-compute@developer.gserviceaccount.com).

3. Натисніть + Add another role (Додати іншу роль).

4. У полі Select a role (Вибрати роль) введіть Storage Admin (Адміністратор сховища) і виберіть цю роль у результатах.

5. Натисніть Зберегти.

Завдання 1. Створіть кластер

1. Щоб створити кластер під назвою example-cluster із віртуальними машинами e2-standard-2 і стандартними довгочасними дисками на 30 ГБ, у Cloud Shell виконайте таку команду:

gcloud dataproc clusters create example-cluster \ --region={{{ project_0.default_region }}} \ --zone={{{ project_0.default_zone }}} \ --master-machine-type=e2-standard-2 \ --master-boot-disk-type=pd-standard \ --master-boot-disk-size=30GB \ --worker-machine-type=e2-standard-2 \ --worker-boot-disk-type=pd-standard \ --worker-boot-disk-size=30GB \ --num-workers=2

2. Якщо з’явиться запит на підтвердження зони або авторизацію Cloud Shell, введіть Y або натисніть Authorize (Авторизувати).

Кластер буде створено за кілька хвилин. Коли він буде готовий, у виводі команди з’явиться повідомлення Created [… example-cluster].

Щоб підтвердити виконання завдання, натисніть Підтвердити виконання.

Створіть кластер

Завдання 2. Надішліть завдання

Щоб запустити пробне завдання Spark, виконайте наведені нижче дії.

1. У меню навігації () консолі Google Cloud виберіть View All Products (Переглянути всі продукти), а потім у розділі Analytics (Аналітика) натисніть Managed Apache Spark > Clusters (Кластери).

Ви маєте побачити щойно створений кластер example-cluster зі статусом Running (Активний).

2. На панелі ліворуч натисніть Jobs (Завдання), щоб перейти до перегляду завдань Managed Apache Spark, а потім натисніть Submit job (Надіслати завдання).

3. Налаштуйте наведені нижче поля, щоб оновити завдання, а в решті полів залиште значення за умовчанням.

Поле	Значення
Регіон
Кластер	example-cluster
Вид роботи	Spark
Main class or jar (Основний клас або файл JAR)	org.apache.spark.examples.SparkPi
Jar files (Файли JAR)	file:///usr/lib/spark/examples/jars/spark-examples.jar
Аргументи	1000 (кількість підпорядкованих завдань)

4. Натисніть Надіслати.

Примітка. Як завдання визначає число пі. Завдання Spark обчислює значення числа пі методом Монте-Карло. Воно генерує точки x,y на площині координат, будуючи модель кола всередині одиничного квадрата. Вхідний аргумент (1000) визначає, скільки пар x,y потрібно згенерувати: що більше пар, то вища точність обчислення. Щоб розпаралелити обчислення, використовуються робочі вузли Managed Apache Spark. Більше інформації наведено в статтях Визначення числа пі методом Монте-Карло й JavaSparkPi.java на GitHub.

Завдання має з’явитися в списку на сторінці Jobs (Завдання), де відображається інформація про завдання вашого проєкту, зокрема про відповідний кластер, тип і поточний статус. Спочатку завдання матиме статус Running (Активне), а після виконання – Succeeded (Виконано).

Щоб підтвердити виконання завдання, натисніть Підтвердити виконання.

Надішліть завдання

Завдання 3. Перегляньте вивід завдання

Щоб переглянути вивід завдання, виконайте наведені нижче дії.

1. Натисніть ідентифікатор завдання в списку Jobs (Завдання).

2. Щоб переглянути значення числа пі, увімкніть опцію LINE WRAP (ПЕРЕНЕСЕННЯ РЯДКА) (значення ON) або прокрутіть сторінку до кінця праворуч. Після цього вивід виглядатиме десь так:

Приблизне значення числа пі отримано.

Завдання 4. Змініть кількість робочих вузлів у кластері

Щоб змінити кількість екземплярів робочих вузлів у кластері, виконайте наведені нижче дії.

1. Виберіть Clusters (Кластери) на панелі навігації ліворуч, щоб повернутися до перегляду кластерів Managed Apache Spark.

2. У списку Clusters (Кластери) натисніть example-cluster. За умовчанням на сторінці відображається показник використання ЦП кластером.

3. Щоб переглянути поточні налаштування кластера, натисніть Configuration (Конфігурація).

4. Натисніть Edit (Редагувати). Тепер можна змінювати кількість робочих вузлів.

5. Введіть 4 в полі Worker nodes (Робочі вузли).

6. Натисніть Зберегти.

Кластер оновлено. Перевірте кількість екземплярів віртуальної машини в кластері.

Щоб підтвердити виконання завдання, натисніть Підтвердити виконання.

Оновіть кластер

1. Щоб повторно виконати завдання з оновленим кластером, потрібно натиснути Jobs (Завдання) на панелі ліворуч, а потім – SUBMIT JOB (НАДІСЛАТИ ЗАВДАННЯ).

2. Налаштуйте в розділі Submit a job (Надіслати завдання) ті самі поля:

Поле	Значення
Регіон
Кластер	example-cluster
Вид роботи	Spark
Main class or jar (Основний клас або файл JAR)	org.apache.spark.examples.SparkPi
Jar files (Файли JAR)	file:///usr/lib/spark/examples/jars/spark-examples.jar
Аргументи	1000 (кількість підпорядкованих завдань)

3. Натисніть Надіслати.

Завдання 5. Перевірте свої знання

Дайте відповіді на запитання з кількома варіантами відповіді нижче, щоб закріпити розуміння понять, які зустрічаються в цьому практичному занятті.

Вітаємо!

Ви дізналися, як за допомогою консолі Google Cloud створювати й змінювати кластер Managed Apache Spark, а також надсилати в нього завдання.

Наступні кроки/Докладніше

Це заняття також входить до низки практичних занять під назвою Qwik Starts. Вони призначені для ознайомлення з функціями Google Cloud. Такі практичні заняття можна знайти в списку Qwik Starts у каталозі.

Навчання й сертифікація Google Cloud

…допомагають ефективно використовувати технології Google Cloud. Наші курси передбачають опанування технічних навичок, а також ознайомлення з рекомендаціями, що допоможуть вам швидко зорієнтуватися й вивчити матеріал. Ми пропонуємо курси різних рівнів – від базового до високого. Ви можете вибрати формат навчання (за запитом, онлайн або офлайн) відповідно до власного розкладу. Пройшовши сертифікацію, ви перевірите й підтвердите свої навички та досвід роботи з технологіями Google Cloud.

Посібник востаннє оновлено 27 серпня 2026 року

Практичне заняття востаннє протестовано 27 серпня 2026 року

© Google LLC 2026. Усі права захищено. Назва та логотип Google є торговельними марками Google LLC. Усі інші назви компаній і продуктів можуть бути торговельними марками відповідних компаній, з якими вони пов’язані.