GSP691

Opis

Uczenie przez wzmacnianie (reinforcement learning, RL) to jedna z najszybciej rozwijających się obecnie dziedzin badań nad uczeniem maszynowym. We wszystkich tych dziedzinach badacze dokonują przełomowych odkryć, wykorzystując deep learning.

W tym module poznasz podstawy uczenia przez wzmacnianie, budując prostą grę.

Czego się nauczysz

W tym module:

• Zapoznasz się z podstawowymi pojęciami dotyczącymi uczenia przez wzmacnianie.
• Nauczysz się tworzyć instancje Agent Platform Workbench.
• Dowiesz się, jak sklonować notatnik modułu do instancji Agent Platform Workbench.
• Przeczytasz, zrozumiesz i wykonasz czynności opisane w notatniku.

Konfiguracja i wymagania

Zanim klikniesz przycisk Rozpocznij moduł

Zapoznaj się z tymi instrukcjami. Moduły mają limit czasowy i nie można ich zatrzymać. Gdy klikniesz Rozpocznij moduł, na liczniku wyświetli się informacja o tym, na jak długo udostępniamy Ci zasoby Google Cloud.

W tym praktycznym module możesz spróbować swoich sił w wykonywaniu opisywanych działań w prawdziwym środowisku chmury, a nie w jego symulacji lub wersji demonstracyjnej. Otrzymasz nowe, tymczasowe dane logowania, dzięki którym zalogujesz się i uzyskasz dostęp do Google Cloud na czas trwania modułu.

Do ukończenia modułu potrzebne będą:

• Dostęp do standardowej przeglądarki internetowej (zalecamy korzystanie z przeglądarki Chrome).

• Odpowiednia ilość czasu na ukończenie modułu – pamiętaj, że gdy rozpoczniesz, nie możesz go wstrzymać.

Rozpoczynanie laboratorium i logowanie się w konsoli Google Cloud

1. Kliknij przycisk Rozpocznij laboratorium. Jeśli laboratorium jest odpłatne, otworzy się okno, w którym możesz wybrać formę płatności. Po prawej stronie znajduje się panel Konfiguracja laboratorium i dostęp do niego z następującymi elementami:

   • przyciskiem Otwórz konsolę Google Cloud;
   • uprawnieniami tymczasowymi (nazwą użytkownika i hasłem), których musisz użyć w tym laboratorium;
   • innymi informacjami potrzebnymi do ukończenia modułu.

   Pamiętaj, że minutnik laboratorium znajduje się u góry strony i pokazuje pozostały czas.

2. Kliknij Otwórz konsolę Cloud (lub kliknij prawym przyciskiem myszy i wybierz Otwórz link w oknie incognito, jeśli korzystasz z przeglądarki Chrome).

   Laboratorium uruchomi zasoby, po czym otworzy nową kartę ze stroną logowania.

   Wskazówka: karty możesz otworzyć w osobnych oknach obok siebie.

   Uwaga: jeśli pojawi się okno Wybierz konto, kliknij Użyj innego konta.

3. W razie potrzeby skopiuj nazwę użytkownika znajdującą się poniżej i wklej ją w oknie logowania.

   {{{user_0.username | "Username"}}}

   Nazwę użytkownika znajdziesz też w panelu Konfiguracja laboratorium i dostęp do niego.

4. Kliknij Dalej.

5. Skopiuj podane niżej hasło i wklej je w oknie powitania.

   {{{user_0.password | "Password"}}}

   Hasło znajdziesz też w panelu Konfiguracja laboratorium i dostęp do niego.

6. Kliknij Dalej.

   Ważne: musisz użyć danych logowania podanych w laboratorium. Nie używaj danych logowania na swoje konto Google Cloud. Uwaga: korzystanie z własnego konta Google Cloud w tym laboratorium może wiązać się z dodatkowymi opłatami.

7. Na kolejnych stronach wykonaj następujące czynności:

   • Zaakceptuj Warunki korzystania z usługi.
   • Nie dodawaj opcji odzyskiwania ani uwierzytelniania dwuskładnikowego (ponieważ konto ma charakter tymczasowy).
   • Nie rejestruj się w bezpłatnych wersjach próbnych.

Poczekaj, aż na karcie otworzy się konsola Google Cloud.

Uwaga: aby uzyskać dostęp do produktów i usług Google Cloud, kliknij Menu nawigacyjne lub wpisz nazwę usługi albo produktu w polu Szukaj.

Zadanie 1. Podstawy uczenia przez wzmacnianie

Uczenie przez wzmacnianie to rodzaj technik uczenia maszynowego, w których agent podejmuje w środowisku działania prowadzące do zmaksymalizowania danego celu (uzyskania nagrody), wykonując określoną sekwencję kroków. W przeciwieństwie do bardziej tradycyjnych technik uczenia nadzorowanego tutaj poszczególne punkty danych nie mają etykiet, an agent ma dostęp tylko do „rozproszonych” nagród.

Początki uczenia przez wzmacnianie sięgają lat 50. XX wieku. Istnieje dużo algorytmów dla tej techniki, ale szczególną popularność zyskały obecnie 2 z nich: sieć deep-Q (deep Q-network, DQN) oraz deep deterministic policy gradient (DDPG). Oba są łatwe do wdrożenia, a jednocześnie oferują bardzo duże możliwości. W tej sekcji przedstawimy w skrócie te algorytmy i ich warianty.

Ogólny schemat procesu uczenia przez wzmacnianie

Algorytm sieci Deep Q (DQN) został zaprezentowany w 2015 roku przez grupę Google DeepMind w tym artykule w czasopiśmie „Nature”. Zachęceni wynikami zastosowania deep learningu w dziedzinie rozpoznawania obrazów autorzy wykorzystali głęboką sieć neuronową w algorytmie Q-Learning i przetestowali swój algorytm w symulatorze mechanizmu gier Atari, w którym liczba wymiarów przestrzeni obserwacji jest bardzo duża.

Głęboka sieć neuronowa działa jak aproksymator funkcji, który prognozuje wynikowe wartości Q lub celowość podjęcia działania w danym stanie wejściowym. DQN jest metodą opartą na wartościach: w algorytmie treningowym DQN aktualizuje wartości Q zgodnie z równaniem Bellmana, a w celu uniknięcia problemów z trafieniem w ruchomy cel wykorzystywana jest druga głęboka sieć neuronowa, która szacuje wartości docelowe.

Model poniżej przedstawia praktyczne informacje o plikach źródłowych, poleceniu powłoki i punkcie końcowym, które są potrzebne do uruchomienia zadania uczenia przez wzmacnianie w Google Cloud:

Zadanie 2. Tworzenie instancji Agent Platform Workbench

1. W Menu nawigacyjnym () konsoli Google Cloud kliknij Agent Platform > Przegląd.

2. Kliknij Włącz interfejsy API, a następnie kliknij Włącz, aby potwierdzić.

3. W menu nawigacyjnym po lewej stronie kliknij Notatnik > Workbench.

4. U góry strony Workbench sprawdź, czy włączony jest widok Instancje.

5. Kliknij  Utwórz nową.

6. Skonfiguruj instancję:

   • Nazwa: lab-workbench.
   • Region: jako region ustaw .
   • Strefa: ustaw strefę na .
   • Opcje zaawansowane (opcjonalnie): w razie potrzeby kliknij „Opcje zaawansowane”, aby dodatkowo dostosować instancję (np. typ maszyny, rozmiar dysku).

7. Kliknij Utwórz.

8. Kliknij Otwórz JupyterLab obok nazwy instancji, aby uruchomić interfejs JupyterLab. Otworzy się nowa karta przeglądarki.

9. Kliknij ikonę Terminal, aby otworzyć okno terminala.

Okno terminala otworzy się w nowej karcie. Możesz teraz uruchamiać polecenia w terminalu, aby używać instancji Workbench.

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Utworzenie instancji Agent Platform Workbench

Zadanie 3. Kopiowanie przykładowego kodu

1. Aby skopiować plik notatnika , skopiuj do terminala ten kod i go uruchom.

2. W menu po lewej stronie wybierz early_rl > . Otworzy się nowa karta.

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Skopiowanie przykładowego kodu

Zadanie 4. Uruchamianie notatnika

Twoja nowa karta powinna wyglądać podobnie do tej:

1. Przeczytaj ten notatnik i uruchom wszystkie bloki kodu, naciskając kombinację klawiszy SHIFT + ENTER.

2. Po wykonaniu instrukcji zawartych w notatniku wróć tutaj.

Gratulacje!

W tym module przedstawiliśmy podstawowe informacje o technikach uczenia przez wzmacnianie. Po utworzeniu instancji JupyterLab sklonowałeś(-aś) przykładowe repozytorium i uruchomiłeś(-aś) notatnik zawierający praktyczne ćwiczenia z podstaw uczenia przez wzmacnianie. Możesz teraz przejść do kolejnych modułów z tej serii.

Szkolenia i certyfikaty Google Cloud

…pomogą Ci wykorzystać wszystkie możliwości technologii Google Cloud. Nasze zajęcia obejmują umiejętności techniczne oraz sprawdzone metody, które ułatwią Ci szybką naukę i umożliwią jej kontynuację. Oferujemy szkolenia na poziomach od podstawowego po zaawansowany prowadzone w trybach wirtualnym, na żądanie i na żywo, dzięki czemu możesz dopasować program szkoleń do swojego napiętego harmonogramu. Certyfikaty umożliwią udokumentowanie i potwierdzenie Twoich umiejętności oraz doświadczenia w zakresie technologii Google Cloud.

Ostatnia aktualizacja instrukcji: 11 lipca 2025 r.

Ostatni test modułu: 11 lipca 2025 r.

Copyright 2026 Google LLC. Wszelkie prawa zastrzeżone. Google i logo Google są znakami towarowymi Google LLC. Wszelkie inne nazwy firm i produktów mogą być znakami towarowymi odpowiednich podmiotów, z którymi są powiązane.