시작하기 전에
- 실습에서는 정해진 기간 동안 Google Cloud 프로젝트와 리소스를 만듭니다.
- 실습에는 시간 제한이 있으며 일시중지 기능이 없습니다. 실습을 종료하면 처음부터 다시 시작해야 합니다.
- 화면 왼쪽 상단에서 실습 시작을 클릭하여 시작합니다.
Create the BigQuery resources
/ 25
Create the Pub/Sub Topic and Subscription
/ 25
Grant Pub/Sub IAM Permissions
/ 25
Verify the results in BigQuery
/ 25
Cymbal Gaming의 데이터 엔지니어라고 가정해 보세요. 개발팀과 함께 'Galactic Grand Prix'라는 새로운 e스포츠 게임을 빌드하고 있습니다. 이 게임은 서로 다른 팀의 두 플레이어가 펼치는 헤드업 게임을 기반으로 실시간 데이터를 생성합니다. 예를 들어 한 이벤트에서 두 명의 플레이어가 경쟁하고, 승자가 결정되면 승리한 플레이어와 팀에 포인트가 부여됩니다. 여러분은 Pub/Sub를 사용하여 이 스트리밍 데이터를 처리하고 결과를 BigQuery의 테이블에 저장하는 솔루션을 빌드해야 합니다. 이러한 테이블을 기반으로 대시보드의 백엔드 데이터 구조 역할을 하는 BigQuery의 리더보드 뷰를 만들어야 합니다.
BigQuery가 Pub/Sub 구독에 직접 연결될 수 있으며 이러한 유형의 사용 사례에 사용될 수 있다는 것을 확인했습니다. 또한 Gemini가 이 과정에서 도움이 될 수 있다는 것도 알게 되었습니다. 예를 들어 새 쿼리를 작성하기가 어려우면 Gemini의 도움을 받을 수 있습니다. 문제 해결 방법을 추천받을 수도 있다는 것도 알고 있습니다. 이러한 기능을 활용하면 혼자서도 업무를 처리하고 효율성을 높일 수 있겠지만 어떻게 시작해야 할지는 모르는 상태입니다.
실습을 시작하면 환경에 사전 빌드된 리소스가 없습니다.
실습을 마치면 아키텍처를 사용하여 여러 작업을 수행할 수 있게 됩니다.
다음 표에서 실습 아키텍처와 관련된 각 작업의 자세한 설명을 살펴볼 수 있습니다.
| 작업 순서 | 세부정보 |
|---|---|
| 1. | Cloud Shell에서 환경 변수를 구성합니다. |
| 2. |
BigQuery 리소스 만들기 Cloud Shell 명령어를 사용하여 BigQuery 데이터 세트와 테이블을 만듭니다. |
| 3. |
Pub/Sub 주제 및 구독 만들기 Pub/Sub 콘솔을 사용하여 주제와 구독을 만들고 BigQuery 데이터 세트와 테이블에 쓸 수 있도록 구독을 수정합니다. |
| 4. |
Pub/Sub IAM 권한 부여 IAM 콘솔을 사용하여 컴퓨팅 서비스 계정에 권한을 부여합니다. |
| 5. |
저장소에서 Python 파일 가져오기 이 작업에서는 저장소에서 Python 파일을 가져와 프로젝트에 맞게 구성합니다. |
| 6. |
합성 데이터 생성 프로젝트에 맞게 구성된 Python 파일을 사용하여 esports-simulation.py 파일을 실행합니다. 이 파일은 Python을 사용하여 게임 이벤트에 대한 연속적인 Pub/Sub 메시지를 생성합니다. |
| 7. |
BigQuery에서 결과 확인 이제 데이터를 Pub/Sub 주제로 전송했으므로 데이터가 캡처되어 BigQuery 테이블에 저장됩니다. 테이블에서 쿼리를 실행하고 뷰를 사용하여 게임 결과를 분석합니다. |
이 실습에서는 다음을 수행하는 방법에 대해 알아봅니다.
마지막으로 실습 일지의 질문에 답하면서 이 실습에서 배운 내용을 되짚어보고 스트리밍 데이터로 본인의 사용 사례를 어떻게 해결할 수 있을지 생각해 봅니다.
다음 안내를 확인하세요. 실습에는 시간 제한이 있으며 일시중지할 수 없습니다. 실습 시작을 클릭하면 타이머가 시작됩니다. 이 타이머는 Google Cloud 리소스를 사용할 수 있는 시간이 얼마나 남았는지를 표시합니다.
실무형 실습을 통해 시뮬레이션이나 데모 환경이 아닌 실제 클라우드 환경에서 실습 활동을 진행할 수 있습니다. 실습 시간 동안 Google Cloud에 로그인하고 액세스하는 데 사용할 수 있는 새로운 임시 사용자 인증 정보가 제공됩니다.
이 실습을 완료하려면 다음을 준비해야 합니다.
실습 시작 버튼을 클릭합니다. 실습 비용을 결제해야 하는 경우 결제 수단을 선택할 수 있는 대화상자가 열립니다. 왼쪽에는 다음과 같은 항목이 포함된 실습 세부정보 창이 있습니다.
Google Cloud 콘솔 열기를 클릭합니다(Chrome 브라우저를 실행 중인 경우 마우스 오른쪽 버튼으로 클릭하고 시크릿 창에서 링크 열기를 선택합니다).
실습에서 리소스가 가동되면 다른 탭이 열리고 로그인 페이지가 표시됩니다.
팁: 두 개의 탭을 각각 별도의 창으로 나란히 정렬하세요.
필요한 경우 아래의 사용자 이름을 복사하여 로그인 대화상자에 붙여넣습니다.
실습 세부정보 창에서도 사용자 이름을 확인할 수 있습니다.
다음을 클릭합니다.
아래의 비밀번호를 복사하여 시작하기 대화상자에 붙여넣습니다.
실습 세부정보 창에서도 비밀번호를 확인할 수 있습니다.
다음을 클릭합니다.
이후에 표시되는 페이지를 클릭하여 넘깁니다.
잠시 후 Google Cloud 콘솔이 이 탭에서 열립니다.
이 작업에서는 Cloud Shell에서 환경 변수를 구성합니다.
Cloud Shell 활성화를 클릭하여 Cloud Shell을 엽니다.
이 실습에서 Cloud Shell을 처음 사용하므로 사용을 승인해야 합니다. 이렇게 하려면 팝업 창에서 계속을 클릭한 다음 승인을 클릭합니다.
다음 명령어를 실행합니다.
아래 명령어를 실행하여 변수가 저장되었는지 확인합니다.
이러한 변수는 실습 후반부에서 사용합니다.
이 작업에서는 Pub/Sub에서 원시 스트리밍 이벤트를 수신할 데이터 세트와 BigQuery 테이블을 만듭니다.
이 작업에서는 테이블과 뷰의 컨테이너 역할을 할 BigQuery 데이터 세트를 만듭니다.
Google Cloud 콘솔 상단의 검색창을 사용하여 BigQuery를 찾아서 이동합니다. '환영합니다...' 팝업 창이 나타납니다.
완료를 클릭합니다.
왼쪽의 탐색기 창에서 프로젝트 ID(
프로젝트 ID 오른쪽에 있는 세로 점 3개(⋮)를 클릭하여 옵션 메뉴를 열고 데이터 세트 만들기를 선택합니다.
데이터 세트 만들기 패널에서 다음 설정을 구성합니다.
데이터 세트 ID: esports_analytics
데이터 위치: 드롭다운 메뉴에서 위치를 선택합니다. 이 실습에서는 US(미국 내 여러 리전)를 선택하는 것이 적절합니다.
다른 설정은 기본값으로 두고 데이터 세트 만들기를 클릭합니다. 탐색기 창의 프로젝트 ID 아래에 새 esports_analytics 데이터 세트가 표시됩니다. 데이터 세트가 성공적으로 생성되었음을 확인할 수 있습니다.
탐색기 창에서 프로젝트를 펼치고 esports_analytics 데이터 세트를 선택합니다.
데이터 세트 이름 옆에 있는 세로 점 3개(⋮)를 클릭하고 테이블 만들기를 선택합니다.
다음 설정으로 테이블을 구성합니다.
raw_events
테이블 만들기를 클릭합니다.
이렇게 하면 esports_analytics 데이터 세트에 raw_events 테이블이 생성됩니다.
내 진행 상황 확인하기를 클릭하여 목표를 확인합니다.
이 작업에서는 스트리밍 게임 데이터를 수신하기 위한 Pub/Sub 주제와 구독을 만들고, IAM 권한을 추가하고, 애플리케이션이 해당 주제에서 메시지를 수신하여 BigQuery의 raw_events 테이블로 전달할 수 있도록 구독을 수정합니다.
esports_events_topic을 입력합니다.기본 구독 추가 옵션이 표시되면 이 옵션을 사용 설정된 상태로 유지합니다.이렇게 하면 주제와 구독이 생성됩니다.
구독 목록에서 esports_events_topic-sub를 클릭합니다.
수정을 클릭합니다. 구독 수정 페이지에 구독 옵션이 표시됩니다.
전송 유형으로 BigQuery에 쓰기를 선택합니다. 더 많은 옵션이 표시됩니다.
데이터 세트 옵션으로 esports_analytics를 선택합니다.
테이블에 raw_events를 입력합니다. 아래와 같은 오류가 표시됩니다.
즉, Pub/Sub 서비스 계정에 원시 이벤트 테이블에 대한 적절한 쓰기 권한을 부여해야 합니다. 지금 만들어 보겠습니다.
esports_analytics 데이터 세트를 찾고 옆에 있는 세로 점 3개(⋮)를 클릭한 다음 공유와 권한 관리를 차례로 선택합니다.데이터 세트 권한 패널이 나타나면 주 구성원 추가를 클릭합니다.새 주 구성원 필드에 붙여넣고 탭 키를 사용하여 완료합니다.이제 BigQuery 구독이 수신 메시지를 raw_events 테이블에 직접 쓸 수 있도록 승인되었습니다.
Pub/Sub가 있는 브라우저 탭으로 돌아갑니다.
스키마 구성에서 테이블 스키마 사용을 선택합니다.
나머지 옵션은 기본값을 사용합니다.
업데이트를 클릭합니다.
이제 구독 구성이 저장되었고 구독이 올바르게 구성되었으므로 Pub/Sub는 모든 메시지(스트리밍 e스포츠 데이터)를 BigQuery의 raw_events 테이블로 직접 전송합니다.
내 진행 상황 확인하기를 클릭하여 목표를 확인합니다.
솔루션이 원활하게 실행되도록 하려면 컴퓨팅 서비스 계정에 Pub/Sub 주제로 메시지를 게시할 수 있는 권한도 부여해야 합니다.
이렇게 하면 Python 스크립트 또는 애플리케이션이 Pub/Sub 주제에 메시지를 보낼 수 있습니다.
Google Cloud 콘솔에서 IAM 및 관리자 > IAM으로 이동합니다. 현재 권한이 구성된 주 구성원 목록이 표시됩니다.
이메일 주소가
주 구성원의 역할 수정: 주 구성원 수정을 클릭합니다. 편집자 역할의 주 구성원에 대한 액세스 수정 패널이 열립니다.
+ 다른 역할 추가를 클릭합니다.
역할 선택 필드에서 Pub/Sub 게시자 역할을 검색하여 선택합니다.
저장을 클릭합니다.
이제 역할이 컴퓨팅 주 구성원에 할당됩니다.
내 진행 상황 확인하기를 클릭하여 목표를 확인합니다.
이 작업에서는 Cloud Shell에서 wget을 사용하여 공개 Cloud Storage 버킷에서 Python 파일을 가져옵니다. 파일을 가져온 후 Cloud Shell 편집기에서 파일을 열고 Gemini의 Code Assist 기능을 사용하여 파일이 어떻게 작동하는지 설명합니다. 마지막으로 Cloud Shell 편집기를 사용하여 프로젝트의 세부정보로 파일을 구성합니다.
Cloud Shell로 돌아갑니다.
다음 명령어를 실행하여 홈 디렉터리로 돌아갑니다.
esports 디렉터리를 만들고 해당 디렉터리로 이동합니다.
아래의 wget 명령어를 사용하여 Python 파일을 가져옵니다.
터미널에 파일이 다운로드되었다는 확인 메시지가 표시됩니다.
Cloud Shell에서 편집기 열기 버튼을 클릭하여 Cloud Shell 편집기를 엽니다. Gemini Code Assist 창도 표시됩니다.
둘러보기 탭을 닫습니다.
탐색기 창에서 esports 폴더를 펼쳐 Python 파일을 확인합니다.
esports-simulation.py 파일을 엽니다.
Gemini Code Assist 창 하단에 'Gemini에게 물어보기'라고 표시된 프롬프트 입력란이 있습니다. 다음 프롬프트를 입력합니다.
Code Assist가 코드의 기능을 자세히 설명합니다. 개략적으로 말해 이 코드는 e스포츠 매치를 시뮬레이션하고 이를 Google Cloud Pub/Sub 주제에 게시합니다.
Code Assist가 몇 가지 개선 사항을 추천한 것을 확인할 수 있습니다. 추천을 수락하지 마세요.
10번째 줄 부근에서 PROJECT_ID 변수를 Project_ID로 설정합니다. 다른 파일에서도 아래 코드로 줄을 바꾸면 됩니다.
파일을 저장합니다.
이 작업에서는 Python 파일을 실행하여 합성 데이터를 생성하고 파이프라인을 실행합니다.
Cloud Shell 터미널로 돌아갑니다.
홈 디렉터리에 있는지 확인합니다.
esports 디렉터리로 이동합니다.
pip를 사용하여 종속 항목, 특히 Pub/Sub용 Python 라이브러리를 설치합니다.
시뮬레이터를 실행합니다. 이 스크립트는 Pub/Sub 주제에 이벤트를 전송하면서 계속 실행됩니다.
터미널 내에서 이벤트가 게시되고 있음을 나타내는 출력이 표시됩니다.
이 작업에서는 Pub/Sub 구독의 새 메시지로 raw_events 테이블이 업데이트되었는지 확인합니다. 먼저 raw_events 테이블을 쿼리합니다. 그런 다음 두 개의 뷰를 만들고 뷰를 쿼리하여 플레이어 및 팀 리더보드를 표시합니다. 또한 Looker를 사용하여 리더보드 시각화를 개선하는 방법을 생각해 보는 시간도 갖습니다.
BigQuery로 돌아갑니다.
탐색기 패널에서 raw_events 테이블을 찾아 선택합니다.
쿼리를 클릭합니다. 템플릿 쿼리가 제공됩니다.
아래 쿼리를 사용하여 raw_events 테이블의 모든 레코드를 선택하도록 템플릿 쿼리를 수정합니다.
쿼리를 실행합니다. 레코드가 표시되면 Pub/Sub가 시뮬레이션의 최신 메시지(e스포츠 게임 데이터)로 테이블을 업데이트하고 있음을 의미합니다.
탐색기에서 프로젝트를 펼치고 esports_analytics 데이터 세트를 선택합니다.
더하기 버튼을 클릭하여 새 쿼리를 만듭니다.
쿼리 탭에서 다음 쿼리를 입력합니다.
이 쿼리는 플레이어 리더보드와 팀 리더보드에 각각 하나씩 두 개의 뷰를 만듭니다. 플레이어와 팀의 가장 최근 점수를 찾아 그에 따라 순위를 매깁니다.
더하기 버튼을 클릭하여 새 쿼리를 만듭니다.
쿼리 탭에서 다음 쿼리를 입력합니다.
이렇게 하면 플레이어 리더보드가 총 승리 횟수를 기준으로 1위부터 12위까지 순위가 매겨진 플레이어와 함께 표시됩니다.
더하기 버튼을 클릭하여 새 쿼리를 만듭니다.
쿼리 탭에서 다음 쿼리를 입력합니다.
이렇게 하면 팀은 총 승리 횟수를 기준으로 1위부터 4위까지 순위가 매겨집니다.
BigQuery에서 찾은 결과를 고려합니다. 이 실습에서는 BigQuery의 SQL 쿼리를 기반으로 한 리더보드만 사용했습니다. Looker에서 이러한 리더보드용 대시보드를 어떻게 빌드할 수 있을지 생각해 보고 실습 일지를 사용하여 다음 질문에 답해 보세요.
내 진행 상황 확인하기를 클릭하여 목표를 확인합니다.
Python 스크립트를 사용하여 게임 데이터를 시뮬레이션했습니다. 또한 Cloud Assist를 사용하여 이러한 스크립트의 코드를 설명했습니다. 마지막으로 Pub/Sub 주제 및 구독, BigQuery 데이터 세트, 테이블 및 뷰를 포함하여 e스포츠 스트리밍 데이터를 지원하는 Google Cloud 리소스를 생성하여 이 데이터를 스트리밍하고 어떤 선수와 팀이 선두를 달리고 있는지에 대한 보고서를 생성했습니다. 매일 더 자신있게 Google Cloud를 사용하고 Gemini를 활용해 데이터 엔지니어링 워크플로에 대한 지식과 기술을 보완할 수 있게 되었습니다.
Google Cloud 기술을 최대한 활용하는 데 도움이 됩니다. Google 강의에는 빠른 습득과 지속적인 학습을 지원하는 기술적인 지식과 권장사항이 포함되어 있습니다. 기초에서 고급까지 수준별 학습을 제공하며 바쁜 일정에 알맞은 주문형, 실시간, 가상 옵션이 포함되어 있습니다. 인증은 Google Cloud 기술에 대한 역량과 전문성을 검증하고 입증하는 데 도움이 됩니다.
설명서 최종 업데이트: 2025년 8월 6일
실습 최종 테스트: 2025년 8월 6일
Copyright 2025 Google LLC. All rights reserved. Google 및 Google 로고는 Google LLC의 상표입니다. 기타 모든 회사명 및 제품명은 해당 업체의 상표일 수 있습니다.
현재 이 콘텐츠를 이용할 수 없습니다
이용할 수 있게 되면 이메일로 알려드리겠습니다.
감사합니다
이용할 수 있게 되면 이메일로 알려드리겠습니다.
한 번에 실습 1개만 가능
모든 기존 실습을 종료하고 이 실습을 시작할지 확인하세요.