개요

이 실습에서는 여러분이 뉴욕시의 택시 회사를 소유하고 있다고 가정하고 비즈니스 현황을 실시간으로 모니터링해 봅니다. 스트리밍 데이터 파이프라인을 빌드하여 택시의 수익, 승객 수, 탑승 상태 등 많은 정보를 캡처하고 관리 대시보드에 결과를 시각화합니다.

목표

이 실습에서는 다음을 수행하는 방법에 대해 알아봅니다.

• 템플릿으로 Dataflow 작업 생성
• BigQuery에 Dataflow 파이프라인 스트리밍
• BigQuery에서 Dataflow 파이프라인 모니터링
• SQL을 사용하여 결과 분석
• Looker Studio에서 주요 측정항목 시각화

설정 및 요건

각 실습에서는 정해진 기간 동안 새 Google Cloud 프로젝트와 리소스 집합이 무료로 제공됩니다.

1. 실습 시작 버튼을 클릭합니다. 실습 비용을 결제해야 하는 경우 결제 수단을 선택할 수 있는 팝업이 열립니다. 왼쪽에는 다음과 같은 항목이 포함된 실습 세부정보 패널이 있습니다.

   • Google Cloud 콘솔 열기 버튼
   • 남은 시간
   • 이 실습에 사용해야 하는 임시 사용자 인증 정보
   • 필요한 경우 실습 진행을 위한 기타 정보

2. Google Cloud 콘솔 열기를 클릭합니다(Chrome 브라우저를 실행 중인 경우 마우스 오른쪽 버튼으로 클릭하고 시크릿 창에서 링크 열기를 선택합니다).

   실습에서 리소스가 가동되면 다른 탭이 열리고 로그인 페이지가 표시됩니다.

   팁: 두 개의 탭을 각각 별도의 창으로 나란히 정렬하세요.

   참고: 계정 선택 대화상자가 표시되면 다른 계정 사용을 클릭합니다.

3. 필요한 경우 아래의 사용자 이름을 복사하여 로그인 대화상자에 붙여넣습니다.

   {{{user_0.username | "Username"}}}

   실습 세부정보 패널에서도 사용자 이름을 확인할 수 있습니다.

4. 다음을 클릭합니다.

5. 아래의 비밀번호를 복사하여 시작하기 대화상자에 붙여넣습니다.

   {{{user_0.password | "Password"}}}

   실습 세부정보 패널에서도 비밀번호를 확인할 수 있습니다.

6. 다음을 클릭합니다.

   중요: 실습에서 제공하는 사용자 인증 정보를 사용해야 합니다. Google Cloud 계정 사용자 인증 정보를 사용하지 마세요. 참고: 이 실습에 자신의 Google Cloud 계정을 사용하면 추가 요금이 발생할 수 있습니다.

7. 이후에 표시되는 페이지를 클릭하여 넘깁니다.

   • 이용약관에 동의합니다.
   • 임시 계정이므로 복구 옵션이나 2단계 인증을 추가하지 않습니다.
   • 무료 체험판을 신청하지 않습니다.

잠시 후 Google Cloud 콘솔이 이 탭에서 열립니다.

참고: Google Cloud 제품 및 서비스 목록이 있는 메뉴를 보려면 왼쪽 상단의 탐색 메뉴를 클릭하거나 검색창에 제품 또는 서비스 이름을 입력합니다.

Google Cloud Shell 활성화하기

Google Cloud Shell은 다양한 개발 도구가 탑재된 가상 머신으로, 5GB의 영구 홈 디렉터리를 제공하며 Google Cloud에서 실행됩니다.

Google Cloud Shell을 사용하면 명령줄을 통해 Google Cloud 리소스에 액세스할 수 있습니다.

1. Cloud 콘솔의 오른쪽 상단 툴바에서 'Cloud Shell 열기' 버튼을 클릭합니다.

   

2. 계속을 클릭합니다.

환경을 프로비저닝하고 연결하는 데 몇 분 정도 소요됩니다. 연결되면 사용자가 미리 인증되어 프로젝트가 PROJECT_ID로 설정됩니다. 예:

gcloud는 Google Cloud의 명령줄 도구입니다. Cloud Shell에 사전 설치되어 있으며 명령줄 자동 완성을 지원합니다.

• 다음 명령어를 사용하여 사용 중인 계정 이름을 나열할 수 있습니다.

gcloud auth list

출력:

Credentialed accounts: - @.com (active)

출력 예시:

Credentialed accounts: - google1623327_student@qwiklabs.net

• 다음 명령어를 사용하여 프로젝트 ID를 나열할 수 있습니다.

gcloud config list project

출력:

[core] project =

출력 예시:

[core] project = qwiklabs-gcp-44776a13dea667a6 참고: gcloud 전체 문서는 gcloud CLI 개요 가이드를 참조하세요.

작업 1. BigQuery 데이터 세트 만들기

이 작업에서는 taxirides 데이터 세트를 만듭니다. 데이터 세트는 두 가지 옵션 즉, Google Cloud Shell과 Google Cloud 콘솔 중 하나를 사용해 만들 수 있습니다.

이 실습에서는 뉴욕시 택시 및 리무진 조합의 공개 데이터 세트에서 추출한 데이터를 사용합니다. 쉼표로 구분된 작은 데이터 파일을 사용해 택시 데이터의 주기적인 업데이트를 시뮬레이션합니다.

BigQuery는 서버리스 데이터 웨어하우스입니다. BigQuery의 테이블은 데이터 세트로 구성되어 있습니다. 이 실습의 택시 데이터는 독립형 파일에서 Dataflow를 통해 이동하여 BigQuery에 저장됩니다. 이 구성을 사용하면 소스 Cloud Storage 버킷에 저장된 새 데이터 파일이 자동으로 로드 처리됩니다.

다음 옵션 중 하나를 사용하여 새로운 BigQuery 데이터 세트를 만듭니다.

옵션 1: 명령줄 도구

1. Cloud Shell()에서 다음 명령어를 실행하여 taxirides 데이터 세트를 만듭니다.

bq --location={{{project_0.default_region|Region}}} mk taxirides

2. 다음 명령어를 실행하여 taxirides.realtime 테이블(나중에 스트림에 사용할 빈 스키마)을 만듭니다.

bq --location={{{project_0.default_region|Region}}} mk \ --time_partitioning_field timestamp \ --schema ride_id:string,point_idx:integer,latitude:float,longitude:float,\ timestamp:timestamp,meter_reading:float,meter_increment:float,ride_status:string,\ passenger_count:integer -t taxirides.realtime

옵션 2: BigQuery 콘솔 UI

참고: 명령줄을 사용하여 테이블을 만든 경우 이 단계를 건너뛰세요.

1. Google Cloud 콘솔의 탐색 메뉴()에서 BigQuery를 클릭합니다.

2. 시작 대화상자가 표시되면 완료를 클릭합니다.

3. 프로젝트 ID 옆의 작업 보기()를 클릭한 다음 데이터 세트 만들기를 클릭합니다.

4. 데이터 세트 ID에 taxirides를 입력합니다.

5. 데이터 위치에서 다음을 선택하고

{{{project_0.default_region|Region}}}

데이터 세트 만들기를 클릭합니다.

6. 탐색기 창에서 노드 펼치기()를 클릭하면 새로운 taxirides 데이터 세트가 표시됩니다.

7. taxirides 데이터 세트 옆에 있는 작업 보기()를 클릭하고 열기를 클릭합니다.

8. 테이블 만들기를 클릭합니다.

9. 테이블에 realtime을 입력합니다.

10. 텍스트로 편집을 클릭하고 스키마를 위해 다음 내용을 붙여넣습니다.

ride_id:string, point_idx:integer, latitude:float, longitude:float, timestamp:timestamp, meter_reading:float, meter_increment:float, ride_status:string, passenger_count:integer

11. 파티션 및 클러스터 설정에서 timestamp를 선택합니다.

12. 테이블 만들기를 클릭합니다.

작업 2. 필수 실습 아티팩트 복사

이 작업에서는 필요한 파일을 프로젝트로 옮깁니다.

Cloud Storage를 사용하면 데이터양과 관계없이 언제 어디서나 데이터를 저장하고 가져올 수 있습니다. Cloud Storage로 웹사이트 콘텐츠를 제공하거나 데이터를 보관처리하고 재해 복구를 위해 저장하거나 사용자의 직접 다운로드를 통해 대량의 데이터 객체를 배포하는 등 다양한 용도로 사용할 수 있습니다.

Cloud Storage 버킷은 실습을 시작할 때 생성되었습니다.

1. Cloud Shell()에서 다음 명령어를 실행하여 Dataflow 작업에 필요한 파일을 옮깁니다.

gcloud storage cp gs://cloud-training/bdml/taxisrcdata/schema.json gs://{{{project_0.project_id|Project_ID}}}-bucket/tmp/schema.json gcloud storage cp gs://cloud-training/bdml/taxisrcdata/transform.js gs://{{{project_0.project_id|Project_ID}}}-bucket/tmp/transform.js gcloud storage cp gs://cloud-training/bdml/taxisrcdata/rt_taxidata.csv gs://{{{project_0.project_id|Project_ID}}}-bucket/tmp/rt_taxidata.csv

작업 3. Dataflow 파이프라인 설정

이 작업에서는 Cloud Storage 버킷에서 파일을 읽고 BigQuery에 데이터를 쓰도록 스트리밍 데이터 파이프라인을 설정합니다.

Dataflow는 서버리스 방식으로 데이터 분석을 실행합니다.

Dataflow API에 대한 연결을 다시 시작합니다.

1. Cloud Shell에서 다음 명령어를 실행하여 Dataflow API가 프로젝트에 확실하게 사용 설정되었는지 확인합니다.

gcloud services disable dataflow.googleapis.com gcloud services enable dataflow.googleapis.com

다음과 같은 방법으로 새 스트리밍 파이프라인을 만듭니다.

1. Cloud 콘솔의 탐색 메뉴()에서 모든 제품 보기 > 분석 > Dataflow를 클릭합니다.

2. 상단 메뉴 바에서 템플릿에서 작업 만들기를 클릭합니다.

3. Dataflow 작업의 작업 이름으로 streaming-taxi-pipeline을 입력합니다.

4. 리전 엔드포인트에서 다음을 선택합니다.

{{{project_0.default_region|Region}}}

5. Dataflow 템플릿의 지속적으로 데이터 처리(스트리밍) 아래에 있는 Cloud Storage 텍스트에서 BigQuery로(스트리밍)를 선택합니다.

참고: 아래에 나열된 파라미터와 일치하는 템플릿 옵션을 선택해야 합니다.

6. Cloud Storage 입력 파일에 다음을 붙여넣거나 입력합니다.

{{{project_0.project_id|Project_ID}}}-bucket/tmp/rt_taxidata.csv

7. JSON으로 설명된 BigQuery 스키마 파일의 Cloud Storage 위치에 다음을 붙여넣거나 입력합니다.

{{{project_0.project_id|Project_ID}}}-bucket/tmp/schema.json

8. BigQuery 출력 테이블에 다음을 붙여넣거나 입력합니다.

{{{project_0.project_id|Project_ID}}}:taxirides.realtime

9. BigQuery 로드 프로세스를 위한 임시 디렉터리에 다음을 붙여넣거나 입력합니다.

{{{project_0.project_id|Project_ID}}}-bucket/tmp

10. 필수 파라미터를 클릭합니다.

11. 임시 파일 쓰기에 사용되는 임시 위치에 다음을 붙여넣거나 입력합니다.

{{{project_0.project_id|Project_ID}}}-bucket/tmp

12. Cloud Storage의 JavaScript UDF 경로에 다음을 붙여넣거나 입력합니다.

{{{project_0.project_id|Project_ID}}}-bucket/tmp/transform.js

13. JavaScript UDF 이름에 다음을 붙여넣거나 입력합니다.

transform

14. 최대 작업자에 2를 입력합니다.

15. 작업자 수에 1을 입력합니다.

16. 기본 머신 유형 사용을 선택 해제합니다.

17. 범용에서 다음을 선택합니다.

시리즈: E2
머신 유형: e2-medium(vCPU 2개, 메모리 4GB)

18. 작업 실행을 클릭합니다.

새로운 스트리밍 작업이 시작되었습니다. 이제 데이터 파이프라인을 시각적으로 확인할 수 있습니다. BigQuery로 데이터 이동을 시작하는 데 3~5분이 소요됩니다.

참고: Dataflow 작업이 처음으로 실패하면 새로운 작업 이름으로 새 작업 템플릿을 다시 만들어 작업을 실행하세요.

작업 4. BigQuery를 사용한 택시 데이터 분석

이 작업에서는 스트리밍 중인 데이터를 분석합니다.

1. Cloud 콘솔의 탐색 메뉴()에서 BigQuery를 클릭합니다.

2. 시작 대화상자가 표시되면 완료를 클릭합니다.

3. 쿼리 편집기에 다음 내용을 입력한 후 실행을 클릭합니다.

SELECT * FROM taxirides.realtime LIMIT 10 참고: 반환되는 레코드가 없으면 1분 정도 더 기다렸다가 위의 쿼리를 다시 실행해 보세요. Dataflow가 스트림을 설정하는 데 3~5분 정도 소요됩니다.

다음과 비슷한 출력 메시지가 표시됩니다.

작업 5. 스트림에서 보고를 위한 집계 실행

이 작업에서는 스트림에서 보고를 위한 집계 수치를 계산합니다.

1. 쿼리 편집기에서 현재 쿼리를 지웁니다.

2. 다음 쿼리를 복사해 붙여넣은 다음 실행을 클릭합니다.

WITH streaming_data AS ( SELECT timestamp, TIMESTAMP_TRUNC(timestamp, HOUR, 'UTC') AS hour, TIMESTAMP_TRUNC(timestamp, MINUTE, 'UTC') AS minute, TIMESTAMP_TRUNC(timestamp, SECOND, 'UTC') AS second, ride_id, latitude, longitude, meter_reading, ride_status, passenger_count FROM taxirides.realtime ORDER BY timestamp DESC LIMIT 1000 ) # calculate aggregations on stream for reporting: SELECT ROW_NUMBER() OVER() AS dashboard_sort, minute, COUNT(DISTINCT ride_id) AS total_rides, SUM(meter_reading) AS total_revenue, SUM(passenger_count) AS total_passengers FROM streaming_data GROUP BY minute, timestamp Note: Ensure Dataflow is registering data in BigQuery before proceeding to the next task.

결과에는 모든 택시 하차에 관한 주요 측정항목이 분 단위로 표시됩니다.

3. 저장 > 쿼리 저장을 클릭합니다.

4. 쿼리 저장 대화상자의 이름 입력란에 내 저장된 쿼리를 입력합니다.

5. 리전에서 리전이 Qwiklabs 실습 리전과 일치하는지 확인합니다.

6. 저장을 클릭합니다.

작업 6. Dataflow 작업 중지

이 작업에서는 프로젝트를 위한 리소스를 확보하기 위해 Dataflow 작업을 중지합니다.

1. Cloud 콘솔의 탐색 메뉴()에서 모든 제품 보기 > 분석 > Dataflow를 클릭합니다.

2. streaming-taxi-pipeline 또는 새 작업 이름을 클릭합니다.

3. 중지를 클릭하고 취소 > 작업 중지를 선택합니다.

작업 7. 실시간 대시보드 만들기

이 작업에서는 데이터를 시각화하는 실시간 대시보드를 만듭니다.

1. Cloud 콘솔의 탐색 메뉴()에서 BigQuery를 클릭합니다.

2. 탐색기 창에서 프로젝트 ID를 펼칩니다.

3. 쿼리를 펼친 후 내 저장된 쿼리를 클릭합니다.

쿼리가 쿼리 편집기에 로드됩니다.

4. 실행을 클릭합니다.

5. 쿼리 결과 섹션에서 다음에서 열기 > Looker Studio를 클릭합니다.

   Looker Studio가 열립니다. 시작하기를 클릭합니다.

6. Looker Studio 창에서 막대 그래프를 클릭합니다.

(

차트 창이 열립니다.

7. 차트 추가를 클릭한 후 콤보 차트를 선택합니다.

   

8. 설정 창의 데이터 범위 측정기준에서 분(날짜)에 마우스를 가져간 후 X를 클릭하여 삭제합니다.

9. 데이터 창에서 dashboard_sort를 클릭하고 설정 > 데이터 범위 측정기준 > 측정기준 추가로 드래그합니다.

10. 설정 > 측정기준에서 분을 클릭한 후 dashboard_sort를 선택합니다.

11. 설정 > 측정항목에서 dashboard_sort를 클릭한 다음 total_rides를 선택합니다.

12. 설정 > 측정항목에서 레코드 수를 클릭한 다음 total_passengers를 선택합니다.

13. 설정 > 측정항목에서 측정항목 추가를 클릭한 다음 total_revenue를 선택합니다.

14. 설정 > 정렬에서 total_rides를 클릭한 다음 dashboard_sort를 선택합니다.

15. 설정 > 정렬에서 오름차순을 클릭합니다.

차트가 다음과 비슷하게 표시됩니다.

참고: 분 단위 수준의 세부사항으로 데이터를 시각화하는 작업은 현재 Looker Studio에서 타임스탬프로 지원되지 않습니다. 이러한 이유로 자체 dashboard_sort 측정기준을 만들었습니다.

16. 대시보드 설정을 완료했으면 저장 및 공유를 클릭하여 데이터 소스를 저장합니다.

17. 계정 설정을 완료하라는 메시지가 표시되면 국가 및 회사 세부정보를 입력하고 이용약관에 동의한 후 계속을 클릭합니다.

18. 어떤 업데이트 소식을 수신할지 묻는 메시지가 표시되면 모든 항목에 아니요로 답변하고 계속을 클릭합니다.

19. 저장 전에 데이터 액세스 검토 창이 표시되면 확인 및 저장을 클릭합니다.

20. 계정 선택 메시지가 표시되면 학습자 계정을 선택합니다.

21. 누군가 대시보드를 방문할 때마다 대시보드가 최근 트랜잭션으로 업데이트됩니다. 옵션 더보기()와 데이터 새로고침을 차례로 클릭하여 직접 시험해 볼 수 있습니다.

작업 8. 시계열 대시보드 만들기

이 작업에서는 시계열 차트를 만듭니다.

1. 이 Looker Studio 링크를 클릭하여 새 브라우저 탭에서 Looker Studio를 엽니다.

2. 보고서 페이지의 템플릿으로 시작 섹션에서 [+] 빈 보고서 템플릿을 클릭합니다.

3. 보고서에 데이터 추가 창과 함께 새로운 빈 보고서가 열립니다.

4. Google 커넥터 목록에서 BigQuery 타일을 선택합니다

5. 커스텀 쿼리를 클릭한 다음 프로젝트 ID를 선택합니다. 이 ID는 qwiklabs-gcp-xxxxxxx 형식으로 표시되어야 합니다.

6. 커스텀 쿼리 입력에 다음 쿼리를 붙여넣습니다.

SELECT * FROM taxirides.realtime WHERE ride_status='enroute'

7. 추가 > 보고서에 추가를 클릭합니다.

   제목이 없는 새 보고서가 나타납니다. 화면 새로고침이 완료되는 데 최대 1분이 걸릴 수 있습니다.

시계열 차트 만들기

1. 데이터 창에서 필드 추가 > 계산된 필드 추가를 클릭합니다.

2. 왼쪽 모서리에 있는 모든 필드를 클릭합니다.

3. timestamp 필드 유형을 날짜 및 시간 > 날짜 시 분(YYYYMMDDhhmm)으로 변경합니다.

4. timestamp 변경 대화상자에서 계속과 완료를 차례로 클릭합니다.

5. 상단 메뉴에서 차트 추가를 클릭합니다.

6. 시계열 차트를 선택합니다.

   

7. 왼쪽 하단의 빈 공간에 차트를 배치합니다.

8. 설정 > 측정기준에서 타임스탬프(날짜)를 클릭한 후 타임스탬프를 선택합니다.

9. 설정 > 측정기준에서 타임스탬프를 클릭한 후 캘린더를 선택합니다.

10. 데이터 유형에서 날짜 및 시간 > 날짜 시 분을 선택합니다.

11. 대화상자 밖을 클릭해 닫습니다. 이름을 추가할 필요는 없습니다.

12. 설정 > 측정항목에서 레코드 수를 클릭한 다음 측정기 읽기을 선택합니다.

수고하셨습니다

이 실습에서는 Dataflow를 사용하여 파이프라인을 통해 데이터를 BigQuery로 스트리밍했습니다.

실습 종료하기

실습을 완료하면 실습 종료를 클릭합니다. Google Cloud Skills Boost에서 사용된 리소스를 자동으로 삭제하고 계정을 지웁니다.

실습 경험을 평가할 수 있습니다. 해당하는 별표 수를 선택하고 의견을 입력한 후 제출을 클릭합니다.

별점의 의미는 다음과 같습니다.

• 별표 1개 = 매우 불만족
• 별표 2개 = 불만족
• 별표 3개 = 중간
• 별표 4개 = 만족
• 별표 5개 = 매우 만족

의견을 제공하고 싶지 않다면 대화상자를 닫으면 됩니다.

의견이나 제안 또는 수정할 사항이 있다면 지원 탭을 사용하세요.

Copyright 2024 Google LLC All rights reserved. Google 및 Google 로고는 Google LLC의 상표입니다. 기타 모든 회사명 및 제품명은 해당 업체의 상표일 수 있습니다.