개요

이 실습에서는 Python을 사용하여 Dataflow 프로젝트를 열고, 파이프라인 필터링을 사용하고, 로컬과 클라우드에서 파이프라인을 실행해봅니다.

• Dataflow 프로젝트 열기
• 파이프라인 필터링
• 로컬 및 클라우드에서 파이프라인 실행

목표

이 실습에서는 간단한 Dataflow 파이프라인을 작성하여 로컬과 클라우드에서 실행하는 방법을 학습합니다.

• Apache Beam을 사용하여 Python Dataflow 프로젝트 설정
• Python으로 간단한 파이프라인 작성
• 로컬 컴퓨터에서 쿼리 실행
• 클라우드에서 쿼리 실행하기

설정

각 실습에서는 정해진 기간 동안 새 Google Cloud 프로젝트와 리소스 집합이 무료로 제공됩니다.

1. 시크릿 창을 사용하여 Qwiklabs에 로그인합니다.

2. 실습 사용 가능 시간(예: 1:15:00)을 참고하여 해당 시간 내에 완료합니다.
   일시중지 기능은 없습니다. 필요한 경우 다시 시작할 수 있지만 처음부터 시작해야 합니다.

3. 준비가 되면 실습 시작을 클릭합니다.

4. 실습 사용자 인증 정보(사용자 이름 및 비밀번호)를 기록해 두세요. Google Cloud Console에 로그인합니다.

5. Google Console 열기를 클릭합니다.

6. 다른 계정 사용을 클릭한 다음, 안내 메시지에 이 실습에 대한 사용자 인증 정보를 복사하여 붙여넣습니다.
   다른 사용자 인증 정보를 사용하는 경우 오류가 발생하거나 요금이 부과됩니다.

7. 약관에 동의하고 리소스 복구 페이지를 건너뜁니다.

Google Cloud Shell 활성화하기

Google Cloud Shell은 다양한 개발 도구가 탑재된 가상 머신으로, 5GB의 영구 홈 디렉터리를 제공하며 Google Cloud에서 실행됩니다.

Google Cloud Shell을 사용하면 명령줄을 통해 Google Cloud 리소스에 액세스할 수 있습니다.

1. Cloud 콘솔의 오른쪽 상단 툴바에서 'Cloud Shell 열기' 버튼을 클릭합니다.

   

2. 계속을 클릭합니다.

환경을 프로비저닝하고 연결하는 데 몇 분 정도 소요됩니다. 연결되면 사용자가 미리 인증되어 프로젝트가 PROJECT_ID로 설정됩니다. 예:

gcloud는 Google Cloud의 명령줄 도구입니다. Cloud Shell에 사전 설치되어 있으며 명령줄 자동 완성을 지원합니다.

• 다음 명령어를 사용하여 사용 중인 계정 이름을 나열할 수 있습니다.

gcloud auth list

출력:

Credentialed accounts: - @.com (active)

출력 예시:

Credentialed accounts: - google1623327_student@qwiklabs.net

• 다음 명령어를 사용하여 프로젝트 ID를 나열할 수 있습니다.

gcloud config list project

출력:

[core] project =

출력 예시:

[core] project = qwiklabs-gcp-44776a13dea667a6 참고: gcloud 전체 문서는 gcloud CLI 개요 가이드를 참조하세요.

프로젝트 권한 확인

Google Cloud에서 작업을 시작하기 전에 프로젝트가 Identity and Access Management(IAM) 내에서 올바른 권한을 보유하고 있는지 확인해야 합니다.

1. Google Cloud 콘솔의 탐색 메뉴()에서 IAM 및 관리자 > IAM을 선택합니다.

2. 기본 컴퓨팅 서비스 계정 {project-number}-compute@developer.gserviceaccount.com이 있고 editor 역할이 할당되어 있는지 확인하세요. 계정 프리픽스는 프로젝트 번호이며, 이 번호는 탐색 메뉴 > Cloud 개요 > 대시보드에서 확인할 수 있습니다.

참고: 계정이 IAM에 없거나 editor 역할이 없는 경우 다음 단계에 따라 필요한 역할을 할당합니다.

1. Google Cloud 콘솔의 탐색 메뉴에서 Cloud 개요 > 대시보드를 클릭합니다.
2. 프로젝트 번호(예: 729328892908)를 복사합니다.
3. 탐색 메뉴에서 IAM 및 관리자 > IAM을 선택합니다.
4. 역할 테이블 상단에서 주 구성원별로 보기 아래에 있는 액세스 권한 부여를 클릭합니다.
5. 새 주 구성원 필드에 다음을 입력합니다.

{project-number}-compute@developer.gserviceaccount.com

6. {project-number}는 프로젝트 번호로 바꿉니다.
7. 역할 필드에서 프로젝트(또는 기본) > 편집자를 선택합니다.
8. 저장을 클릭합니다.

작업 1. Dataflow API가 사용 설정되어 있는지 확인

• Cloud Shell에서 다음 코드 블록을 실행합니다.

gcloud services disable dataflow.googleapis.com --force gcloud services enable dataflow.googleapis.com

작업 2. 준비

SSH 터미널을 열고 학습용 VM에 연결하기

선별된 학습용 VM에서 모든 코드를 실행합니다.

1. 콘솔의 탐색 메뉴()에서 Compute Engine > VM 인스턴스를 클릭합니다.

2. training-vm 인스턴스가 있는 줄을 찾습니다.

3. 맨 오른쪽에 있는 연결에서 SSH를 클릭하여 터미널 창을 엽니다.

4. 이 실습에서는 training-vm에 CLI 명령어를 입력합니다.

코드 저장소 다운로드하기

• 이 실습에서 사용할 코드 저장소를 다운로드합니다. training-vm SSH 터미널에서 다음을 입력합니다.

git clone https://github.com/GoogleCloudPlatform/training-data-analyst

Cloud Storage 버킷 만들기

다음 안내에 따라 버킷을 만듭니다.

1. 콘솔의 탐색 메뉴에서 Cloud Storage > 버킷을 클릭합니다.

2. + 만들기를 클릭합니다.

3. 다음을 지정하고 나머지 설정은 기본값으로 둡니다.

속성	값(지정된 대로 값 입력 또는 옵션 선택)
이름
위치 유형	멀티 리전

4. 만들기를 클릭합니다.

5. Public access will be prevented 프롬프트가 뜨면 Enforce public access prevention on this bucket을 선택하고 확인을 클릭합니다.

버킷의 이름을 기록합니다. 후속 작업에 필요합니다.

6. training-vm SSH 터미널에서 다음을 입력하여 'BUCKET'이라는 환경 변수를 만들고 echo 명령어를 사용하여 이 환경 변수가 존재하는지 확인합니다.

BUCKET="{{{project_0.project_id|project_place_holder_text}}}" echo $BUCKET

터미널 명령어에 $BUCKET을 사용할 수 있습니다. 그리고 콘솔에서 텍스트 필드에 버킷 이름 <your-bucket>을 입력해야 할 경우 echo $BUCKET으로 이름을 빠르게 검색할 수 있습니다.

작업 3. 파이프라인 필터링

이 실습의 목표는 Dataflow 프로젝트의 구조를 익히고 Dataflow 파이프라인을 실행하는 방법을 학습하는 것입니다.

1. training-vm SSH 터미널로 돌아가 /training-data-analyst/courses/data_analysis/lab2/python 디렉터리로 이동하여 grep.py 파일을 확인합니다.

2. Nano를 사용해 파일을 확인합니다. 다음 코드를 변경하지 마세요.

cd ~/training-data-analyst/courses/data_analysis/lab2/python nano grep.py

3. Ctrl+X를 눌러 Nano를 종료합니다.

grep.py 파일에 대한 다음 질문에 답변하세요.

• 어떤 파일을 읽고 있나요?
• 검색어는 무엇인가요?
• 어디에 출력되나요?

파이프라인에는 세 개의 변환이 있습니다.

• 변환은 어떤 역할을 하나요?
• 두 번째 변환은 어떤 역할을 하나요?
• 어디에서 입력되나요?
• 이 입력으로 무엇을 하나요?
• 출력에 어떤 내용이 작성되나요?
• 어디에 출력되나요?
• 세 번째 변환은 어떤 역할을 하나요?

작업 4. 로컬에서 파이프라인 실행

1. training-vm SSH 터미널에서 grep.py를 로컬로 실행합니다.

python3 grep.py 참고: 경고가 표시될 경우 무시하세요.

출력 파일은 output.txt입니다. 출력이 일정 크기 이상이면 output-00000-of-00001과 같은 이름이 지정된 개별 부분으로 샤딩됩니다.

2. 파일 시간을 확인하여 올바른 파일을 찾습니다.

ls -al /tmp

3. 출력 파일을 확인합니다.

4. 아래에서 "-*"를 적절한 서픽스로 바꿀 수 있습니다.

cat /tmp/output-*

출력이 논리적인가요?

작업 5. 클라우드에서 파이프라인 실행하기

1. 일부 Java 파일을 클라우드로 복사합니다. training-vm SSH 터미널에서 다음 명령어를 입력합니다.

gcloud storage cp ../javahelp/src/main/java/com/google/cloud/training/dataanalyst/javahelp/*.java gs://$BUCKET/javahelp

2. Nano를 사용하여 grepc.py에서 Dataflow 파이프라인을 편집합니다.

nano grepc.py

3. PROJECT, BUCKET 및 REGION을 아래 나열된 값으로 바꿉니다. 바깥쪽 작은따옴표는 그대로 유지합니다.

PROJECT='{{{project_0.project_id|project_place_holder_text}}}' BUCKET='{{{project_0.project_id|project_place_holder_text}}}' REGION='{{{project_0.startup_script.gcp_region|region_place_holder_text}}}'

파일을 저장하고 Ctrl+X 키를 누른 다음, Y를 입력하고 Enter 키를 눌러 Nano를 종료합니다.

4. 클라우드에 Dataflow 작업을 제출합니다.

python3 grepc.py

매우 간단한 작업이기 때문에 클라우드에서 실행하는 것이 로컬에서 실행하는 것보다 훨씬 더 오래 걸립니다(약 7~10분).

5. 콘솔의 브라우저 탭으로 돌아갑니다.

6. 탐색 메뉴에서 Dataflow를 클릭하고 진행 상태를 모니터링할 작업을 클릭합니다.

7. 작업 상태가 성공이 될 때까지 기다립니다.

8. Cloud Storage 버킷에서 출력을 검토합니다.

9. 탐색 메뉴에서 Cloud Storage > 버킷을 클릭한 후 버킷을 클릭합니다.

10. javahelp 디렉터리를 클릭합니다.

이 작업으로 output.txt 파일이 생성됩니다. 파일이 일정 크기 이상이면 output-0000x-of-000y와 같은 이름이 지정된 여러 부분으로 샤딩됩니다. 이름 또는 최종 수정 시간 필드를 보고 최근 파일을 식별할 수 있습니다.

11. 보려는 파일을 클릭합니다.

또는 training-vm SSH 터미널을 통해 파일을 다운로드하여 볼 수 있습니다.

gcloud storage cp gs://$BUCKET/javahelp/output* . cat output*

실습 종료하기

실습을 완료하면 실습 종료를 클릭합니다. Google Cloud Skills Boost에서 사용된 리소스를 자동으로 삭제하고 계정을 지웁니다.

실습 경험을 평가할 수 있습니다. 해당하는 별표 수를 선택하고 의견을 입력한 후 제출을 클릭합니다.

별점의 의미는 다음과 같습니다.

• 별표 1개 = 매우 불만족
• 별표 2개 = 불만족
• 별표 3개 = 중간
• 별표 4개 = 만족
• 별표 5개 = 매우 만족

의견을 제공하고 싶지 않다면 대화상자를 닫으면 됩니다.

의견이나 제안 또는 수정할 사항이 있다면 지원 탭을 사용하세요.

Copyright 2026 Google LLC All rights reserved. Google 및 Google 로고는 Google LLC의 상표입니다. 기타 모든 회사명 및 제품명은 해당 업체의 상표일 수 있습니다.