개요

이 실습에서 학습할 내용은 다음과 같습니다.

• 커스텀 파이프라인을 커스텀 Dataflow Flex 템플릿으로 변환합니다.
• Dataflow Flex 템플릿을 실행합니다.

기본 요건:

• Python에 대한 기본 지식

명령줄 파라미터를 지원하는 파이프라인은 파라미터가 하드 코딩된 파이프라인보다 훨씬 활용도가 높습니다. 다만 이 파이프라인을 실행하려면 개발 환경을 먼저 구성해야 합니다. 여러 사용자나 다양한 환경에서 반복 실행할 것으로 예상되는 파이프라인의 경우 Dataflow 템플릿을 사용하는 것이 더 나은 옵션입니다.

Google Cloud Platform에는 이미 다양한 Dataflow 템플릿이 제공되고 있으며, Google 제공 템플릿 시작하기 가이드에서 자세히 살펴볼 수 있습니다. 하지만 이 실습의 파이프라인과 동일한 기능을 제공하지는 않습니다. 대신 이 실습에서는 파이프라인을 기존 커스텀 템플릿이 아닌 최신 커스텀 Dataflow Flex 템플릿으로 변환합니다.

파이프라인을 커스텀 Dataflow Flex 템플릿으로 변환하려면 코드와 종속 항목을 패키징하는 Docker 컨테이너, 빌드할 코드를 설명하는 Dockerfile, 런타임에 실행되어 실제 작업을 생성하는 기본 컨테이너를 빌드하는 Cloud Build, 작업 파라미터를 설명하는 메타데이터 파일을 사용해야 합니다.

설정 및 요건

실습 설정

각 실습에서는 정해진 기간 동안 새 Google Cloud 프로젝트와 리소스 집합이 무료로 제공됩니다.

1. 시크릿 창을 사용하여 Google Skills에 로그인합니다.

2. 실습 사용 가능 시간(예: 1:15:00)을 참고하여 해당 시간 내에 완료합니다. 일시중지 기능은 없습니다. 필요한 경우 다시 시작할 수 있지만 처음부터 시작해야 합니다.

3. 준비가 되면 실습 시작을 클릭합니다.

4. 실습 사용자 인증 정보(사용자 이름 및 비밀번호)를 기록해 두세요. Google Cloud Console에 로그인합니다.

5. Google Console 열기를 클릭합니다.

6. 다른 계정 사용을 클릭한 다음, 안내 메시지에 이 실습에 대한 사용자 인증 정보를 복사하여 붙여넣습니다. 다른 사용자 인증 정보를 사용하는 경우 오류가 발생하거나 요금이 부과됩니다.

7. 약관에 동의하고 리소스 복구 페이지를 건너뜁니다.

프로젝트 권한 확인

Google Cloud에서 작업을 시작하기 전에 프로젝트가 Identity and Access Management(IAM) 내에서 올바른 권한을 보유하고 있는지 확인해야 합니다.

1. Google Cloud 콘솔의 탐색 메뉴()에서 IAM 및 관리자 > IAM을 선택합니다.

2. 기본 컴퓨팅 서비스 계정 {project-number}-compute@developer.gserviceaccount.com이 있고 editor 역할이 할당되어 있는지 확인하세요. 계정 프리픽스는 프로젝트 번호이며, 이 번호는 탐색 메뉴 > Cloud 개요 > 대시보드에서 확인할 수 있습니다.

참고: 계정이 IAM에 없거나 editor 역할이 없는 경우 다음 단계에 따라 필요한 역할을 할당합니다.

1. Google Cloud 콘솔의 탐색 메뉴에서 Cloud 개요 > 대시보드를 클릭합니다.
2. 프로젝트 번호(예: 729328892908)를 복사합니다.
3. 탐색 메뉴에서 IAM 및 관리자 > IAM을 선택합니다.
4. 역할 테이블 상단에서 주 구성원별로 보기 아래에 있는 액세스 권한 부여를 클릭합니다.
5. 새 주 구성원 필드에 다음을 입력합니다.

{project-number}-compute@developer.gserviceaccount.com

6. {project-number}는 프로젝트 번호로 바꿉니다.
7. 역할 필드에서 프로젝트(또는 기본) > 편집자를 선택합니다.
8. 저장을 클릭합니다.

1. Google Cloud 콘솔의 탐색 메뉴()에서 Vertex AI를 선택합니다.

2. 모든 권장 API 사용 설정을 클릭합니다.

3. 탐색 메뉴에서 Workbench를 클릭합니다.

   Workbench 페이지 상단에서 인스턴스 뷰에 있는지 확인합니다.

4. 새로 만들기를 클릭합니다.

5. 인스턴스를 구성합니다.

   • 이름: lab-workbench
   • 리전: 리전을 (으)로 설정합니다.
   • 영역: 영역을 (으)로 설정합니다.
   • 고급 옵션(선택사항): 필요한 경우 '고급 옵션'을 클릭하여 추가로 맞춤설정(예: 머신 유형, 디스크 크기)할 수 있습니다.

6. 만들기를 클릭합니다.

인스턴스를 만드는 데 몇 분 정도 걸립니다. 준비되면 이름 옆에 녹색 체크표시가 나타납니다.

7. 인스턴스 이름 옆에 있는 JupyterLab 열기를 클릭하여 JupyterLab 인터페이스를 실행합니다. 그러면 브라우저에서 새 탭이 열립니다.

8. 이어서 터미널을 클릭합니다. 이 실습의 모든 명령어를 실행할 수 있는 터미널이 열립니다.

코드 저장소 다운로드

다음으로 이 실습에서 사용할 코드 저장소를 다운로드합니다.

1. 방금 연 터미널에서 다음을 입력합니다.

git clone https://github.com/GoogleCloudPlatform/training-data-analyst cd /home/jupyter/training-data-analyst/quests/dataflow_python/

2. 노트북 환경의 왼쪽 패널에 있는 파일 브라우저에서 training-data-analyst 저장소가 추가된 것을 확인할 수 있습니다.

3. 클론된 저장소인 /training-data-analyst/quests/dataflow_python/으로 이동합니다. 각 실습의 폴더가 표시됩니다. 이 폴더는 사용자가 완료해야 하는 코드가 포함된 lab 하위 폴더와, 문제 발생 시 참고할 수 있는 정상 작동 예시가 포함된 solution 하위 폴더로 나뉩니다.

참고: 수정할 파일을 열려면 해당 파일로 이동하여 클릭합니다. 클릭하면 파일이 열리고 여기에서 코드를 추가하거나 수정할 수 있습니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. 노트북 인스턴스 만들기 및 과정 저장소 클론하기

작업 1. 파이프라인 설정

이 실습에서는 브랜칭 파이프라인 실습(솔루션 폴더)의 기존 파이프라인 코드를 활용합니다.

해당 실습 열기

• Jupyterlab 환경의 터미널에서 다음 명령어를 실행합니다.

cd 2_Branching_Pipelines/lab export BASE_DIR=$(pwd)

환경 및 종속 항목 설정

실제 파이프라인 코드를 편집하기 전에 필요한 종속 항목이 설치되어 있는지 확인해야 합니다.

1. 이전에 IDE 환경에서 열었던 터미널로 돌아간 다음 이 실습에서 사용할 가상 환경을 만듭니다.

sudo apt-get update && sudo apt-get install -y python3-venv python3 -m venv df-env source df-env/bin/activate

2. 다음으로 파이프라인을 실행하는 데 필요한 패키지를 설치합니다.

python3 -m pip install -q --upgrade pip setuptools wheel python3 -m pip install apache-beam[gcp]

3. 마지막으로 Dataflow API가 사용 설정되어 있는지 확인합니다.

gcloud services enable dataflow.googleapis.com

데이터 환경 설정

• 데이터 환경 설정:

# Create GCS buckets and BQ dataset cd $BASE_DIR/../.. source create_batch_sinks.sh # Generate event dataflow source generate_batch_events.sh # Change to the directory containing the practice version of the code cd $BASE_DIR

파이프라인 코드 업데이트

• IDE에서 솔루션 파일을 사용하여 my_pipeline.py 파일을 업데이트합니다. 솔루션 파일은 training-data-analyst/quests/dataflow_python/2_Branching_Pipelines/solution/에서 찾을 수 있습니다.

cp /home/jupyter/training-data-analyst/quests/dataflow_python/2_Branching_Pipelines/solution/my_pipeline.py $BASE_DIR

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. 데이터 환경 설정

작업 2. 커스텀 Dataflow Flex 템플릿 컨테이너 이미지 만들기

1. 먼저 Kaniko 캐시 사용을 기본으로 사용 설정합니다. Kaniko는 컨테이너 빌드 아티팩트를 캐시하므로 이 옵션을 사용하면 후속 빌드 속도가 빨라집니다. 또한 pip3 freeze를 사용하여 환경에서 사용 중인 패키지와 버전을 기록합니다.

gcloud config set builds/use_kaniko True

2. 다음으로 Dockerfile을 만듭니다. 이를 통해 사용할 코드와 종속 항목을 지정합니다.

   a. 이 작업을 완료하려면 IDE의 파일 탐색기에서 dataflow_python/2_Branching_Pipelines/lab 폴더에 새 파일을 만듭니다.

   b. 새 파일을 만들려면 파일 >> 새 파일 >> 텍스트 파일을 클릭합니다.

   c. 파일을 마우스 오른쪽 버튼으로 클릭하여 파일 이름을 Dockerfile로 변경합니다.

   d. 편집기 패널에서 Dockerfile 파일을 클릭하여 엽니다.

   e. 아래 코드를 Dockerfile 파일에 복사한 후 저장합니다.

FROM gcr.io/dataflow-templates-base/python3-template-launcher-base ARG WORKDIR=/dataflow/template RUN mkdir -p ${WORKDIR} WORKDIR ${WORKDIR} RUN apt-get update && apt-get install -y libffi-dev && rm -rf /var/lib/apt/lists/* COPY my_pipeline.py . ENV FLEX_TEMPLATE_PYTHON_PY_FILE="${WORKDIR}/my_pipeline.py" RUN python3 -m pip install apache-beam[gcp]==2.60.0

3. 마지막으로 Cloud Build를 사용하여 컨테이너 이미지를 빌드합니다.

export PROJECT_ID=$(gcloud config get-value project) export TEMPLATE_IMAGE="gcr.io/$PROJECT_ID/dataflow/my_pipeline:latest" gcloud builds submit --tag $TEMPLATE_IMAGE .

컨테이너를 빌드하고 푸시하는 데 몇 분 정도 걸릴 수 있습니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. 커스텀 Dataflow Flex 템플릿 컨테이너 이미지 만들기

작업 3. Flex 템플릿 만들기 및 스테이징

1. 템플릿을 실행하려면 SDK 정보, 메타데이터 등 작업을 실행하는 데 필요한 모든 정보가 포함된 템플릿 사양 파일을 Cloud Storage에 만들어야 합니다.

   a. IDE의 파일 탐색기에서 dataflow_python/2_Branching_Pipelines/lab 폴더에 새 파일을 만듭니다.

   b. 새 파일을 만들려면 파일 >> 새 파일 >> 텍스트 파일을 클릭합니다.

   c. 파일을 마우스 오른쪽 버튼으로 클릭하여 파일 이름을 metadata.json로 변경합니다.

   d. 편집기 패널에서 metadata.json 파일을 엽니다. 파일을 열려면 metadata.json 파일을 마우스 오른쪽 버튼으로 클릭한 다음 다음으로 열기 >> 편집기를 선택합니다.

   e. 이 작업을 완료하려면 파이프라인이 예상하는 모든 입력 파라미터를 포함하도록 다음 형식으로 metadata.json 파일을 만들어야 합니다. 필요한 경우 솔루션을 참고하세요. 이를 위해서는 파라미터 정규 표현식 검사를 직접 작성해야 합니다. 권장사항은 아니지만 ".*"는 어떤 입력과도 일치할 수 있습니다.

{ "name": "Your pipeline name", "description": "Your pipeline description", "parameters": [ { "name": "inputPath", "label": "Input file path.", "helpText": "Path to events.json file.", "regexes": [ ".*\\.json" ] }, { "name": "outputPath", "label": "Output file location", "helpText": "GCS Coldline Bucket location for raw data", "regexes": [ "gs:\\/\\/[a-zA-z0-9\\-\\_\\/]+" ] }, { "name": "tableName", "label": "BigQuery output table", "helpText": "BigQuery table spec to write to, in the form 'project:dataset.table'.", "is_optional": true, "regexes": [ "[^:]+:[^.]+[.].+" ] } ] }

2. 이어서 실제 템플릿을 빌드하고 스테이징합니다.

export PROJECT_ID=$(gcloud config get-value project) export TEMPLATE_PATH="gs://${PROJECT_ID}/templates/mytemplate.json" # Will build and upload the template to GCS gcloud dataflow flex-template build $TEMPLATE_PATH \ --image "$TEMPLATE_IMAGE" \ --sdk-language "PYTHON" \ --metadata-file "metadata.json"

3. 파일이 Cloud Storage의 템플릿 위치에 업로드되었는지 확인합니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. Flex 템플릿 만들기 및 스테이징

작업 4. UI를 통한 템플릿 실행

이 작업을 완료하려면 아래의 안내를 따르세요.

1. Google Cloud 콘솔의 Dataflow 페이지로 이동합니다.

2. 템플릿에서 작업 생성을 클릭합니다.

3. 작업 이름 필드에 작업 이름을 입력합니다.

4. 리전 엔드포인트를 (으)로 설정합니다.

5. Dataflow 템플릿 드롭다운 메뉴에서 커스텀 템플릿을 선택합니다.

6. 템플릿 파일의 Cloud Storage 경로를 템플릿 Cloud Storage 경로 필드에 입력합니다.

7. 필수 파라미터 아래에 해당 항목을 입력합니다.

   a. 입력 파일 경로에 값을 입력합니다.

   b. 출력 파일 위치에 값을 입력합니다.

   c. BigQuery 출력 테이블에 값을 입력합니다.

8. 작업 실행을 클릭합니다.

참고: 스테이징 버킷을 지정할 필요 없이 Dataflow는 프로젝트 번호를 사용하여 프로젝트에 비공개 버킷을 만듭니다. 예:

9. Compute Engine 콘솔을 살펴보면 컨테이너를 실행하고 제공된 파라미터로 파이프라인을 시작하기 위해 생성된 임시 런처 VM이 표시됩니다.

작업 5. gcloud를 사용하여 템플릿 실행

Dataflow 템플릿을 사용하면 개발 환경 외에도 더 다양한 컨텍스트에서 템플릿을 실행할 수 있다는 이점이 있습니다. 직접 확인해 보기 위해 gcloud를 사용하여 명령줄에서 Dataflow 템플릿을 실행합니다.

1. 이 작업을 완료하려면 터미널에서 다음 명령어를 실행하고 필요에 따라 파라미터를 수정합니다.

export PROJECT_ID=$(gcloud config get-value project) export REGION={{{project_0.startup_script.lab_region|Region}}} export JOB_NAME=mytemplate-$(date +%Y%m%H%M$S) export TEMPLATE_LOC=gs://${PROJECT_ID}/templates/mytemplate.json export INPUT_PATH=gs://${PROJECT_ID}/events.json export OUTPUT_PATH=gs://${PROJECT_ID}-coldline/template_output/ export BQ_TABLE=${PROJECT_ID}:logs.logs_filtered gcloud dataflow flex-template run ${JOB_NAME} \ --region=$REGION \ --template-file-gcs-location ${TEMPLATE_LOC} \ --parameters "inputPath=${INPUT_PATH},outputPath=${OUTPUT_PATH},tableName=${BQ_TABLE}"

2. 파이프라인이 성공적으로 완료되었는지 확인합니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. UI 및 gcloud를 통한 템플릿 실행

실습 종료하기

실습을 완료하면 실습 종료를 클릭합니다. Google Skills에서 사용된 리소스를 자동으로 삭제하고 계정을 지웁니다.

실습 경험을 평가할 수 있습니다. 해당하는 별표 수를 선택하고 의견을 입력한 후 제출을 클릭합니다.

별점의 의미는 다음과 같습니다.

• 별표 1개 = 매우 불만족
• 별표 2개 = 불만족
• 별표 3개 = 중간
• 별표 4개 = 만족
• 별표 5개 = 매우 만족

의견을 제공하고 싶지 않다면 대화상자를 닫으면 됩니다.

의견이나 제안 또는 수정할 사항이 있다면 지원 탭을 사용하세요.

Copyright 2026 Google LLC All rights reserved. Google 및 Google 로고는 Google LLC의 상표입니다. 기타 모든 회사명 및 제품명은 해당 업체의 상표일 수 있습니다.