개요

BigQuery 페더레이션 쿼리 이 실습에서는 BigQuery 내에서 운영 데이터베이스를 직접 쿼리하여 실시간 인사이트를 얻을 수 있는 페더레이션 쿼리에 대해 살펴봅니다. BigQuery를 PostgreSQL용 AlloyDB 데이터베이스에 연결하는 방법도 배웁니다. 이를 통해 복잡하고 시간이 오래 걸리는 ETL 파이프라인 없이도 과거 분석 데이터와 실시간 트랜잭션 데이터를 조인할 수 있게 됩니다. 이 실습에서는 포괄적인 분석을 위해 서로 다른 시스템의 데이터를 통합하는 최신 데이터 레이크하우스의 핵심 기능을 확인할 수 있습니다.

먼저 웹 로그 데이터가 포함된 샘플 AlloyDB 인스턴스에 안전하게 연결되는 외부 연결을 BigQuery에서 구성합니다. 다음으로 방금 만든 연결에 AlloyDB를 쿼리할 권한을 부여합니다. 마지막으로 EXTERNAL_QUERY 함수를 사용하여 SQL 쿼리를 구성합니다. 이 강력한 함수를 사용하면 AlloyDB 데이터베이스에 대해 쿼리를 실행하고 그 결과를 BigQuery 환경 내의 임시 테이블로 취급할 수 있습니다.

핵심 작업은 BigQuery에 기본적으로 저장된 고객 데이터 세트를 AlloyDB의 실시간 웹 로그 데이터와 조인하는 단일 페더레이션 쿼리를 작성하는 것입니다. 이 기법을 익히면 심층적인 과거 컨텍스트와 즉각적인 운영 인식을 결합하는 정교한 실시간 사용 사례를 활용할 수 있습니다. 예를 들어 Cymbal E-commerce는 이 접근방식을 사용하여 '지금까지 가장 많은 지출을 한 고객이 웹사이트에서 무엇을 보고 있었는가?'라는 비즈니스 질문에 답할 수 있습니다.

실습할 내용

• BigQuery에서 AlloyDB에 대한 연결을 만듭니다.
• IAM 역할을 통해 연결 서비스 계정에 AlloyDB 권한을 부여합니다.
• EXTERNAL_QUERY SQL 함수로 쿼리를 작성합니다.
• 쿼리를 실행하고 결과를 검토합니다.

설정 및 요건

실습 시작 버튼을 클릭하기 전에

다음 안내를 확인하세요. 실습에는 시간 제한이 있으며 일시중지할 수 없습니다. 실습 시작을 클릭하면 타이머가 시작됩니다. 이 타이머는 Google Cloud 리소스를 사용할 수 있는 시간이 얼마나 남았는지를 표시합니다.

실무형 실습을 통해 시뮬레이션이나 데모 환경이 아닌 실제 클라우드 환경에서 직접 실습 활동을 진행할 수 있습니다. 실습 시간 동안 Google Cloud에 로그인하고 액세스하는 데 사용할 수 있는 새로운 임시 사용자 인증 정보가 제공됩니다.

필요한 사항

이 실습을 완료하려면 다음이 필요합니다.

• 표준 인터넷 브라우저(Chrome 브라우저 권장)
• 실습을 끝까지 진행할 수 있는 충분한 시간

Google Cloud 콘솔에 로그인

1. 이 실습 세션에 사용하는 브라우저 탭 또는 창을 활용해 연결 세부정보 패널에서 사용자 이름을 복사하고 Google 콘솔 열기 버튼을 클릭합니다.

2. 안내에 따라 사용자 이름과 비밀번호를 붙여넣습니다.
3. 다음을 클릭합니다.
4. 이용약관에 동의합니다.

임시 계정이므로 이 실습이 진행되는 동안만 계정이 유지됩니다.

• 복구 옵션을 추가하지 않습니다.
• 무료 체험판을 신청하지 않습니다.

5. 콘솔이 열리면 왼쪽 상단의 탐색 메뉴()를 클릭해 서비스 목록을 확인합니다.

필요한 API 확인 또는 사용 설정

1. Google Cloud 콘솔의 상단 검색창에 BigQuery Connection API를 입력합니다.

2. 검색 결과에서 BigQuery Connection API를 클릭합니다.

3. API가 아직 사용 설정되지 않은 경우 사용 설정을 클릭하여 API를 사용 설정합니다.

작업 1. AlloyDB에 대한 연결 만들기

이 작업에서는 BigQuery에서 사용할 수 있도록 AlloyDB에 대한 새 연결을 만듭니다.

연결 만들기

1. Google Cloud 콘솔의 탐색 메뉴()에서 BigQuery > Studio로 이동합니다.

2. 탐색기에서 + 데이터 추가를 클릭합니다.

3. 왼쪽의 데이터 소스 유형 아래에서 데이터베이스를 선택합니다.

4. 추천 데이터 소스 아래의 플라이아웃 오른쪽에서 Google Cloud AlloyDB 카드를 클릭합니다.

5. 결과로 표시된 카드 중에서 BigQuery 제휴를 클릭합니다.

6. 외부 데이터 소스 입력 화면에서 다음 값을 사용합니다.

7. 연결 만들기를 클릭합니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. AlloyDB에 대한 연결 만들기

작업 2. 연결 서비스 계정에 대한 IAM 권한 설정

AlloyDB의 데이터에 액세스하려면 연결 시 자동으로 생성된 서비스 계정에 AlloyDB에 대한 권한을 부여해야 합니다.

IAM 권한 설정

1. BigQuery 기존 탐색기 패널에서 실습 프로젝트 ID 항목을 펼칩니다.

2. 이제 연결 항목을 펼칩니다.

3. 방금 만든 항목을 클릭합니다. 연결 세부정보가 오른쪽의 기본 패널에 표시됩니다. 서비스 계정 ID에 나열된 항목을 복사합니다. 예를 들면 다음과 같습니다. service-164632061610@gcp-sa-bigqueryconnection.iam.gserviceaccount.com

4. 탐색 메뉴에서 IAM 및 관리자를 선택하고, 플라이아웃 하위 메뉴에서 IAM을 선택합니다.

5. + 액세스 권한 부여를 클릭합니다.

6. 새 보안 주체에 3단계에서 복사한 연결 서비스 계정 ID를 붙여넣습니다.

7. 역할 선택 드롭다운을 클릭합니다. 표시되는 필터 영역에 AlloyDB를 입력합니다. AlloyDB 클라이언트가 표시될 때까지 스크롤한 다음 선택합니다.

8. 다른 역할 추가를 클릭합니다.

9. 새 역할 선택 드롭다운을 클릭합니다. 표시되는 필터 영역에 BigQuery를 입력합니다. BigQuery 연결 사용자가 표시될 때까지 스크롤한 다음 선택합니다.

10. 화면의 하단에서 저장 버튼을 클릭합니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. 연결 서비스 계정에 대한 IAM 권한 설정

작업 3. BigQuery에서 페더레이션 쿼리 실행

이 작업에서는 BigQuery의 Cymbal 고객 정보와 AlloyDB의 웹 로그 정보를 결합하는 쿼리를 실행합니다.

1. Google Cloud 콘솔의 탐색 메뉴()에서 BigQuery > Studio로 이동합니다.

2. BigQuery 기존 탐색기 패널에서 실습 프로젝트 ID 항목을 펼칩니다.

3. 이제 연결 항목을 펼칩니다.

4. 자신이 만든 연결의 오른쪽에 있는 세로 점 3개를 클릭합니다. 쿼리를 선택합니다.

5. 쿼리의 EXTERNAL_QUERY 부분에 있는 SELECT 문을 다음 코드로 바꿔 쿼리를 업데이트합니다. 전체 쿼리를 바꾸지 말고 " " 표시 사이의 EXTERNAL_QUERY 블록 부분만 바꿉니다.

   SELECT customer_id, CAST(log_id AS VARCHAR(200)) AS log_id, timestamp, url FROM web_log LIMIT 100

6. 실행을 클릭합니다. BigQuery에서 실행했지만 반환된 데이터는 AlloyDB에서 가져온 것입니다.

7. 이제 쿼리를 확장하여 BigQuery 기본 테이블의 데이터와 AlloyDB의 데이터를 결합해 보겠습니다.

8. 현재 쿼리를 다음 코드로 바꿉니다.

   WITH log AS ( SELECT customer_id, log_id, timestamp, url FROM EXTERNAL_QUERY("{{{project_0.project_id | Project ID}}}.{{{project_0.default_region | Region}}}.AlloyDB-weblog", "SELECT customer_id, CAST(log_id AS VARCHAR(200)) AS log_id, timestamp, url FROM web_log LIMIT 100")) SELECT log.customer_id , log.timestamp , log.url , C.* FROM customers.customer_details AS C INNER JOIN log ON C.id = log.customer_id ORDER BY C.id LIMIT 100;

9. 실행을 클릭합니다. 반환된 데이터는 AlloyDB의 데이터와 BigQuery의 데이터를 결합한 것입니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. BigQuery에서 페더레이션 쿼리 실행

수고하셨습니다

BigQuery가 AlloyDB에 저장된 데이터에 액세스하고 이를 처리할 수 있도록 BigQuery 외부 연결을 설정하고 사용했습니다.