GENAI110

개요

에이전트 개발 키트(ADK)는 AI 에이전트를 빌드하기 위한 확장 가능한 모듈식 오픈소스 프레임워크입니다. ADK는 자체 기본 평가 모듈을 제공하지만 이 실습에서는 Agent Platform Gen AI Evaluation Service를 사용하여 ADK 기반 에이전트의 성능을 평가하는 방법을 살펴봅니다. 이 방식은 커스텀 측정항목과 인간 중심 벤치마크를 사용하여 생성 모델 또는 애플리케이션을 평가할 수 있는 보다 광범위하고 설명 가능하며 품질이 관리되는 툴킷을 제공합니다.

이 실습에서는 단계별 안내에 따라 Agent Platform Gen AI Evaluation Service를 사용하여 ADK 에이전트를 평가해 보겠습니다.

이 실습은 GoogleCloudPlatform/generative-ai 저장소의 이 노트북을 기반으로 합니다.

목표

이 실습에서는 다음 작업을 수행하는 방법을 알아봅니다.

• 로컬 ADK 에이전트를 빌드하고 실행합니다.
• 에이전트 평가 데이터 세트를 만들고 형식을 지정합니다.
• 다음을 사용하여 에이전트 성능을 평가합니다.
  • 단일 도구 사용 평가
  • 궤적 기반 평가
  • 대답 품질 평가
• Agent Platform의 Evaluation Service를 사용하여 설명 가능한 측정항목을 생성하고 결과를 벤치마킹합니다.

설정 및 요건

실습 시작 버튼을 클릭하기 전에

다음 안내를 확인하세요. 실습에는 시간 제한이 있으며 일시중지할 수 없습니다. 실습 시작을 클릭하면 타이머가 시작됩니다. 이 타이머는 Google Cloud 리소스를 사용할 수 있는 시간이 얼마나 남았는지를 표시합니다.

실무형 실습을 통해 시뮬레이션이나 데모 환경이 아닌 실제 클라우드 환경에서 실습 활동을 진행할 수 있습니다. 실습 시간 동안 Google Cloud에 로그인하고 액세스하는 데 사용할 수 있는 새로운 임시 사용자 인증 정보가 제공됩니다.

이 실습을 완료하려면 다음이 필요합니다.

• 표준 인터넷 브라우저 액세스 권한(Chrome 브라우저 권장)

참고: 이 실습을 실행하려면 시크릿 모드(권장) 또는 시크릿 브라우저 창을 사용하세요. 개인 계정과 학습자 계정 간의 충돌로 개인 계정에 추가 요금이 발생하는 일을 방지해 줍니다.

• 실습을 완료하기에 충분한 시간(실습을 시작하고 나면 일시중지할 수 없음)

참고: 이 실습에는 학습자 계정만 사용하세요. 다른 Google Cloud 계정을 사용하는 경우 해당 계정에 비용이 청구될 수 있습니다.

실습을 시작하고 Google Cloud 콘솔에 로그인하는 방법

1. 실습 시작 버튼을 클릭합니다. 실습 비용을 결제해야 하는 경우 결제 수단을 선택할 수 있는 대화상자가 열립니다. 왼쪽에는 다음과 같은 항목이 포함된 실습 세부정보 창이 있습니다.

   • Google Cloud 콘솔 열기 버튼
   • 남은 시간
   • 이 실습에 사용해야 하는 임시 사용자 인증 정보
   • 필요한 경우 실습 진행을 위한 기타 정보

2. Google Cloud 콘솔 열기를 클릭합니다(Chrome 브라우저를 실행 중인 경우 마우스 오른쪽 버튼으로 클릭하고 시크릿 창에서 링크 열기를 선택합니다).

   실습에서 리소스가 가동되면 다른 탭이 열리고 로그인 페이지가 표시됩니다.

   팁: 두 개의 탭을 각각 별도의 창으로 나란히 정렬하세요.

   참고: 계정 선택 대화상자가 표시되면 다른 계정 사용을 클릭합니다.

3. 필요한 경우 아래의 사용자 이름을 복사하여 로그인 대화상자에 붙여넣습니다.

   {{{user_0.username | "Username"}}}

   실습 세부정보 창에서도 사용자 이름을 확인할 수 있습니다.

4. 다음을 클릭합니다.

5. 아래의 비밀번호를 복사하여 시작하기 대화상자에 붙여넣습니다.

   {{{user_0.password | "Password"}}}

   실습 세부정보 창에서도 비밀번호를 확인할 수 있습니다.

6. 다음을 클릭합니다.

   중요: 실습에서 제공하는 사용자 인증 정보를 사용해야 합니다. Google Cloud 계정 사용자 인증 정보를 사용하지 마세요. 참고: 이 실습에 자신의 Google Cloud 계정을 사용하면 추가 요금이 발생할 수 있습니다.

7. 이후에 표시되는 페이지를 클릭하여 넘깁니다.

   • 이용약관에 동의하세요.
   • 임시 계정이므로 복구 옵션이나 2단계 인증을 추가하지 마세요.
   • 무료 체험판을 신청하지 마세요.

잠시 후 Google Cloud 콘솔이 이 탭에서 열립니다.

참고: Google Cloud 제품 및 서비스에 액세스하려면 탐색 메뉴를 클릭하거나 검색창에 제품 또는 서비스 이름을 입력합니다.

작업 1. Agent Platform Workbench에서 환경 준비

1. Google Cloud 콘솔의 탐색 메뉴()에서 Agent Platform > Notebooks > Workbench를 선택합니다.

2. API 사용 설정을 클릭한 다음 사용 설정을 클릭하여 확인합니다.

3. 인스턴스에서 vertex-ai-jupyterlab 인스턴스 옆에 있는 JupyterLab 열기를 클릭합니다. JupyterLab이 새 탭에서 실행됩니다.

4. JupyterLab 런처 페이지에서 Terminal(터미널)을 클릭하여 셸을 엽니다.

5. 다음 명령어를 사용하여 이 실습의 노트북과 도우미 파일을 다운로드합니다.

   gcloud storage cp gs://{{{project_0.project_id| YOUR_GCP_PROJECT_ID}}}-bucket/* .

6. 파일을 엽니다.

7. 커널 선택 대화상자에서 사용 가능한 커널 목록 중 Python 3(로컬)을 선택합니다.

8. 에이전트 개발 키트(ADK) 및 기타 필수 패키지 설치라는 헤더의 첫 번째 코드 셀을 실행하여 종속 항목을 설치합니다. 셀을 실행하려면 상단의 재생 버튼을 클릭하거나 셀을 강조 표시하고, 키보드에서 Shift+Enter를 누릅니다.

9. 새로 설치된 패키지를 이 Jupyter 런타임에서 사용하려면 커널을 다시 시작해야 합니다. 셀 옆에 있는 [*]이 [1]로 변경되어 셀이 완료되었음을 나타낼 때까지 기다린 다음, JupyterLab 메뉴에서 Kernel(커널) > Restart Kernel and Clear Outputs of All Cells…(커널 다시 시작 및 모든 셀의 출력 지우기)를 선택합니다.

10. 확인 메시지가 표시되면 Restart(다시 시작)를 선택합니다.

11. 커널이 다시 시작되면 Google Cloud 프로젝트 정보 설정에서 다음 셀을 실행하여 Google Cloud 프로젝트 정보를 설정하고 Agent Platform을 초기화합니다.

12. 노트북의 라이브러리 가져오기 섹션에서 다음 셀을 실행합니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. Google Cloud 프로젝트 정보 설정

작업 2. 나머지 노트북 읽고 실행

노트북의 셀을 읽고 실행합니다. 이 섹션에서는 다음을 수행합니다.

• 도구를 설정하여 에이전트가 나중에 도구로 사용할 get_product_details() 및 get_product_price() 함수를 정의합니다.
• 모델을 설정하여 에이전트가 사용할 Gemini 모델을 정의합니다.
• Agent를 빌드하는 함수를 정의하고, 위에서 정의한 도구를 제공하고, 이를 사용하여 쿼리에 대한 대답을 생성해 에이전트를 조합합니다.
• 에이전트를 테스트하여, 호출된 함수를 인용하는 마크다운 형식의 출력을 포함한 몇 가지 대답 예시를 확인합니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. ADK 에이전트 빌드

• Agent Platform 생성형 AI 평가 서비스를 사용하여 ADK 에이전트 평가에 대해 자세히 알아봅니다.
• 프롬프트와 예상 도구 호출(참조 궤적) 집합으로 구성된 에이전트 평가 데이터 세트를 준비합니다.
• 단일 도구 사용 평가를 실행하여 에이전트가 특정 작업에 적합한 단일 도구를 선택하는지 확인합니다.
• 궤적 평가를 실행하여 에이전트가 올바른 도구를 선택할 뿐만 아니라 의도한 순서로 도구를 활용하는지 평가합니다.
• 평가 결과를 시각화하는 방법을 알아봅니다.
• 커스텀 측정항목을 정의하고 이를 기반으로 평가하는 방법을 알아봅니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. Agent Platform 생성형 AI 평가 서비스를 사용하여 ADK 에이전트 평가

• 보너스 BYOD(Bring-Your-Own-Dataset) 섹션에서는 이러한 대답이 포함된 평가 데이터 세트를 제공하여, 다른 곳에서 생성된 에이전트 대답을 평가하는 방법을 설명합니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. 생성형 AI를 사용하여 LangGraph 에이전트의 BYOD 평가 수행

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. 실험 정리

수고하셨습니다

Agent Platform Gen AI Evaluation Service를 사용하여 ADK 에이전트를 평가했습니다. 에이전트를 로컬에서 빌드하고 실행했으며, 커스텀 평가 데이터 세트를 준비했고, 기본 제공 평가 도구를 사용하여 에이전트의 도구 사용, 작업 궤적, 최종 대답 품질을 평가했습니다.

다음은 에이전트 평가에 사용한 구성요소입니다.

• 에이전트를 빌드하고 실행하기 위한 ADK(에이전트 개발 키트)
• 예상 도구 사용 및 참조가 포함된 정형 평가 데이터 세트
• Agent Platform Gen AI Evaluation Service
• 도구 사용 평가 측정항목
• 단계별 정확성을 위한 궤적 일치
• 커스텀 측정항목 평가

설명서 최종 업데이트: 2026년 8월 28일

실습 최종 테스트: 2026년 8월 28일

Copyright 2026 Google LLC. All rights reserved. Google 및 Google 로고는 Google LLC의 상표입니다. 기타 모든 회사명 및 제품명은 해당 업체의 상표일 수 있습니다.