GENAI110

Visão geral

O Kit de Desenvolvimento de Agente (ADK, na sigla em inglês) é um framework modular e extensível de código aberto para criar agentes de IA. Embora o ADK forneça um módulo de avaliação integrado, este laboratório demonstra como usar o Serviço de Avaliação de IA Generativa da Agent Platform para avaliar o desempenho de um agente com base no ADK. Essa abordagem oferece um kit de ferramentas mais amplo, explicável e controlado por qualidade para avaliar modelos ou aplicativos generativos usando métricas personalizadas e benchmarks alinhados a critérios humanos.

Neste laboratório, você vai seguir um guia explicativo para avaliar seu agente do ADK usando a Avaliação de IA Generativa da Agent Platform.

Este laboratório foi criado com base neste notebook do repositório GoogleCloudPlatform/generative-ai (links em inglês).

Objetivo

Neste laboratório, você aprenderá a fazer o seguinte:

• Construir e executar um agente local do ADK.
• Criar e formatar um conjunto de dados de avaliação do agente.
• Avaliar o desempenho do agente usando:
  • Avaliação do uso de uma única ferramenta.
  • Avaliação com base na trajetória.
  • Avaliação da qualidade da resposta.
• Usar o Serviço de Avaliação da Agent Platform para gerar métricas explicáveis e os resultados do benchmark.

Configuração e requisitos

Antes de clicar no botão "Começar o Laboratório"

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é ativado quando você clica em Iniciar laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, e não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome).

• Tempo para concluir o laboratório: não se esqueça que, depois de começar, não será possível pausar o laboratório.

Como iniciar seu laboratório e fazer login no console do Google Cloud

1. Clique no botão Começar o laboratório. Se for preciso pagar por ele, uma caixa de diálogo vai aparecer para você selecionar a forma de pagamento. No painel Detalhes do Laboratório, à esquerda, você vai encontrar o seguinte:

   • O botão Abrir Console do Google Cloud
   • O tempo restante
   • As credenciais temporárias que você vai usar neste laboratório
   • Outras informações, se forem necessárias

2. Se você estiver usando o navegador Chrome, clique em Abrir console do Google Cloud ou clique com o botão direito do mouse e selecione Abrir link em uma janela anônima.

   O laboratório ativa os recursos e depois abre a página Fazer Login em outra guia.

   Dica: coloque as guias em janelas separadas lado a lado.

   Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

3. Se necessário, copie o Nome de usuário abaixo e cole na caixa de diálogo Fazer login.

   {{{user_0.username | "Username"}}}

   Você também encontra o nome de usuário no painel Detalhes do Laboratório.

4. Clique em Próxima.

5. Copie a Senha abaixo e cole na caixa de diálogo de boas-vindas.

   {{{user_0.password | "Password"}}}

   Você também encontra a senha no painel Detalhes do Laboratório.

6. Clique em Próxima.

   Importante: você precisa usar as credenciais fornecidas no laboratório, e não as da sua conta do Google Cloud. Observação: se você usar sua própria conta do Google Cloud neste laboratório, talvez receba cobranças adicionais.

7. Acesse as próximas páginas:

   • Aceite os Termos e Condições.
   • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
   • Não se inscreva em testes sem custo financeiro.

Depois de alguns instantes, o console do Google Cloud será aberto nesta guia.

Observação: para acessar os produtos e serviços do Google Cloud, clique no Menu de navegação ou digite o nome do serviço ou produto no campo Pesquisar.

Tarefa 1: preparar o ambiente no Agent Platform Workbench

1. No console do Google Cloud, no Menu de navegação (), selecione Agent Platform > Notebooks > Workbench.

2. Clique em Ativar APIs e depois em Ativar para confirmar.

3. Em Instâncias, clique em Abrir JupyterLab ao lado da instância vertex-ai-jupyterlab. O JupyterLab será aberto em uma nova guia.

4. Na página de acesso rápido do JupyterLab, clique em Terminal para abrir um shell.

5. Baixe um notebook e um arquivo auxiliar para este laboratório com o comando:

   gcloud storage cp gs://{{{project_0.project_id| YOUR_GCP_PROJECT_ID}}}-bucket/* .

6. Abra o arquivo .

7. Na caixa de diálogo Selecionar Kernel, escolha Python 3 (local) na lista de kernels disponíveis.

8. Execute a primeira célula de código abaixo do cabeçalho Instalar o Kit de Desenvolvimento de Agente (ADK) e outros pacotes necessários para instalar as dependências. Para executar uma célula, clique no botão de execução na parte de cima ou selecione a célula e pressione SHIFT+ENTER no teclado.

9. Para usar os pacotes recém-instalados neste ambiente de execução do Jupyter, reinicie o kernel. Aguarde até que o [*] ao lado da célula mude para [1], confirmando que a execução foi concluída. Em seguida, nos menus do Jupyter Lab, selecione Kernel > Reiniciar kernel e limpar as entradas de todas as células....

10. Quando receber a solicitação de confirmação, selecione Reiniciar.

11. Após a reinicialização do kernel, execute a próxima célula na seção Definir informações do projeto do Google Cloud para configurar as informações do projeto do Google Cloud e inicializar a Agent Platform.

12. Execute a próxima célula na seção Importar bibliotecas do notebook.

Clique em Verificar meu progresso para conferir os objetivos. Definir informações do projeto do Google Cloud

Tarefa 2: ler e executar o restante do notebook

Leia as instruções e execute as células do notebook. Nestas seções, você vai:

• Configurar ferramentas para definir as funções get_product_details() e get_product_price() para uso posterior do agente como ferramentas.
• Configurar o modelo para definir qual modelo do Gemini seu agente usará.
• Montar o agente ao definir uma função que cria um agente, fornecer as ferramentas definidas acima e usá-lo para gerar uma resposta a uma consulta.
• Testar o agente para conferir alguns exemplos de respostas, incluindo o resultado formatado em Markdown que cita quais funções foram chamadas.

Clique em Verificar meu progresso para conferir os objetivos. Criar agente do ADK

• Aprender a analisar um agente do ADK com a Avaliação de IA Generativa da Agent Platform.
• Preparar um conjunto de dados de avaliação do agente composto por uma série de comandos e as respectivas chamadas de ferramenta esperadas (trajetória de referência).
• Executar a avaliação do uso de uma única ferramenta para determinar se o agente seleciona a ferramenta mais adequada para uma determinada tarefa.
• Executar a avaliação de trajetória para avaliar se o agente seleciona as ferramentas mais adequadas e as utiliza na ordem pretendida.
• Aprender a visualizar os resultados da avaliação.
• Aprender a definir uma métrica personalizada e realizar a avaliação com base nela.

Clique em Verificar meu progresso para conferir os objetivos. Analisar um agente do ADK com a Avaliação de IA Generativa da Agent Platform

• Aprender, na seção bônus Traga seu próprio conjunto de dados (BYOD, na sigla em inglês), como avaliar respostas de agentes geradas externamente ao fornecer um conjunto de dados de avaliação com essas respostas.

Clique em Verificar meu progresso para conferir os objetivos. Realizar a avaliação de BYOD de agentes do LangGraph usando a IA generativa

Clique em Verificar meu progresso para conferir os objetivos. Limpar o experimento

Parabéns!

Você avaliou um agente do ADK usando a Avaliação de IA Generativa da Agent Platform. Você criou e executou o agente localmente, preparou um conjunto de dados de avaliação personalizado e avaliou o uso de ferramentas, a trajetória de ação e a qualidade da resposta final do agente usando ferramentas de avaliação integradas.

Você avaliou o agente considerando o seguinte:

• ADK (Kit de Desenvolvimento de Agente) para criar e executar o agente
• Um conjunto de dados de avaliação estruturado com uso de ferramentas e referências conforme esperado
• Serviço de Avaliação de IA Generativa da Agent Platform
• Métricas de avaliação do uso de ferramentas
• Correspondência de trajetória para acurácia em cada etapa
• Avaliação com uma métrica personalizada

Manual atualizado em 28 de agosto de 2026

Laboratório testado em 28 de agosto de 2026

Copyright 2026 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de empresas e produtos podem ser marcas registradas das empresas a que estão associados.