Visão geral

Neste laboratório, você vai aprender a criar e executar pipelines de ML com o Vertex Pipelines.

Objetivos de aprendizado

• Usar o SDK do Kubeflow Pipelines para criar pipelines de ML escalonáveis.
• Criar e executar um pipeline introdutório de três etapas que recebe uma entrada de texto.
• Criar e executar um pipeline que treina, avalia e implanta um modelo de classificação do AutoML.
• Use componentes pré-criados pela biblioteca google_cloud_pipeline_components para interagir com os serviços da Vertex AI.
• Agendar um job de pipeline com o Cloud Scheduler.

Configuração e requisitos

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

1. Faça login no Qwiklabs em uma janela anônima.

2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
   Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

3. Quando tudo estiver pronto, clique em Começar o laboratório.

4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

5. Clique em Abrir Console do Google.

6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
   Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

7. Aceite os termos e pule a página de recursos de recuperação.

Ativar o Cloud Shell

O Cloud Shell é uma máquina virtual que contém ferramentas para desenvolvedores. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud. O Cloud Shell oferece aos seus recursos do Google Cloud acesso às linhas de comando. A gcloud é a ferramenta ideal para esse tipo de operação no Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.

1. No painel de navegação do Console do Google Cloud, clique em Ativar o Cloud Shell ().

2. Clique em Continuar.
   O provisionamento e a conexão do ambiente podem demorar um pouco. Quando esses processos forem concluídos, você já vai ter uma autenticação, e o projeto estará definido com seu PROJECT_ID. Por exemplo:

Exemplo de comandos

• Liste o nome da conta ativa:

gcloud auth list

(Saída)

Credentialed accounts: - <myaccount>@<mydomain>.com (active)

(Exemplo de saída)

Credentialed accounts: - google1623327_student@qwiklabs.net

• Liste o ID do projeto:

gcloud config list project

(Saída)

[core] project = <project_ID>

(Exemplo de saída)

[core] project = qwiklabs-gcp-44776a13dea667a6

Tarefa 1: configure o ambiente do Cloud

O Cloud Shell tem algumas variáveis de ambiente, incluindo a GOOGLE_CLOUD_PROJECT, que contém o nome do nosso projeto atual do Cloud. Vamos usar esses dados várias vezes neste laboratório. É possível ver essa variável ao executar:

echo $GOOGLE_CLOUD_PROJECT

Ativar APIs

• Nas próximas etapas, você vai entender onde e por que esses serviços são necessários. Para começar, apenas execute este comando para conceder ao seu projeto acesso aos serviços do Compute Engine, Container Registry e Vertex AI:

gcloud services enable compute.googleapis.com \ containerregistry.googleapis.com \ aiplatform.googleapis.com \ cloudbuild.googleapis.com \ cloudfunctions.googleapis.com

Uma mensagem semelhante a esta vai aparecer:

Operation "operations/acf.cc11852d-40af-47ad-9d59-477a12847c9e" finished successfully.

Tarefa 2: crie um bucket do Cloud Storage

Para executar um job de treinamento na Vertex AI, é preciso de um bucket de armazenamento para seus recursos de modelo salvos. O intervalo precisa ser regional. As instruções mencionam US-central, mas é possível usar outra região. Basta fazer a substituição ao longo do laboratório.

1. No terminal do Cloud Shell, execute o seguinte comando para criar um bucket:

BUCKET_NAME=gs://$GOOGLE_CLOUD_PROJECT-bucket gsutil mb -l us-central1 $BUCKET_NAME

2. Conceder à sua conta de serviço do Compute acesso ao bucket :

gcloud projects describe $GOOGLE_CLOUD_PROJECT > project-info.txt PROJECT_NUM=$(cat project-info.txt | sed -nre 's:.*projectNumber\: (.*):\1:p') SVC_ACCOUNT="${PROJECT_NUM//\'/}-compute@developer.gserviceaccount.com" gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT --member serviceAccount:$SVC_ACCOUNT --role roles/storage.objectAdmin

Isso garante que o Vertex Pipelines tenha as permissões necessárias para gravar arquivos no bucket.

Tarefa 3: ativar as APIs recomendadas

1. No Menu de navegação () do console do Google Cloud, clique em Vertex AI > Painel
2. Clique em Ativar todas as APIs recomendadas.

Tarefa 4: inicie uma instância de Notebooks da Vertex AI

1. No menu de navegação do console do Google Cloud, clique em Vertex AI > Workbench. Selecione Notebooks gerenciados pelo usuário.

2. Na página "Instâncias de notebook", clique em Criar novo e escolha a versão mais recente do TensorFlow Enterprise 2.6 (com LTS) em Ambiente.

3. Na caixa de diálogo Nova instância de notebook, confirme o nome da VM de aprendizado profundo. Se não quiser mudar a região e a zona, deixe todas as configurações como estão e clique em Criar. A nova VM leva de dois a três minutos para ser iniciada.

4. Clique em Open JupyterLab.
   Uma janela desse ambiente será aberta em uma nova guia.

Tarefa 5: clone um repositório do curso na sua instância de Notebooks da Vertex AI

Para clonar o notebook training-data-analyst na instância do JupyterLab, siga estas etapas:

1. No JupyterLab, clique no ícone de Terminal para abrir um novo.

2. No prompt da linha de comando, execute o seguinte:

   git clone https://github.com/GoogleCloudPlatform/training-data-analyst

3. Para confirmar que você clonou o repositório, clique duas vezes no diretório training-data-analyst e veja se o conteúdo aparece.
   Nele você também encontra os arquivos de todos os laboratórios com notebooks do Jupyter deste curso.

Tarefa 6: criar e executar pipelines de ML com o Vertex Pipelines

1. Na interface do notebook, navegue até training-data-analyst > courses > machine_learning > deepdive2 > machine_learning_in_the_enterprise > labs e abra pipelines_intro_kfp.ipynb.

2. Na interface do notebook, clique em Editar > Limpar todas as saídas.

3. Leia com atenção as instruções do notebook e adicione o código necessário nas linhas marcadas com #TODO.

Dica: para executar a célula atual, clique nela e pressione SHIFT+ENTER. Veja outros comandos de células na IU do notebook em Executar.

• Você também vai encontrar dicas para realizar as tarefas. Destaque o texto para ler as dicas, que são exibidas em letras brancas.
• Se precisar de mais ajuda, confira a solução completa em training-data-analyst > courses > machine_learning > deepdive2 > machine_learning_in_the_enterprise > solutions e abra pipelines_intro_kfp.ipynb.

Finalize o laboratório

Após terminar seu laboratório, clique em End Lab. O Qwiklabs removerá os recursos usados e limpará a conta para você.

Você poderá avaliar sua experiência neste laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Submit.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Support.

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.