Visão geral

Neste laboratório, você identificará as operações Map e Reduce, executará o pipeline e usará parâmetros da linha de comando.

Objetivos

• Identificar as operações Map e Reduce

• Executar o pipeline

• Usar parâmetros da linha de comando

Configuração

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

1. Faça login no Qwiklabs em uma janela anônima.

2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
   Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

3. Quando tudo estiver pronto, clique em Começar o laboratório.

4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

5. Clique em Abrir Console do Google.

6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
   Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

7. Aceite os termos e pule a página de recursos de recuperação.

Ative o Google Cloud Shell

O Google Cloud Shell é uma máquina virtual com ferramentas de desenvolvimento. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud.

O Cloud Shell oferece acesso de linha de comando aos recursos do Google Cloud.

1. No console do Cloud, clique no botão "Abrir o Cloud Shell" na barra de ferramentas superior direita.

   

2. Clique em Continuar.

O provisionamento e a conexão do ambiente podem demorar um pouco. Quando você estiver conectado, já estará autenticado, e o projeto estará definido com seu PROJECT_ID. Exemplo:

A gcloud é a ferramenta de linha de comando do Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.

• Para listar o nome da conta ativa, use este comando:

Saída:

Exemplo de saída:

• Para listar o ID do projeto, use este comando:

Saída:

Exemplo de saída:

Inicie o editor de código do Google Cloud Shell

Use o editor de código do Google Cloud Shell para facilitar a criação e edição de diretórios e arquivos na instância do Cloud Shell.

• Clique em Abrir editor depois de ativar o Google Cloud Shell.

Agora há três interfaces disponíveis:

• O editor de código do Cloud Shell
• O console, que pode ser alternado pelo Cloud Shell quando você clica nas guias correspondentes
• A linha de comando do Cloud Shell, que você pode acessar clicando em Abrir terminal no Console

Verifique as permissões do projeto

Antes de começar a trabalhar no Google Cloud, veja se o projeto tem as permissões corretas no Identity and Access Management (IAM).

1. No console do Google Cloud, em Menu de navegação (), selecione IAM e administrador > IAM.

2. Confira se a conta de serviço padrão do Compute {project-number}-compute@developer.gserviceaccount.com está na lista e recebeu o papel de editor. O prefixo da conta é o número do projeto, que está no Menu de navegação > Visão geral do Cloud > Painel.

1. No console do Google Cloud, em Menu de navegação, clique em Visão geral do Cloud > Painel.
2. Copie o número do projeto, por exemplo, 729328892908.
3. Em Menu de navegação, clique em IAM e administrador > IAM.
4. Clique em Permitir acesso, logo abaixo de Visualizar por principais na parte de cima da tabela de papéis.
5. Em Novos principais, digite:

6. Substitua {project-number} pelo número do seu projeto.
7. Em Papel, selecione Projeto (ou Básico) > Editor.
8. Clique em Save.

Tarefa 1: Preparações de Laboratório

Etapas específicas devem ser concluídas para executar este laboratório com êxito:

• Crie o bucket do Cloud Storage (que foi concluído automaticamente quando o ambiente de laboratório foi iniciado)

• Clonagem do repositório github no Cloud Shell

git clone https://github.com/GoogleCloudPlatform/training-data-analyst

• Upgrade dos pacotes e instalação do Apache Beam

cd training-data-analyst/courses/data_analysis/lab2/python

sudo ./install_packages.sh

Tarefa 2: identifique as operações Map e Reduce

1. No editor de código do Cloud Shell, navegue até o diretório /training-data-analyst/courses/data_analysis/lab2/python e visualize o arquivo is_popular.py no editor do Cloud Shell. Não faça alterações no código.

Como alternativa, visualize o arquivo com o nano. Não faça alterações no código.

cd ~/training-data-analyst/courses/data_analysis/lab2/python
nano is_popular.py

Você sabe responder a estas perguntas sobre o arquivo is_popular.py?

• Quais argumentos personalizados estão definidos?

• Qual é o prefixo de resposta padrão?

• Como a variável output_prefix está definida em main()?

• Como os argumentos do pipeline, como --runner, estão definidos?

• Quais são as principais etapas no pipeline?

• Quais dessas etapas acontecem paralelamente?

• Quais delas são agregações?

Tarefa 3: execute o pipeline

1. Execute o pipeline localmente:

cd ~/training-data-analyst/courses/data_analysis/lab2/python
python3 ./is_popular.py

2. Identifique o arquivo de saída. Esse arquivo deve ser output<suffix> e pode estar fragmentado.

ls -al /tmp

3. Examine o arquivo de saída, substituindo '-*' pelo sufixo apropriado.

cat /tmp/output-*

Tarefa 4: use parâmetros da linha de comando

1. Altere o prefixo de saída do valor padrão:

python3 ./is_popular.py --output_prefix=/tmp/myoutput

2. Qual será o nome do novo arquivo criado?

3. Observe que agora temos um novo arquivo no diretório /tmp:

ls -lrt /tmp/myoutput*

Finalize o laboratório

Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.

Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.

Copyright 2026 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de empresas e produtos podem ser marcas registradas das empresas a que estão associados.