Informações gerais

Neste laboratório, você vai identificar as operações Map e Reduce, executar o pipeline e usar os parâmetros de linha de comando.

Objetivo

• Identificar as operações Map e Reduce
• Executar o pipeline
• Usar parâmetros da linha de comando

Configuração

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

1. Faça login no Qwiklabs em uma janela anônima.

2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
   Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

3. Quando tudo estiver pronto, clique em Começar o laboratório.

4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

5. Clique em Abrir Console do Google.

6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
   Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

7. Aceite os termos e pule a página de recursos de recuperação.

Ative o Google Cloud Shell

O Google Cloud Shell é uma máquina virtual com ferramentas de desenvolvimento. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud.

O Cloud Shell oferece acesso de linha de comando aos recursos do Google Cloud.

1. No console do Cloud, clique no botão "Abrir o Cloud Shell" na barra de ferramentas superior direita.

   

2. Clique em Continuar.

O provisionamento e a conexão do ambiente podem demorar um pouco. Quando você estiver conectado, já estará autenticado, e o projeto estará definido com seu PROJECT_ID. Exemplo:

A gcloud é a ferramenta de linha de comando do Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.

• Para listar o nome da conta ativa, use este comando:

gcloud auth list

Saída:

Credentialed accounts: - @.com (active)

Exemplo de saída:

Credentialed accounts: - google1623327_student@qwiklabs.net

• Para listar o ID do projeto, use este comando:

gcloud config list project

Saída:

[core] project =

Exemplo de saída:

[core] project = qwiklabs-gcp-44776a13dea667a6 Observação: a documentação completa da gcloud está disponível no guia com informações gerais sobre a gcloud CLI .

Inicie o editor de código do Google Cloud Shell

Use o editor de código do Google Cloud Shell para facilitar a criação e edição de diretórios e arquivos na instância do Cloud Shell.

• Clique em Abrir editor depois de ativar o Google Cloud Shell.

Agora há três interfaces disponíveis:

• O editor de código do Cloud Shell
• O console, que pode ser alternado pelo Cloud Shell quando você clica nas guias correspondentes
• A linha de comando do Cloud Shell, que você pode acessar clicando em Abrir terminal no Console

Verifique as permissões do projeto

Antes de começar a trabalhar no Google Cloud, veja se o projeto tem as permissões corretas no Identity and Access Management (IAM).

1. No console do Google Cloud, em Menu de navegação (), selecione IAM e administrador > IAM.

2. Confira se a conta de serviço padrão do Compute {project-number}-compute@developer.gserviceaccount.com está na lista e recebeu o papel de editor. O prefixo da conta é o número do projeto, que está no Menu de navegação > Visão geral do Cloud > Painel.

Observação: se a conta não estiver no IAM ou não tiver o papel de editor, siga as etapas abaixo.

1. No console do Google Cloud, em Menu de navegação, clique em Visão geral do Cloud > Painel.
2. Copie o número do projeto, por exemplo, 729328892908.
3. Em Menu de navegação, clique em IAM e administrador > IAM.
4. Clique em Permitir acesso, logo abaixo de Visualizar por principais na parte de cima da tabela de papéis.
5. Em Novos principais, digite:

{project-number}-compute@developer.gserviceaccount.com

6. Substitua {project-number} pelo número do seu projeto.
7. Em Papel, selecione Projeto (ou Básico) > Editor.
8. Clique em Save.

Tarefa 1: preparações para o laboratório

Etapas específicas devem ser concluídas para a execução bem-sucedida desse laboratório:

1. Crie o bucket do Cloud Storage (isso foi feito automaticamente para você quando o ambiente do laboratório foi iniciado).

2. Na barra de título do console do Google Cloud, clique em Ativar o Cloud Shell. Se for solicitado, clique em Continuar. Clone o repositório que contém o código do laboratório no GitHub usando o comando a seguir:

git clone https://github.com/GoogleCloudPlatform/training-data-analyst

Tarefa 2: identifique as operações Map e Reduce

• No editor de código do Cloud Shell, navegue até o diretório /training-data-analyst/courses/data_analysis/lab2/javahelp/src/main/java/com/google/cloud/training/dataanalyst/javahelp e visualize o arquivo IsPopular.java.

Observação: não mude o código.

Como alternativa, visualize o arquivo com o nano:

Observação: não mude o código. cd ~/training-data-analyst/courses/data_analysis/lab2/javahelp/src/main/java/com/google/cloud/training/dataanalyst/javahelp nano IsPopular.java Observação: normalmente, você desenvolve esse código Java em um ambiente de desenvolvimento integrado, como o Eclipse ou o IntelliJ, não no Cloud Shell.

Você pode responder a estas perguntas sobre o arquivo IsPopular.java?

• Quais métodos getX() aparecem na classe MyOptions?
• Qual é o prefixo de resposta padrão?
• Como a variável outputPrefix está definida em main()?
• Quais são as principais etapas no pipeline?
• Quais dessas etapas acontecem paralelamente?
• Quais são agregações?

Tarefa 3: execute o pipeline

1. Copie e cole o seguinte comando do Maven no Cloud Shell:

export PATH=/usr/lib/jvm/java-8-openjdk-amd64/bin/:$PATH cd ~/training-data-analyst/courses/data_analysis/lab2/javahelp mvn compile -e exec:java \ -Dexec.mainClass=com.google.cloud.training.dataanalyst.javahelp.IsPopular Observação: esse processo levará de 4 a 5 minutos para ser concluído.

2. Analise o arquivo de resposta:

cat /tmp/output.csv

Tarefa 4: use parâmetros da linha de comando

1. Altere o prefixo de resposta do valor padrão:

mvn compile -e exec:java \ -Dexec.mainClass=com.google.cloud.training.dataanalyst.javahelp.IsPopular \ -Dexec.args="--outputPrefix=/tmp/myoutput"

2. Qual será o nome do novo arquivo .csv criado?
3. Observe que agora temos um novo arquivo no diretório /tmp:

ls -lrt /tmp/*.csv

Finalize o laboratório

Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.

Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.