Visão geral

Neste laboratório, você vai abrir um projeto do Dataflow, usar a filtragem do pipeline e executar o pipeline localmente e na nuvem.

• Abra o projeto do Dataflow
• Filtragem do pipeline
• Execute o pipeline localmente e na nuvem

Objetivo

Neste laboratório, você aprenderá a gravar um pipeline simples do Dataflow e a executá-lo localmente e na nuvem.

• Configurar um projeto do Dataflow em Python usando o Apache Beam
• Criar um pipeline simples no Python
• Executar a consulta na máquina local
• Executar a consulta na nuvem

Configuração

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

1. Faça login no Qwiklabs em uma janela anônima.

2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
   Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

3. Quando tudo estiver pronto, clique em Começar o laboratório.

4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

5. Clique em Abrir Console do Google.

6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
   Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

7. Aceite os termos e pule a página de recursos de recuperação.

Ative o Google Cloud Shell

O Google Cloud Shell é uma máquina virtual com ferramentas de desenvolvimento. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud.

O Cloud Shell oferece acesso de linha de comando aos recursos do Google Cloud.

1. No console do Cloud, clique no botão "Abrir o Cloud Shell" na barra de ferramentas superior direita.

   

2. Clique em Continuar.

O provisionamento e a conexão do ambiente podem demorar um pouco. Quando você estiver conectado, já estará autenticado, e o projeto estará definido com seu PROJECT_ID. Exemplo:

A gcloud é a ferramenta de linha de comando do Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.

• Para listar o nome da conta ativa, use este comando:

Saída:

Exemplo de saída:

• Para listar o ID do projeto, use este comando:

Saída:

Exemplo de saída:

Verifique as permissões do projeto

Antes de começar a trabalhar no Google Cloud, veja se o projeto tem as permissões corretas no Identity and Access Management (IAM).

1. No console do Google Cloud, em Menu de navegação (), selecione IAM e administrador > IAM.

2. Confira se a conta de serviço padrão do Compute {project-number}-compute@developer.gserviceaccount.com está na lista e recebeu o papel de editor. O prefixo da conta é o número do projeto, que está no Menu de navegação > Visão geral do Cloud > Painel.

1. No console do Google Cloud, em Menu de navegação, clique em Visão geral do Cloud > Painel.
2. Copie o número do projeto, por exemplo, 729328892908.
3. Em Menu de navegação, clique em IAM e administrador > IAM.
4. Clique em Permitir acesso, logo abaixo de Visualizar por principais na parte de cima da tabela de papéis.
5. Em Novos principais, digite:

6. Substitua {project-number} pelo número do seu projeto.
7. Em Papel, selecione Projeto (ou Básico) > Editor.
8. Clique em Save.

Tarefa 1: Ative a API Dataflow

• Execute este bloco de código no Cloud Shell:

Tarefa 2: preparação

Abra o terminal SSH e acesse a VM de treinamento

Você vai executar todos os códigos usando uma VM de treinamento selecionada.

1. No console, acesse o Menu de navegação () e clique em Compute Engine > Instâncias de VM.

2. Encontre a linha com a instância training-vm.

3. À direita, na coluna Conectar, clique em SSH para abrir uma janela de terminal.

4. Neste laboratório, você adicionará comandos da CLI em training-vm.

Faça o download do repositório de código

• Faça o download de um repositório de código para usar neste laboratório. No terminal SSH training-vm, insira o código a seguir:

Crie um bucket do Cloud Storage

Siga estas instruções para criar um bucket.

1. No console, acesse o Menu de navegação e clique em Cloud Storage > Buckets.

2. Clique em Criar.

3. Especifique os valores abaixo e não mude as outras configurações padrão:

4. Clique em Criar.

5. Se você receber o prompt Public access will be prevented selecione Enforce public access prevention on this bucket e clique em Confirmar.

Grave o nome do bucket. Ele vai ser usado nas próximas tarefas.

6. No terminal SSH training-vm, insira o comando abaixo para criar uma variável de ambiente chamada "BUCKET" e verifique se ela existe usando o comando "echo":

É possível usar $BUCKET nos comandos do terminal. Se for necessário inserir o nome do bucket <your-bucket> em um campo de texto do console, encontre rapidamente o nome usando echo $BUCKET.

Tarefa 3: filtragem do pipeline

O objetivo deste laboratório é você conhecer a estrutura de um projeto do Dataflow e aprender a executar um pipeline do Dataflow.

1. Volte ao terminal SSH training-vm, acesse o diretório /training-data-analyst/courses/data_analysis/lab2/python e visualize o arquivo grep.py.

2. Abra o arquivo com o Nano. Não faça alterações no código:

3. Para sair do Nano, pressione Ctrl+X.

Você sabe responder às perguntas sobre o arquivo grep.py abaixo?

• Quais arquivos estão sendo lidos?
• Qual é o termo de pesquisa?
• Para onde vai a resposta?

Há três transformações no pipeline:

• O que a transformação faz?
• O que a segunda transformação faz?
• De onde vem a entrada dela?
• O que ela faz com essa entrada?
• O que ela escreve na resposta?
• Para onde vai a resposta?
• O que a terceira transformação faz?

Tarefa 4: execute o pipeline localmente

1. No terminal SSH training-vm, execute grep.py localmente:

O arquivo de saída vai ser output.txt. Se a resposta for muito grande, ela será fragmentada em partes separadas com nomes como: output-00000-of-00001.

2. Localize o arquivo correto examinando a hora em que ele foi criado:

3. Analise os arquivos de saída.

4. Substitua "-*" abaixo pelo sufixo apropriado:

A saída parece lógica?

Tarefa 5: execute o pipeline na nuvem

1. Copie alguns arquivos Java para a nuvem. No terminal SSH training-vm, insira este código:

2. Edite o pipeline do Dataflow em grepc.py usando o Nano.

3. Substitua PROJECT, BUCKET e REGION pelos valores listados abaixo. Mantenha as aspas simples externas.

Salve o arquivo e feche o Nano pressionando CTRL+X, depois Y e Enter.

4. Envie o job do Dataflow para a nuvem:

Por ser um job pequeno, a execução na nuvem demora bem mais do que a execução local (de 7 a 10 minutos).

5. Volte para a guia do console no navegador.

6. No Menu de navegação, clique em Dataflow e depois no seu job para monitorar o progresso dele.

7. Espere até que o status do Job mude para Concluído.

8. Examine a saída no bucket do Cloud Storage.

9. No Menu de navegação, clique em Cloud Storage > Navegador e depois no seu bucket.

10. Selecione o diretório javahelp.

Esse job gera o arquivo output.txt, e, se ele for muito grande, vai ser fragmentado em várias partes com nomes como: output-0000x-of-000y. Identifique o arquivo mais recente pelo nome ou pelo campo Última modificação.

11. Clique no arquivo que você quer visualizar.

Como alternativa, é possível fazer o download e abrir o arquivo usando o terminal SSH training-vm:

Finalize o laboratório

Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.

Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.

Copyright 2026 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de empresas e produtos podem ser marcas registradas das empresas a que estão associados.