Visão geral

Neste laboratório, você aprenderá a carregar dados no BigQuery e a executar consultas complexas. Em seguida, você vai executar um pipeline do Dataflow que processa as operações Map e Reduce, usa entradas secundárias e transmite para o BigQuery.

Objetivo

Neste laboratório, você vai aprender a usar o BigQuery como uma fonte de dados no Dataflow e os resultados de um pipeline como uma entrada secundária para um outro pipeline.

• Ler dados do BigQuery no Dataflow
• Usar a saída de um pipeline como entrada secundária para outro pipeline

Configuração

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

1. Faça login no Qwiklabs em uma janela anônima.

2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
   Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

3. Quando tudo estiver pronto, clique em Começar o laboratório.

4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

5. Clique em Abrir Console do Google.

6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
   Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

7. Aceite os termos e pule a página de recursos de recuperação.

Verifique as permissões do projeto

Antes de começar a trabalhar no Google Cloud, veja se o projeto tem as permissões corretas no Identity and Access Management (IAM).

1. No console do Google Cloud, em Menu de navegação (), selecione IAM e administrador > IAM.

2. Confira se a conta de serviço padrão do Compute {project-number}-compute@developer.gserviceaccount.com está na lista e recebeu o papel de editor. O prefixo da conta é o número do projeto, que está no Menu de navegação > Visão geral do Cloud > Painel.

1. No console do Google Cloud, em Menu de navegação, clique em Visão geral do Cloud > Painel.
2. Copie o número do projeto, por exemplo, 729328892908.
3. Em Menu de navegação, clique em IAM e administrador > IAM.
4. Clique em Permitir acesso, logo abaixo de Visualizar por principais na parte de cima da tabela de papéis.
5. Em Novos principais, digite:

6. Substitua {project-number} pelo número do seu projeto.
7. Em Papel, selecione Projeto (ou Básico) > Editor.
8. Clique em Save.

Tarefa 1: preparar

Atribua o papel de desenvolvedor do Dataflow

Se a conta não tiver o papel de Desenvolvedor de Dataflow, siga estas instruções para conceder a função necessária:

1. Em Menu de navegação, clique em IAM e administrador > IAM.

2. Selecione a conta de serviço padrão do Compute Engine {project-number}-compute@developer.gserviceaccount.com.

3. Clique na opção Editar (ícone de lápis no lado direito).

4. Clique em Adicionar outro papel.

5. Clique na área demarcada para Selecionar um papel. Na opção Digite para filtrar, insira e selecione Desenvolvedor de Dataflow.

6. Clique em Salvar.

Verifique se a API Dataflow está ativada

1. Na barra de título do Console do Google Cloud, clique em Ativar o Cloud Shell. Se for solicitado, clique em Continuar.

2. Execute os seguintes comandos para garantir que a API Dataflow seja ativada corretamente no projeto. Se for solicitado, clique em Autorizar:

Abra o terminal SSH e acesse a VM de treinamento

Você vai executar todos os códigos usando uma VM de treinamento selecionada.

1. No console, acesse o menu de navegação () e clique em Compute Engine > Instâncias de VM.

2. Encontre a linha com a instância training-vm.

3. À direita, na coluna Conectar, clique em SSH para abrir uma janela do terminal. Se for solicitado, clique em Autorizar.

4. Neste laboratório, você vai adicionar comandos da CLI em training-vm.

Faça o download do repositório do código

• Agora você vai fazer o download de um repositório de código para usar neste laboratório. No terminal SSH training-vm, insira o código a seguir:

Crie um bucket do Cloud Storage

Siga estas instruções para criar um bucket.

1. No console, acesse o Menu de navegação e clique em Cloud Storage > Buckets.
2. Clique em Criar.
3. Especifique os valores abaixo e não mude as outras configurações padrão:

4. Clique em Criar.

5. Se você receber o prompt O acesso público será bloqueado, selecione Aplicar a prevenção do acesso público neste bucket e clique em Confirmar.

6. No terminal SSH training-vm, insira o seguinte para criar três variáveis de ambiente: uma chamada "BUCKET", outra chamada "PROJECT" e a última chamada "REGION". Confira se as três existem usando o comando "echo":

Tarefa 2: usar a consulta do BigQuery

1. No Console, acesse o Menu de navegação () e clique em BigQuery.
2. Se for solicitado, clique em Concluído.
3. Selecione + (consulta SQL) e digite a seguinte consulta:

4. Clique em Executar.

O que foi retornado?

A tabela cloud-training-demos.github_repos.contents_java do BigQuery possui o conteúdo (e alguns metadados) de todos os arquivos Java presentes no GitHub em 2016.

5. Para descobrir quantos arquivos Java essa tabela contém, insira a seguinte consulta e clique em Executar:

Quantos arquivos existem nesse conjunto de dados?

Você quer processar esse conjunto de dados localmente ou na nuvem?

Tarefa 3: explorar o código do pipeline

1. Volte ao terminal SSH training-vm, acesse o diretório /training-data-analyst/courses/data_analysis/lab2/python e visualize o arquivo JavaProjectsThatNeedHelp.py.

Abra o arquivo com o Nano e não faça alterações no código. Para sair do Nano, pressione Ctrl+X.

Consulte o diagrama abaixo ao ler o código. O pipeline tem esta aparência:

2. Responda às seguintes perguntas:

• Analisando a documentação da classe na parte superior, qual é a finalidade desse pipeline?
• De onde vem o conteúdo?
• O que o lado esquerdo do pipeline faz?
• O que o lado direito do pipeline faz?
• O que o ToLines faz? Dica: examine o campo de conteúdo do resultado do BigQuery.
• Por que o resultado de ReadFromBQ é armazenado em uma classe PCollection nomeada em vez de ser transmitido diretamente para outra etapa?
• Quais são as duas ações realizadas na PCollection gerada por ReadFromBQ?
• Se o arquivo tem 3 FIXMEs e 2 TODOs (em linhas diferentes) no próprio conteúdo, quantas chamadas de ajuda estão associadas a ele?
• Se um arquivo está no pacote com.google.devtools.build, quais são os pacotes associados a ele?
• popular_packages e help_packages são PCollections nomeadas e elas são usadas na etapa "Scores" (entradas secundárias) do pipeline. Qual delas é a entrada principal e qual é a entrada secundária?
• Qual é o método usado na etapa "Scores"?
• A entrada secundária será convertida em qual tipo de dados Python na etapa "Scores"?

Tarefa 4: executar o pipeline

1. No programa, especifique os valores de "BUCKET" e "PROJECT" e "REGION" e se você quer executar o pipeline localmente, usando --DirectRunner, ou na nuvem, usando --DataFlowRunner.

2. Execute o pipeline localmente inserindo o seguinte no terminal SSH training-vm:

3. Depois que a execução do pipeline terminar, no Menu de navegação (), clique em Cloud Storage > Buckets e selecione seu bucket. Você vai encontrar os resultados na pasta javahelp. Clique no objeto Result para ver a saída.

4. Execute o pipeline na nuvem inserindo o seguinte no terminal SSH training-vm:

5. Volte para a guia do console no navegador. No Menu de navegação (), clique em Mostrar todos os produtos e selecione Dataflow na seção "Análise".

6. Clique no job para monitorar o progresso.

7. Depois que a execução do pipeline terminar, no Menu de navegação (), clique em Cloud Storage > Buckets e selecione seu bucket. Você vai encontrar os resultados na pasta javahelp. Clique no objeto Result para ver a saída. O nome do arquivo é o mesmo, mas a hora de criação dele é mais recente.

Clique em Verificar meu progresso para ver o objetivo. Execute o pipeline

Finalize o laboratório

Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.

Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.

Copyright 2026 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de empresas e produtos podem ser marcas registradas das empresas a que estão associados.