ARC106

Visão geral

Nos laboratórios com desafio, apresentamos uma situação e um conjunto de tarefas. Para concluí-las, em vez de seguir instruções detalhadas, você usará o que aprendeu nos laboratórios do curso. Um sistema automático de pontuação (mostrado nesta página) vai avaliar seu desempenho.

Nos laboratórios com desafio, não ensinamos novos conceitos do Google Cloud. O objetivo dessas tarefas é aprimorar aquilo que você já aprendeu, como a alteração de valores padrão ou a leitura e pesquisa de mensagens para corrigir seus próprios erros.

Para alcançar a pontuação de 100%, você precisa concluir todas as tarefas no tempo definido.

Configuração

Antes de clicar no botão Começar o Laboratório

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é ativado quando você clica em Iniciar laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, e não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome).

• Tempo para concluir o laboratório: não se esqueça que, depois de começar, não será possível pausar o laboratório.

Cenário do desafio

Você começou a trabalhar como engenheiro de dados júnior e, até agora, você ajudou equipes a criar e gerenciar dados usando o BigQuery, o Pub/Sub e o Dataflow.

Seu conhecimento precisa ser suficiente para realizar essas tarefas.

Seu desafio

Você precisa ajudar uma nova equipe de desenvolvimento com as tarefas iniciais de um novo projeto de dados de sensores ambientais em tempo real. Você foi solicitado a ajudar a equipe com o streaming de dados de temperatura para o BigQuery usando o Pub/Sub e o Dataflow. Para isso, você recebeu a seguinte solicitação para concluir as tarefas:

• Criar um bucket do Cloud Storage como local temporário para um job do Dataflow.
• Criar um conjunto de dados e uma tabela do BigQuery para receber os dados de streaming.
• Criar um tópico do Pub/Sub e testar a publicação de mensagens nele.
• Criar e executar um job do Dataflow para transmitir dados de um tópico do Pub/Sub para o BigQuery.
• Executar uma consulta para validar os dados de streaming.

Você precisa seguir estes padrões:

• Confirmar se as APIs necessárias (como a API Dataplex) foram ativadas corretamente.
• Criar todos os recursos na região , a menos que haja uma instrução diferente.

As tarefas estão descritas abaixo em detalhes. Boa sorte!

Tarefa 1: Criar um bucket do Cloud Storage

• Crie um bucket do Cloud Storage usando o ID do projeto como nome do bucket:

Clique em Verificar meu progresso para conferir o objetivo. Criar um bucket do Cloud Storage

Tarefa 2: Criar um conjunto de dados e uma tabela do BigQuery

1. Crie um conjunto de dados do BigQuery chamado na região US (multirregional).

2. No conjunto de dados criado, crie uma tabela chamada e adicione a coluna data com o tipo STRING.

Clique em Verificar meu progresso para conferir o objetivo. Criar um conjunto de dados e uma tabela do BigQuery

Tarefa 3: Configurar um tópico do Pub/Sub

1. Crie um tópico do Pub/Sub com o nome .

• Use as configurações padrão, que ativaram a caixa de seleção para Adicionar uma assinatura padrão.

Clique em Verificar meu progresso para conferir o objetivo. Criar um tópico do Pub/Sub

Tarefa 4: Executar um pipeline do Dataflow para transmitir dados do Pub/Sub para o BigQuery

1. Criar e executar um job do Dataflow chamado para transmitir dados do tópico do Pub/Sub para o BigQuery, usando o tópico do Pub/Sub e a tabela do BigQuery que você criou nas tarefas anteriores.

• Usar o modelo personalizado do Dataflow.

• Use o caminho abaixo para o arquivo de modelo armazenado no Cloud Storage:

  gs://dataflow-templates-{{{project_0.default_region | Region }}}/latest/PubSub_to_BigQuery

• Use o tópico do Pub/Sub que você criou em uma tarefa anterior:

• Use o bucket do Cloud Storage criado em uma tarefa anterior como local temporário:

• Use o conjunto de dados e a tabela do BigQuery que você criou em uma tarefa anterior como a tabela de saída: .

• Use como o endpoint regional.

Clique em Verificar meu progresso para conferir o objetivo. Criar um pipeline do Dataflow para transmitir dados do Pub/Sub para o BigQuery

Tarefa 5: Publicar uma mensagem de teste no tópico e validar os dados no BigQuery

1. Publique uma mensagem no seu tópico usando a seguinte sintaxe de código para Message: {"data": "73.4 F"}

• Observação: 73.4 F pode ser substituído por qualquer valor.

2. Execute uma instrução SELECT no BigQuery para ver a mensagem de teste preenchida na sua tabela.

Observação: se você não vir nenhuma mensagem de teste na sua tabela do BigQuery, verifique se o job do Dataflow tem o status Em execução e envie outra mensagem de teste.

Clique em Verificar meu progresso para conferir o objetivo. Publicar uma mensagem de teste no tópico e validar os dados no BigQuery

Parabéns!

Parabéns! Neste laboratório, você criou um bucket do Cloud Storage, um conjunto de dados e uma tabela do BigQuery, um tópico do Pub/Sub e um job do Dataflow para transmitir dados do Pub/Sub para o BigQuery. Você também publicou uma mensagem de teste no tópico e validou os dados no BigQuery.

Treinamento e certificação do Google Cloud

Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.

Manual atualizado em 17 de julho de 2024

Laboratório testado em 21 de março de 2024

Copyright 2026 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.