GSP1055

Visão geral

O Bigtable é o serviço de banco de dados NoSQL totalmente gerenciado e escalonável do Google. Ele é ideal para armazenar grandes volumes de dados em um repositório de chave-valor e para casos de uso como personalização, tecnologias de anúncios, tecnologia financeira, mídia digital e Internet das Coisas (IoT). O Bigtable conta com alta capacidade de processamento de operações de leitura e gravação em latência baixa, possibilitando acesso rápido a grandes volumes de dados para processamento e análise.

Para dados de streaming de sensores, o Bigtable pode lidar com as altas taxas de gravação para capturar grandes volumes de dados em tempo real.

Neste laboratório, você vai usar comandos para criar uma instância do Bigtable com uma tabela para armazenar dados simulados de sensor de tráfego. Em seguida, você vai iniciar um pipeline do Dataflow para carregar os dados de streaming simulados do Pub/Sub no Bigtable. Enquanto o job do Dataflow carrega dados de streaming do Pub/Sub no Bigtable, você vai verificar se a tabela está sendo preenchida corretamente. Para concluir o laboratório, interrompa o job de streaming e exclua os dados do Bigtable.

Atividades deste laboratório

Neste laboratório, você vai aprender a criar uma instância e uma tabela do Bigtable usando comandos e a usar o Dataflow para carregar dados de streaming.

• Criar uma instância do Bigtable usando comandos da CLI do Google Cloud (CLI gcloud).
• Criar uma tabela do Bigtable com famílias de colunas usando comandos da CLI do Cloud Bigtable (CLI cbt).
• Iniciar um pipeline do Dataflow para ler dados de streaming do Pub/Sub e gravar no Bigtable.
• Verificar se os dados de streaming foram carregados no Bigtable.
• Excluir uma tabela e uma instância do Bigtable usando comandos.

Pré-requisitos

• Noções básicas sobre conceitos e termos de banco de dados, como instâncias, esquemas e chaves
• Conclusão do laboratório Como projetar e consultar esquemas do Bigtable

Configuração e requisitos

Antes de clicar no botão Começar o Laboratório

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é ativado quando você clica em Iniciar laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, e não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome).

Observação: para executar este laboratório, use o modo de navegação anônima (recomendado) ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e de estudante, o que poderia causar cobranças extras na sua conta pessoal.

• Tempo para concluir o laboratório: não se esqueça que, depois de começar, não será possível pausar o laboratório.

Observação: use apenas a conta de estudante neste laboratório. Se usar outra conta do Google Cloud, você poderá receber cobranças nela.

Como iniciar seu laboratório e fazer login no console do Google Cloud

1. Clique no botão Começar o laboratório. Se for preciso pagar por ele, uma caixa de diálogo vai aparecer para você selecionar a forma de pagamento. No painel Detalhes do Laboratório, à esquerda, você vai encontrar o seguinte:

   • O botão Abrir Console do Google Cloud
   • O tempo restante
   • As credenciais temporárias que você vai usar neste laboratório
   • Outras informações, se forem necessárias

2. Se você estiver usando o navegador Chrome, clique em Abrir console do Google Cloud ou clique com o botão direito do mouse e selecione Abrir link em uma janela anônima.

   O laboratório ativa os recursos e depois abre a página Fazer Login em outra guia.

   Dica: coloque as guias em janelas separadas lado a lado.

   Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

3. Se necessário, copie o Nome de usuário abaixo e cole na caixa de diálogo Fazer login.

   {{{user_0.username | "Username"}}}

   Você também encontra o nome de usuário no painel Detalhes do Laboratório.

4. Clique em Próxima.

5. Copie a Senha abaixo e cole na caixa de diálogo de Olá.

   {{{user_0.password | "Password"}}}

   Você também encontra a senha no painel Detalhes do Laboratório.

6. Clique em Próxima.

   Importante: você precisa usar as credenciais fornecidas no laboratório, e não as da sua conta do Google Cloud. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais.

7. Acesse as próximas páginas:

   • Aceite os Termos e Condições.
   • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
   • Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do Google Cloud será aberto nesta guia.

Observação: para acessar os produtos e serviços do Google Cloud, clique no Menu de navegação ou digite o nome do serviço ou produto no campo Pesquisar.

Ativar o Cloud Shell

O Cloud Shell é uma máquina virtual com várias ferramentas de desenvolvimento. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud. O Cloud Shell oferece acesso de linha de comando aos recursos do Google Cloud.

1. Clique em Ativar o Cloud Shell na parte de cima do console do Google Cloud.

2. Clique nas seguintes janelas:

   • Continue na janela de informações do Cloud Shell.
   • Autorize o Cloud Shell a usar suas credenciais para fazer chamadas de APIs do Google Cloud.

Depois de se conectar, você verá que sua conta já está autenticada e que o projeto está configurado com seu Project_ID, . A saída contém uma linha que declara o projeto PROJECT_ID para esta sessão:

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

A gcloud é a ferramenta de linha de comando do Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.

3. (Opcional) É possível listar o nome da conta ativa usando este comando:

gcloud auth list

4. Clique em Autorizar.

Saída:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Opcional) É possível listar o ID do projeto usando este comando:

gcloud config list project

Saída:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Observação: consulte a documentação completa da gcloud no Google Cloud no guia de visão geral da gcloud CLI.

Tarefa 1: criar uma instância e uma tabela do Bigtable usando comandos

Para criar uma nova tabela no Bigtable, primeiro você precisa criar uma instância do Bigtable para armazenar a tabela. Para criar uma instância do Bigtable, você tem a opção de usar o console do Google Cloud, os comandos da CLI gcloud ou os comandos da CLI cbt.

Nesta tarefa, você vai usar o Cloud Shell para executar comandos da CLI gcloud para criar uma nova instância do Bigtable e, em seguida, executar comandos da CLI cbt para se conectar ao Bigtable e criar uma nova tabela.

Para saber como acessar o Cloud Shell, clique em Configuração e requisitos no menu à direita desta página.

Criar uma instância do Bigtable

• Para criar uma nova instância do Bigtable, execute o seguinte comando no Cloud Shell:

gcloud bigtable instances create sandiego \ --display-name="San Diego Traffic Sensors" \ --cluster-storage-type=SSD \ --cluster-config=id=sandiego-traffic-sensors-c1,zone={{{project_0.default_zone | ZONE}}},nodes=1

Esse comando cria uma nova instância do Bigtable com as seguintes propriedades:

Propriedade	Valor
ID da instância	sandiego
Nome de exibição da instância	San Diego Traffic Sensors
Tipo de armazenamento	SSD
ID do cluster	sandiego-traffic-sensors-c1
Zona
Modo de escalonamento do nó	Alocação manual
Número de nós	1

Quando você receber a mensagem de saída, continue para a próxima etapa.

Criando a instância do Bigtable sandiego... pronto.

Configurar a CLI do Bigtable

Para se conectar ao Bigtable usando comandos da CLI cbt, primeiro você precisa usar o Cloud Shell para atualizar o arquivo de configuração .cbtrc com seu ID do projeto e o ID da instância do Bigtable.

1. Para modificar o arquivo .cbtrc com o ID do projeto e o ID da instância, execute os seguintes comandos:

echo project = `gcloud config get-value project` \ >> ~/.cbtrc echo instance = sandiego \ >> ~/.cbtrc

2. Para confirmar se você modificou o arquivo .cbtrc, execute o seguinte comando:

cat ~/.cbtrc

A saída será semelhante a esta:

project = <project-id> instance = sandiego

Criar uma tabela do Bigtable com grupos de colunas

Depois de configurar o arquivo .cbtrc no Cloud Shell, é possível executar um comando simples da CLI cbt para criar uma nova tabela do Bigtable com grupos de colunas.

• Para criar uma nova tabela chamada current_conditions com um grupo de colunas chamado lane, execute o seguinte comando:

cbt createtable current_conditions \ families="lane"

Clique em Verificar meu progresso para conferir o objetivo. Crie uma instância e uma tabela do Bigtable.

Tarefa 2: simular os dados do sensor de tráfego no Pub/Sub

Nesta tarefa, você vai executar um simulador de dados de streaming em uma máquina virtual (VM) do Compute Engine criada para este laboratório. Para começar esta tarefa, você vai inserir comandos em uma VM chamada training-vm para configurar seu ambiente e baixar os arquivos necessários para o simulador de dados de streaming.

Conecte-se à VM

1. No console do Google Cloud, acesse o Menu de navegação e clique em Compute Engine > Instâncias de VM.

2. Encontre a linha com a instância chamada training-vm e, em Conectar, clique em SSH.

   Uma janela de terminal para training-vm será aberta.

   A instância training-vm está instalando alguns softwares em segundo plano. Na próxima etapa, você vai conferir o conteúdo do novo diretório para confirmar se a configuração foi concluída.

3. Para listar o conteúdo do diretório chamado training, execute o seguinte comando:

ls /training

A VM estará pronta para você continuar quando a saída do comando ls gerar o seguinte resultado:

bq_magic.sh project_env.sh sensor_magic.sh

Se os três scripts não estiverem listados, aguarde alguns minutos e tente novamente.

Observação: pode levar de 2 a 3 minutos para todas as ações em segundo plano serem concluídas.

Executar script para simular dados de streaming

1. Para fazer o download de um repositório de código para usar neste laboratório, execute o seguinte comando:

git clone https://github.com/GoogleCloudPlatform/training-data-analyst

2. Para configurar as variáveis de ambiente necessárias, execute o seguinte comando:

source /training/project_env.sh

Esse script define as variáveis de ambiente $DEVSHELL_PROJECT_ID e $BUCKET para que você não precise defini-las manualmente para o ID do projeto e o nome do bucket do Cloud Storage.

Um bucket do Cloud Storage foi criado para você durante a inicialização dos recursos do laboratório.

3. Para iniciar o simulador de dados de streaming, execute o seguinte comando:

/training/sensor_magic.sh

Este script lê os dados de amostra de um arquivo csv e os publica no Pub/Sub. Esse script enviará o equivalente a uma hora de dados em apenas um minuto.

Deixe o script em execução no terminal atual e continue com as próximas tarefas.

Clique em Verificar meu progresso para conferir o objetivo. Simular dados de sensor de tráfego de streaming no Pub/Sub.

Tarefa 3: iniciar um pipeline do Dataflow para gravar dados do Pub/Sub no Bigtable

Nesta tarefa, você vai abrir um segundo terminal SSH em training_vm e executar comandos para iniciar um job do Dataflow para gravar dados de streaming do Pub/Sub no Bigtable.

Abra um segundo terminal SSH

1. Na janela do terminal atual, clique em Configurações do terminal () e depois em Nova conexão.

Uma segunda janela de terminal será aberta. Esta nova sessão do terminal não terá as variáveis de ambiente necessárias. Na próxima etapa, você vai definir essas variáveis na nova sessão do terminal.

2. Para definir as variáveis de ambiente no novo terminal, execute o seguinte comando:

source /training/project_env.sh

Esse script define as variáveis de ambiente $DEVSHELL_PROJECT_ID e $BUCKET na nova janela do terminal.

Iniciar um pipeline do Dataflow

1. Para acessar o diretório de código no novo terminal, execute o seguinte comando:

cd ~/training-data-analyst/courses/streaming/process/sandiego

2. Para revisar o script usando o nano, execute o seguinte comando:

nano run_oncloud.sh

Não modifique o código.

Esse script usa três argumentos obrigatórios para executar um job do Dataflow:

• ID do projeto
• Nome do bucket do Cloud Storage
• Nome da classe Java
• quarto argumento opcional para opções

Nas próximas etapas, você vai usar a opção --bigtable para direcionar o pipeline do Dataflow a gravar dados no Bigtable.

3. Para sair do nano, pressione CTRL+X.

4. Para configurar o script run_oncloud.sh para usar a região padrão do projeto, execute o seguinte comando:

sed -i 's/\$REGION/{{{project_0.default_region | REGION}}}/' run_oncloud.sh

5. Para iniciar o pipeline do Dataflow para ler no Pub/Sub e gravar no Bigtable, execute o seguinte comando:

./run_oncloud.sh $DEVSHELL_PROJECT_ID $BUCKET CurrentConditions --bigtable

Quando o pipeline for iniciado com sucesso, você verá uma mensagem semelhante a esta:

[INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 01:09 min [INFO] Finished at: 2022-06-01T17:21:29+00:00 [INFO] Final Memory: 60M/220M [INFO] ------------------------------------------------------------------------

Analisar o pipeline do Dataflow

1. No console do Google Cloud, acesse o Menu de navegação e clique em Ver todos os produtos. Em Análise de dados, clique em Dataflow > Jobs.

2. Clique no novo nome do job do pipeline.

3. Encontre a etapa write:cbt no gráfico do pipeline e clique na seta para baixo ao lado de write:cbt para ver os detalhes do gravador.

4. Clique no gravador fornecido e revise os detalhes em Informações da etapa.

Clique em Verificar meu progresso para conferir o objetivo. Iniciar um pipeline do Dataflow.

Tarefa 4: verificar os dados de streaming carregados no Bigtable

Você já configurou o arquivo .cbtrc no Cloud Shell em uma tarefa anterior. Agora você pode executar um comando simples da CLI cbt para consultar os cinco primeiros registros da tabela.

• Para conferir as cinco primeiras linhas de dados e os respectivos valores no grupo de colunas lane, execute o seguinte comando:

cbt read current_conditions count=5 \ columns="lane:.*"

O resultado será assim:

---------------------------------------------- ROW KEY COLUMN_FAMILY:COLUMN_QUALIFIER @ TIMESTAMP VALUE

Os valores de saída serão semelhantes a estes:

---------------------------------------------- 15#S#1#9223370811310975807 lane:direction @ 1970/01/15-04:25:43.800000 "S" lane:highway @ 1970/01/15-04:25:43.800000 "15" lane:lane @ 1970/01/15-04:25:43.800000 "1.0" lane:latitude @ 1970/01/15-04:25:43.800000 "32.706184" lane:longitude @ 1970/01/15-04:25:43.800000 "-117.120565" lane:sensorId @ 1970/01/15-04:25:43.800000 "32.706184,-117.120565,15,S,1" lane:speed @ 1970/01/15-04:25:43.800000 "71.4" lane:timestamp @ 1970/01/15-04:25:43.800000 "2008-11-01 12:50:00"

Tarefa 5: interromper os jobs de streaming e exclua os dados do Bigtable

Nesta última tarefa, você vai usar comando para interromper o job de dados de streaming e excluir a instância e a tabela do Bigtable.

Interromper dados de streaming simulados

1. No primeiro terminal SSH com o simulador de dados de streaming, para interromper a simulação, pressione CONTROL+C.

Interromper o job do Dataflow

1. No console do Google Cloud, no Menu de navegação, clique em Dataflow > Jobs.

2. Clique no nome do job do pipeline.

3. Clique em Interromper.

4. Selecione Cancelar e clique em Parar job.

Excluir uma tabela e uma instância do Bigtable

1. Para excluir a tabela do Bigtable, execute o seguinte comando no Cloud Shell:

cbt deletetable current_conditions

2. Para excluir a instância do Bigtable, execute o seguinte comando:

gcloud bigtable instances delete sandiego

Se precisar confirmar, digite Y.

Clique em Verificar meu progresso para conferir o objetivo. Interromper os jobs de streaming e excluir os dados do Bigtable.

Parabéns!

Neste laboratório, você usou comandos para criar uma nova instância e tabela do Bigtable, transmitiu dados para a tabela usando o Dataflow e confirmou a transmissão bem-sucedida desses dados no Bigtable, tudo isso executando comandos simples da CLI cbt. Você concluiu o laboratório usando comandos para interromper o job e excluir a tabela e a instância do Bigtable.

Próximas etapas/Saiba mais

• Confira o laboratório Monitoramento e gerenciamento da integridade e do desempenho do Bigtable.

Treinamento e certificação do Google Cloud

Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.

Manual atualizado em 19 de agosto de 2025.

Laboratório testado em 19 de agosto de 2025.

Copyright 2025 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.