O armazenamento e a consulta de grandes conjuntos de dados podem levar muito tempo e custar caro sem a infraestrutura e o hardware adequados. O BigQuery é um data warehouse corporativo que resolve esse problema usando a capacidade de processamento da infraestrutura do Google para possibilitar consultas SQL super-rápidas. Basta você transferir os dados para o BigQuery, e ele faz todo o trabalho. Controle o acesso ao projeto e aos dados de acordo com a necessidade dos negócios, por exemplo, definindo quem tem permissão para visualizar ou consultar os dados.
Acesse o BigQuery usando o Console do Cloud, a ferramenta de linha de comando ou fazendo chamadas para a API REST BigQuery com várias bibliotecas de cliente como Java, .NET ou Python. Também existem diversas ferramentas de terceiros para você interagir com o BigQuery ao visualizar ou carregar dados, por exemplo. Neste laboratório, você vai acessar o BigQuery pela IU da Web.
Use a IU da Web do BigQuery no Console do Cloud como uma interface visual para realizar tarefas como consultas e carregamento ou exportação de dados. Neste laboratório prático, você vai aprender a consultar tabelas em um conjunto de dados público e a carregar dados de amostra no BigQuery pelo Console do Cloud.
Objetivos
Neste laboratório, você vai aprender a fazer o seguinte:
Consultar um conjunto de dados público
Criar uma tabela personalizada
Carregar dados em uma tabela
Consultar uma tabela
Configurar os ambientes
Configuração do laboratório
Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.
Faça login no Qwiklabs em uma janela anônima.
Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.
Quando tudo estiver pronto, clique em Começar o laboratório.
Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.
Clique em Abrir Console do Google.
Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.
Aceite os termos e pule a página de recursos de recuperação.
Abrir o BigQuery no Console do Cloud
No Console do Google Cloud, selecione o menu de navegação > BigQuery:
Você vai ver a caixa de mensagem Olá! Este é o BigQuery no Console do Cloud. Ela tem um link para o guia de início rápido e lista as atualizações da IU.
Clique em Concluído.
Tarefa 1: consulte um conjunto de dados público
Nesta tarefa, você vai carregar o conjunto de dados público "USA Names" no BigQuery e o consultar para descobrir os nomes mais comuns nos EUA entre 1910 e 2013.
Carregue o conjunto de dados "USA Names"
Em Digite para pesquisar no painel "Explorador", insira usa_names e pressione Enter.
Clique em PESQUISAR TODOS OS PROJETOS.
No painel "Explorador", passe o cursor sobre bigquery-public-data e clique em Marcar com estrela.
Na caixa Digite para pesquisar, insira bigquery-public-data.
Isso vai mostrar todos os conjuntos de dados no projeto.
Observação: se o novo projeto bigquery-public-data não aparecer no painel "Explorador", clique em + ADICIONAR DADOS > Marcar um projeto com estrela por nome > Marcar um projeto com estrela (bigquery-public-data) e MARCAR COM ESTRELA.
Selecione Expandir nó em bigquery-public-data.
Role para baixo na lista de conjuntos de dados públicos, clique em Mais resultados e encontre a opção usa_names.
Clique em usa_names para abrir o conjunto de dados.
Em seguida, abra a tabela clicando em usa_1910_2013.
Consultar o conjunto de dados "USA Names"
Consulte bigquery-public-data.usa_names.usa_1910_2013 e confira o nome e o gênero dos bebês nesse conjunto de dados. Depois liste os 10 nomes mais comuns em ordem decrescente.
Clique em Consulta e selecione Em uma nova guia.
Copie e cole a seguinte consulta na área de texto Editor de consultas para substituir a atual:
SELECT
name, gender,
SUM(number) AS total
FROM
`bigquery-public-data.usa_names.usa_1910_2013`
GROUP BY
name, gender
ORDER BY
total DESC
LIMIT
10
Confira o validador de consultas no canto superior direito da janela.
O BigQuery vai mostrar um ícone de marca de seleção verde se a consulta for válida. Caso contrário, você verá um ícone de ponto de exclamação vermelho. Quando a consulta é válida, o validador também mostra a quantidade de dados que ela processa quando executada. Isso ajuda a determinar o custo de execução da consulta.
Clique em Executar.
Os resultados são mostrados abaixo do Editor de consultas. Na parte de cima da seção "Resultados da consulta", o BigQuery mostra o tempo decorrido e os dados processados pela consulta. A tabela com os resultados da consulta aparece embaixo do tempo. A linha do cabeçalho contém o nome da coluna, conforme especificado em GROUP BY na consulta.
Tarefa 2: crie uma tabela personalizada
Nesta tarefa, você vai criar uma tabela personalizada para carregar os dados e executar uma consulta nela.
Faça o download dos dados para o computador local
Você está fazendo o download de um arquivo que tem aproximadamente 7 MB de dados com os nomes mais comuns de bebês, fornecido pela Previdência Social dos EUA.
Faça o download do arquivo ZIP com os nomes de bebês em um computador local.
Observação: se esse link de download falhar, copie o arquivo ZIP com os nomes de bebês dos recursos para estudantes, no painel esquerdo do guia de instruções.
Descompacte o arquivo no computador.
Abra o arquivo yob2014.txt para conferir os dados. Trata-se de um arquivo de valores separados por vírgulas (CSV) com três colunas: nome, sexo (M ou F) e número de crianças com esse nome. O arquivo não tem linha de cabeçalho.
Anote a localização do arquivo yob2014.txt para encontrá-lo depois.
Tarefa 3: crie um conjunto de dados
Nesta tarefa, você vai criar um conjunto de dados com o conteúdo da tabela e adicionar dados ao projeto. Em seguida, você vai criar a tabela de dados para consultar.
Com os conjuntos de dados, é possível controlar o acesso a tabelas e visualizações em um projeto. Este laboratório usa apenas uma tabela, mas você precisa ter um conjunto de dados para adicioná-la.
Volte ao console do Cloud. No painel Explorador, apague bigquery-public-data na caixa "Digite para pesquisar".
Observação: se você usou a opção Marcar um projeto com estrela por nome, role de volta até o topo dos resultados da pesquisa.
Clique no ID do projeto (começa com "qwiklabs").
Clique nos três pontos ao lado do ID do projeto e, em seguida, selecione Criar conjunto de dados.
Na página Criar conjunto de dados:
Em ID do conjunto de dados, insira babynames.
Em Localizador de dados, escolha us (várias regiões nos Estados Unidos).
Mantenha o valor padrão em Expiração da tabela padrão.
Em Criptografia, use o valor padrão.
Na parte de baixo do painel, clique em Criar conjunto de dados.
Tarefa 4: carregue os dados em uma nova tabela
Nesta tarefa, você vai carregar os dados na tabela que criou.
No painel "Explorador", abra o conjunto de dados do ID do projeto.
Clique nos três pontos ao lado de babynames e depois em Criar tabela.
Use os valores padrão de todas as configurações, a menos que indicado de outra forma.
Na página Criar tabela:
Em Origem, escolha Fazer upload no menu suspenso Criar tabela de:.
Para Selecionar arquivo, clique em Procurar. Depois, navegue até o arquivo yob2014.txt e clique em Abrir.
Para Formato do arquivo, escolha CSV no menu suspenso.
Para Nome da tabela, digite names_2014.
Na seção Esquema, ative a opção Editar como texto e cole na caixa a seguinte definição de esquema:
name:string,gender:string,count:integer
Clique em Criar tabela na parte de baixo da janela.
Observação: os dados serão importados mesmo se aparecer um erro de importação. Clique em Fechar para remover o erro e em Cancelar para sair da caixa de diálogo de importação. Por último, selecione Sim, sair em resposta ao aviso de que suas mudanças não serão salvas.
Consultar uma prévia da tabela
No painel "Explorador", selecione babynames > names_2014.
No painel de detalhes, clique na guia Visualizar.
Tarefa 5: consulte a tabela
Agora os dados já estão na sua tabela e podem ser consultados. O processo é idêntico ao exemplo anterior, mas desta vez as consultas são feitas na sua tabela, e não em uma pública.
No editor de consultas, clique em Criar consulta SQL.
Copie e cole a consulta abaixo no editor. A consulta retorna os cinco nomes masculinos de bebês mais comuns nos EUA em 2014.
Observação: as informações entre aspas (") diferenciam maiúsculas de minúsculas. É importante que os nomes dos conjunto de dados e das tabelas correspondam.
SELECT
name, count
FROM
`babynames.names_2014`
WHERE
gender = 'M'
ORDER BY count DESC LIMIT 5
Clique em Executar. Os resultados são mostrados abaixo da janela de consulta.
Parabéns!
Você consultou um conjunto de dados público, criou uma tabela personalizada, carregou dados nela e executou uma consulta na tabela.
Finalize o laboratório
Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.
Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.
O número de estrelas indica o seguinte:
1 estrela = muito insatisfeito
2 estrelas = insatisfeito
3 estrelas = neutro
4 estrelas = satisfeito
5 estrelas = muito satisfeito
Feche a caixa de diálogo se não quiser enviar feedback.
Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.
Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.
Os laboratórios criam um projeto e recursos do Google Cloud por um período fixo
Os laboratórios têm um limite de tempo e não têm o recurso de pausa. Se você encerrar o laboratório, vai precisar recomeçar do início.
No canto superior esquerdo da tela, clique em Começar o laboratório
Usar a navegação anônima
Copie o nome de usuário e a senha fornecidos para o laboratório
Clique em Abrir console no modo anônimo
Fazer login no console
Faça login usando suas credenciais do laboratório. Usar outras credenciais pode causar erros ou gerar cobranças.
Aceite os termos e pule a página de recursos de recuperação
Não clique em Terminar o laboratório a menos que você tenha concluído ou queira recomeçar, porque isso vai apagar seu trabalho e remover o projeto
Este conteúdo não está disponível no momento
Você vai receber uma notificação por e-mail quando ele estiver disponível
Ótimo!
Vamos entrar em contato por e-mail se ele ficar disponível
Um laboratório por vez
Confirme para encerrar todos os laboratórios atuais e iniciar este
Use a navegação anônima para executar o laboratório
Para executar este laboratório, use o modo de navegação anônima ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.
Quer analisar conjuntos de dados grandes na nuvem? Neste laboratório básico, você vai usar o BigQuery para carregar e analisar um conjunto de dados público com SQL.
Duração:
Configuração: 0 minutos
·
Tempo de acesso: 60 minutos
·
Tempo para conclusão: 60 minutos