Informações gerais

O BigQuery é um banco de dados de análise NoOps, totalmente gerenciado e de baixo custo desenvolvido pelo Google. Com ele, você pode consultar muitos terabytes de dados sem ter que gerenciar uma infraestrutura ou precisar de um administrador de banco de dados. O BigQuery usa SQL e está disponível no modelo de pagamento por uso. Assim, você pode se concentrar na análise dos dados para encontrar insights relevantes.

Você usará um conjunto de dados de comércio eletrônico com milhões de registros do Google Analytics referentes à Google Merchandise Store e carregados no BigQuery. Você tem uma cópia do conjunto de dados usado neste laboratório e analisará os campos e linhas disponíveis para extrair insights.

Neste laboratório, você fará a ingestão de vários tipos de conjuntos de dados em tabelas dentro do BigQuery.

Configuração e requisitos

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

1. Faça login no Qwiklabs em uma janela anônima.

2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
   Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

3. Quando tudo estiver pronto, clique em Começar o laboratório.

4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

5. Clique em Abrir Console do Google.

6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
   Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

7. Aceite os termos e pule a página de recursos de recuperação.

Abra o BigQuery no Console do Cloud

1. No Console do Google Cloud, selecione o menu de navegação > BigQuery:

Você vai ver a caixa de mensagem Olá! Este é o BigQuery no Console do Cloud. Ela tem um link para o guia de início rápido e lista as atualizações da interface.

2. Clique em Concluído.

Tarefa 1: crie um conjunto de dados para armazenar tabelas

1. No console do BigQuery, clique nos três pontos verticais ao lado do seu projeto. Em seguida, clique em Criar conjunto de dados.

2. Defina o ID do conjunto de dados como e-commerce. Não altere os valores dos outros campos.

3. Clique em Criar conjunto de dados.

O conjunto de dados de e-commerce vai aparecer abaixo do nome do projeto.

Tarefa 2: faça a ingestão de um novo conjunto de dados de um CSV

Situação: sua equipe de marketing entrou em contato com você para saber quais produtos vão entrar em promoção, considerando os níveis de estoque. A equipe também quer avaliar o desempenho dos produtos de acordo com as avaliações dos clientes.

Seu conjunto de dados transacional de comércio eletrônico não indica os níveis de estoque nem inclui dados de avaliação de produtos, mas as equipes de operações e marketing enviaram novos conjuntos de dados para você analisar.

Para começar:

1. Salve o conjunto de dados de nível de estoque de produtos no seu computador.

2. Selecione o conjunto de dados de e-commerce e clique em Criar tabela.

3. Especifique as seguintes opções para a tabela:

Fonte:

• Criar tabela de: Upload
• Selecionar arquivo: selecione o arquivo que você salvou antes
• Formato do arquivo: CSV

Destino:

• Nome da tabela: products

• Não altere as outras configurações.

Esquema:

• Marque a opção Detectar automaticamente para "Parâmetros de esquema e entrada".

Dica: não está encontrando a caixa de seleção? Confirme que o formato de arquivo é CSV, e não Avro.

• Configurações de "Partição" e "Cluster": não altere os valores padrão.

Opções avançadas:

• Não altere as configurações padrão.

4. Clique em Criar tabela.

A tabela products agora vai aparecer abaixo do conjunto de dados de e-commerce.

5. Selecione a tabela "products" e confira os detalhes:

6. Selecione Visualizar e confirme se todas as colunas foram carregadas (exemplificadas abaixo):

SKU	name	orderedQuantity	stockLevel	restockingLeadTime
GGOEGDHQ014899	20 oz Stainless Steel Insulated Tumbler	499	652	2
GGOEGOAB022499	Satin Black Ballpoint Pen	403	477	2
GGOEYHPB072210	Twill Cap	1429	1997	2
GGOEGEVB071799	Pocket Bluetooth Speaker	214	246	2

Você carregou um arquivo CSV em uma nova tabela do BigQuery.

Como analisar os dados carregados com SQL

Para praticar, faça uma consulta básica na nova tabela de produtos em busca de insights.

• No Editor de consultas, crie uma consulta para listar os cinco produtos com mais unidades em estoque (stockLevel):

#standardSQL SELECT * FROM ecommerce.products ORDER BY stockLevel DESC LIMIT 5

Tarefa 3: faça a ingestão de dados no Google Cloud Storage

1. Selecione o conjunto de dados de e-commerce e clique em Criar tabela.

2. Especifique as opções de tabela abaixo:

Fonte:

• Criar tabela de: Google Cloud Storage
• Selecionar arquivo do bucket do GCS: cloud-training/data-insights-course/exports/products.csv
• Formato do arquivo: CSV

Destino:

• Nome da tabela: products

• Não altere as outras configurações.

Esquema:

• Marque a opção Detectar automaticamente para "Parâmetros de esquema e entrada".

Opções avançadas:

• Não altere as configurações padrão.

3. Clique em Criar tabela.

Funcionou? Não.

4. Clique em Fechar para fechar a mensagem e depois em Cancelar na caixa de diálogo Criar tabela.

5. No menu à esquerda, clique em Histórico de projetos e selecione a mensagem de erro.

6. Clique no botão Carregar o job novamente.

7. No formulário "Criar tabela", clique em Opções avançadas. No menu suspenso Preferência de gravação, selecione Substituir tabela.

8. Em seguida, clique em Criar tabela.

9. Confirme se a tabela foi executada corretamente.

Tarefa 4: faça a ingestão de um novo conjunto de dados usando um arquivo do Planilhas Google

1. Selecione Escrever nova consulta.

2. Execute a próxima consulta para conferir quais produtos precisam de reposição mais urgente com base na rotatividade do estoque, e saber em quanto tempo a reposição pode ser feita:

#standardSQL SELECT *, SAFE_DIVIDE(orderedQuantity,stockLevel) AS ratio FROM ecommerce.products WHERE # include products that have been ordered and # are 80% through their inventory orderedQuantity > 0 AND SAFE_DIVIDE(orderedQuantity,stockLevel) >= .8 ORDER BY restockingLeadTime DESC Observação: se você especificar um caminho de nome de projeto relativo como ecommerce.products em vez de project_id.ecommerce.products, o BigQuery vai analisar o projeto atual.

Tarefa 5: salve os dados nas Planilhas Google

Situação: você quer oferecer à sua equipe de gerenciamento da cadeia de suprimentos um local para registrar os pedidos de reposição feitos aos fornecedores e incluir anotações sobre os itens. Você escolhe usar uma Planilha Google para fazer uma pesquisa rápida.

Agora você criará a tabela:

1. Em "Resultados da consulta", selecione Salvar resultados > Planilhas Google.

2. Uma janela pop-up com um link para abrir a planilha vai aparecer. Clique em Abrir.

3. Adicione um campo com o título Comments na coluna G da planilha e digite new shipment on the way na linha do primeiro produto.

4. Nas Planilhas Google, selecione Compartilhar > Receber link compartilhável e copie o link.

5. Volte para a guia do BigQuery.

6. Clique no conjunto de dados ecommerce e em Criar tabela.

7. Especifique estas opções de tabela:

Fonte:

• Criar tabela de: Drive
• Selecionar URI do Drive: put-your-spreadsheet-url-here
• Formato do arquivo: Planilha Google

Destino:

• Tipo de tabela: não altere a opção padrão ("Tabela externa")
• Nome da tabela: products_comments

Esquema:

• Marque a opção Detectar automaticamente para "Parâmetros de esquema e entrada".

Opções avançadas:

• Em Linhas de cabeçalho a serem ignoradas, digite 1.
• Não altere as outras opções.

8. Clique em Criar tabela.

Observação: não há job de carregamento para criar uma tabela vinculada externamente, já que os dados não são ingeridos.

Consulte dados de uma planilha externa

1. Clique em Escrever nova consulta.

2. Adicione a consulta abaixo e execute:

#standardSQL SELECT * FROM ecommerce.products_comments WHERE comments IS NOT NULL

Aguarde a execução da consulta. Você perceberá que o novo campo comments agora é retornado.

SKU	name	orderedQuantity	stockLevel	restockingLeadTime	ratio	comments
GGOENEBB078899	Cam Indoor Security Camera - USA	2139	2615	42	0.8179732314	new shipment on the way

3. Volte para a guia da Planilha Google.

4. Digite mais comentários no campo "Comments".

5. Volte para o BigQuery e clique em Executar para executar a consulta novamente.

6. Confirme se os novos dados aparecem corretamente nos resultados.

Você criou uma conexão entre uma tabela externa das Planilhas Google e o BigQuery.

Tarefa 6: confira as considerações sobre o desempenho de tabelas externas e a qualidade dos dados

Vincular tabelas externas ao BigQuery (por exemplo, do Planilhas Google ou diretamente no Google Cloud Storage) é um método com várias limitações. Duas das mais importantes são as seguintes:

• Não é possível garantir a consistência dos dados se os valores forem alterados na origem durante a consulta.
• As fontes de dados armazenadas fora do BigQuery perdem os benefícios de desempenho que esse serviço oferece como gerenciador do armazenamento de dados, entre eles: a otimização automática do caminho de execução de consultas e a desativação de determinadas funções de caractere curinga.

Parabéns!

Você criou um novo conjunto de dados e fez a ingestão de novas fontes de dados externas no BigQuery usando arquivos CSV, o Google Cloud Storage e o Google Drive.

Finalize o laboratório

Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.

Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.