Carregando...
Nenhum resultado encontrado.

Create the BigQuery AWS connection

Verificar meu progresso

/ 25

Create the BigQuery Dataset and External Table

Verificar meu progresso

/ 25

Query the External Table

Verificar meu progresso

/ 25

Export query results to AWS S3

Verificar meu progresso

/ 25

Este laboratório pode incorporar ferramentas de IA para ajudar no seu aprendizado.
Este conteúdo ainda não foi otimizado para dispositivos móveis.
Para aproveitar a melhor experiência, acesse nosso site em um computador desktop usando o link enviado a você por e-mail.

GSP1075

Laboratórios autoguiados do Google Cloud

Visão geral

Neste laboratório, você vai aprender a usar o BigQuery Omni com a AWS. O BigQuery Omni permite executar análises do BigQuery em dados armazenados no AWS S3. Você vai criar uma conexão autorizada entre o BigQuery do Google Cloud e o AWS S3, consultar dados que residem em buckets do S3 sem nenhuma movimentação de dados e gravar os resultados da consulta de volta nos buckets do AWS S3. Este laboratório é derivado de um guia do BigQuery Omni publicado pelo Google.

Arquitetura de alto nível

Arquitetura de alto nível

Objetivos

Neste laboratório, você aprenderá a fazer o seguinte:

  • Criar uma conexão entre o Google Cloud e a AWS
  • Autorizar o BigQuery Omni a ler dados em um bucket do AWS S3
  • Criar uma tabela externa do BigQuery que faça referência aos dados brutos no bucket do AWS S3
  • Executar consultas em dados do AWS S3
  • Exportar os resultados das consultas para um bucket do AWS S3

Configuração e requisitos

Antes de clicar no botão Começar o Laboratório

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é ativado quando você clica em Iniciar laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, e não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

  • Acesso a um navegador de Internet padrão (recomendamos o Chrome).
Observação: para executar este laboratório, use o modo de navegação anônima (recomendado) ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e de estudante, o que poderia causar cobranças extras na sua conta pessoal.
  • Tempo para concluir o laboratório: não se esqueça que, depois de começar, não será possível pausar o laboratório.
Observação: use apenas a conta de estudante neste laboratório. Se usar outra conta do Google Cloud, você poderá receber cobranças nela.

Como iniciar seu laboratório e fazer login no console do Google Cloud

  1. Clique no botão Começar laboratório. Se for preciso pagar por ele, uma caixa de diálogo vai aparecer para você selecionar a forma de pagamento. À direita, você encontra o painel Configuração e acesso ao laboratório com as seguintes informações:

    • O botão Abrir console do Google Cloud
    • As credenciais temporárias (nome de usuário e senha) que você vai usar no laboratório
    • Outros dados, se necessários

    O timer do laboratório fica na parte de cima da página e mostra o tempo restante.

  2. Se você estiver usando o navegador Chrome, clique em Abrir console do Google Cloud ou clique com o botão direito do mouse e selecione Abrir link em uma janela anônima.

    O laboratório ativa os recursos e depois abre a página "Login" em outra guia.

    Dica: coloque as guias em janelas separadas lado a lado.

    Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

  3. Se necessário, copie o Nome de usuário abaixo e cole na caixa de diálogo Login.

    {{{user_0.username | "Username"}}}

    Você também encontra o nome de usuário no painel Configuração e acesso ao laboratório.

  4. Clique em Avançar.

  5. Copie a Senha abaixo e cole na caixa de diálogo Olá!.

    {{{user_0.password | "Password"}}}

    Você também encontra a senha no painel Configuração e acesso ao laboratório.

  6. Clique em Avançar.

    Importante: você precisa usar as credenciais fornecidas no laboratório, e não as da sua conta do Google Cloud. Observação: se você usar sua própria conta do Google Cloud neste laboratório, talvez receba cobranças adicionais.

  7. Acesse as próximas páginas:

    • Aceite os Termos e Condições.
    • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
    • Não se inscreva em testes sem custo financeiro.

Depois de alguns instantes, o console do Google Cloud será aberto nesta guia.

Observação: para acessar os produtos e serviços do Google Cloud, clique no Menu de navegação ou digite o nome do serviço ou produto no campo Pesquisar. Ícone do menu de navegação e campo de pesquisa

Tarefa 1: criar uma conexão do BigQuery com a AWS

O BigQuery Omni acessa os dados do Amazon S3 por conexões autorizadas do Google Cloud. Cada conexão tem um usuário único do Identity and Access Management (IAM) da Amazon Web Services (AWS). Você concede permissões aos usuários por meio de papéis do IAM da AWS. As políticas nos papéis do IAM da AWS determinam quais dados o BigQuery pode acessar para cada conexão.

Observação: neste laboratório, você vai usar os consoles do Google Cloud e da AWS e alternar as duas guias/janelas com base nas descrições das tarefas.

Criar uma política do IAM da AWS para o BigQuery

  1. Faça login no console de gerenciamento da AWS. Clique no botão Abrir console da AWS no painel do laboratório e faça login com o nome de usuário e a senha fornecidos.

  2. Pesquise Amazon S3 na barra de pesquisa no topo da tela e selecione S3. Um bucket regional chamado com dados pré-preenchidos já está disponível para este laboratório. Copie o nome do bucket para usá-lo nas próximas etapas.

  3. Pesquise AWS Identity and Access Management (IAM) na barra de pesquisa no topo da tela e selecione IAM.

  4. No painel à esquerda, selecione Políticas e clique em bigquery-omni-connection-policy.

  5. Clique na guia JSON, depois em Editar e cole o código abaixo no editor. Substitua todas as instâncias de <BUCKET_NAME> pelo nome do bucket do S3 que você copiou na etapa 2.

{ "Statement": [ { "Action": [ "s3:ListBucket" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<BUCKET_NAME>" ], "Sid": "BucketLevelAccess" }, { "Action": [ "s3:GetObject" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<BUCKET_NAME>", "arn:aws:s3:::<BUCKET_NAME>/*" ], "Sid": "ObjectLevelGetAccess" }, { "Action": [ "s3:PutObject" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<BUCKET_NAME>", "arn:aws:s3:::<BUCKET_NAME>/*" ], "Sid": "ObjectLevelPutAccess" } ], "Version": "2012-10-17" }

  1. Clique em Avançar.

  2. Clique em Salvar alterações.

Validar o IAM da AWS para o BigQuery

  1. No painel esquerdo, selecione Papéis.

  2. Clique no papel bigquery-omni-connection.

  3. Copie o ARN, que estará no formato abaixo, em que <ACCOUNT_ID> é o ID da sua conta da AWS.

arn:aws:iam::<ACCOUNT_ID>:role/bigquery-omni-connection

ARN do papel copiado

Criar a conexão entre a AWS e o BigQuery

  1. No console do Google Cloud, acesse o Menu de navegação e clique em BigQuery > Studio.

  2. Acesse o painel Explorador e selecione + Adicionar dados.

Adicionar dados

  1. Clique na caixa de seleção Armazenamento/data lakes. Em Fontes de dados em destaque, selecione Amazon S3 e depois Federação do BigQuery Omni.

  2. No painel Fonte de dados externa, insira as seguintes informações:

    • Em Tipo de conexão, selecione Lakehouse na AWS (via BigQuery Omni).
    • Em ID da conexão, digite bq-omni-aws-connector como identificador do recurso de conexão.
    • Em Local da conexão, selecione aws-us-east-1.
    • Opcional: em Nome de exibição, insira um nome fácil de usar para a conexão. Ele pode ser qualquer valor que ajude você a identificar o recurso de conexão se precisar modificá-lo mais tarde.
    • Opcional: em Descrição, insira uma descrição para o recurso de conexão.
    • Em ID do papel da AWS, insira o ARN completo do papel do IAM que você copiou na etapa anterior neste formato: arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME

  3. Clique em Criar conexão.

  4. Volte para o BigQuery Classic Explorer, clique no menu suspenso ao lado do nome do projeto e acesse a conexão recém-criada na lista Conexões externas.

informações do recurso de conexão do BigQuery

  1. Anote a Google Identity do BigQuery. Ela é um princípio do Google específico para cada conexão. Copie a Google Identity no BigQuery, que será usada na próxima seção.

Sua Google Identity do BigQuery será semelhante a esta:

BigQuery Google identity: 114999259451445753095

Clique em Verificar meu progresso para conferir o objetivo. Criar a conexão entre a AWS e o BigQuery

Adicionar um relacionamento de confiança ao papel da AWS

O relacionamento de confiança permite que a conexão entre o BigQuery e a AWS use o papel e acesse os dados do S3, conforme especificado na política de papéis.

  1. Volte ao console do IAM da AWS.

  2. No painel esquerdo, selecione Papéis.

  3. Selecione o papel bigquery-omni-connection.

  4. Verifique se a Duração máxima da sessão está definida como 12 horas. Como cada consulta pode ser executada por até seis horas, essa duração permite uma nova tentativa adicional. Aumentar a duração da sessão para além de 12 horas não permitirá novas tentativas adicionais. Para mais informações, consulte o limite de tempo de execução de consulta de várias instruções.

  5. Selecione a guia Relações de confiança e clique em Editar política de confiança.

  6. Substitua o conteúdo da política pelo seguinte, substituindo BIGQUERY_IDENTITY pela Google Identity do BigQuery que você copiou na etapa 6 – Criar a conexão entre a AWS e o BigQuery.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Federated": "accounts.google.com" }, "Action": "sts:AssumeRoleWithWebIdentity", "Condition": { "StringEquals": { "accounts.google.com:sub": "<BIGQUERY_IDENTITY>" } } } ] }
  1. Clique em Atualizar política.

A conexão está pronta para ser usada.

Observação: pode haver um atraso na propagação da atribuição de papéis na AWS. Se você receber um erro desse tipo ao usar uma nova conexão, aguardar e tentar novamente mais tarde pode resolver o problema.

Tarefa 2: executar consultas na tabela externa do AWS S3

O BigQuery Omni não gerencia dados armazenados no Amazon S3. Para acessar os dados do S3, defina uma tabela externa. Essa tabela é chamada de tabela externa porque os dados não ficam no armazenamento gerenciado do BigQuery. Para mais informações sobre tabelas externas, consulte Tabelas externas.

Criar um conjunto de dados do BigQuery

Nesta seção, você vai criar um conjunto de dados do BigQuery na mesma região do bucket do AWS S3.

  1. No console do Google Cloud, acesse a página do BigQuery para criar um conjunto de dados.

  2. No painel Classic Explorer, clique nos três pontos ao lado do nome do projeto e selecione Criar conjunto de dados.

  3. Na página Criar conjunto de dados, insira as seguintes informações:

    • Em ID do conjunto de dados, insira bq_omni_demo.
    • Em Local dos dados, selecione aws-us-east-1.

  4. Clique em Criar conjunto de dados.

Criar uma tabela externa

Nesta seção, você vai criar uma tabela externa no conjunto de dados acima.

  1. No explorador do BigQuery, abra o projeto e selecione o conjunto de dados bq_omni_demo criado.

  2. No painel de detalhes, clique em Criar tabela.

  3. Na página Criar tabela, na seção Origem, faça o seguinte:

    • Em Criar tabela de, selecione Amazon S3.
    • Em Selecionar caminho do S3, insira s3://[S3 bucket name]/taxi-data_green_trips_table.csv.
      • Substitua [S3 bucket name] por .
    • Em Formato do arquivo, selecione CSV.
Observação: os formatos compatíveis são AVRO, PARQUET, ORC, CSV, NEWLINE_DELIMITED_JSON e Google Planilhas. Importante: remova todos os espaços no caminho do S3 para evitar erros.

  1. Na seção Destino da página Criar tabela, faça o seguinte:

    • Em Nome do conjunto de dados, escolha bq_omni_demo.
    • No campo Nome da tabela, use bq-omni-table.
    • Verifique se o Tipo de tabela está definido como Tabela externa.
    • Em ID da conexão, escolha o ID apropriado na lista suspensa.
    • Na seção Esquema, marque a caixa de seleção Detectar automaticamente.

  2. Clique em Criar tabela.

Observação: não é preciso especificar o esquema da tabela, pois ela é detectada automaticamente com base no arquivo de origem.

Clique em Verificar meu progresso para conferir o objetivo. Criar um conjunto de dados e uma tabela externa do BigQuery

Tarefa 3: criar uma tabela externa e consultar dados do AWS S3

Com o BigQuery Omni, é possível consultar a tabela externa como qualquer tabela do BigQuery. O tamanho máximo do resultado para consultas interativas é 10 GB (visualização). Para mais informações, consulte Limitações. Se o resultado da consulta for maior que 10 GB, exporte-o para o Amazon S3. O resultado da consulta é armazenado em uma tabela temporária do BigQuery.

Consultar a tabela externa

  1. Na página de detalhes do bq-omni-table, clique em Consulta para abrir um novo editor.

  2. No editor de consultas, execute a instrução a seguir:

SELECT * FROM `{{{project_0.project_id|S3 bucket name}}}.bq_omni_demo.bq-omni-table`
  1. Clique em Executar.

Você verá esta resposta:

resultados da consulta

Clique em Verificar meu progresso para conferir o objetivo. Consultar a tabela externa

Tarefa 4: exportar os resultados da consulta para o AWS S3

O BigQuery Omni permite exportar o resultado de uma consulta em uma tabela externa do BigQuery para o Amazon S3.

Exportar resultados da consulta

O BigQuery Omni grava no local especificado do Amazon S3, independentemente do conteúdo que já estiver lá. A consulta de exportação pode substituir os dados ou combinar o resultado da consulta com os dados existentes. No campo "Editor de consultas", você precisa executar uma consulta SQL padrão de exportação do Google. O SQL padrão do Google é a sintaxe padrão do console do Google Cloud. Este é um modelo do que você precisa escrever:

EXPORT DATA WITH CONNECTION `CONNECTION_REGION.CONNECTION_NAME` \ OPTIONS(uri="s3://BUCKET_NAME/PATH", format="FORMAT", ...) \ AS QUERY

Você precisa substituir o seguinte:

  • CONNECTION_REGION: a região em que a conexão foi criada.
  • CONNECTION_NAME: o nome da conexão que você criou com a permissão necessária para gravar no bucket do S3.
  • BUCKET_NAME: o bucket do Amazon S3 em que você quer gravar os dados.
  • PATH: o caminho em que você quer gravar o arquivo exportado.
  • FORMAT: os formatos aceitos são JSON, AVRO e CSV.
  • QUERY: a consulta para analisar os dados armazenados em uma tabela externa do BigQuery.
  1. Neste laboratório, a consulta já foi preenchida para você. Cole-a no editor:
EXPORT DATA WITH CONNECTION `aws-us-east-1.bq-omni-aws-connector` OPTIONS(uri="s3://{{{project_0.project_id|S3 bucket name}}}/exports/*", format="CSV") AS SELECT * FROM `{{{project_0.project_id|S3 bucket name}}}.bq_omni_demo.bq-omni-table`
  1. Clique em Executar.

Você verá esta resposta:

Successfully exported 15417 rows into 1 files.
  1. Navegue até o bucket do S3 e verifique se os dados foram exportados no diretório exports.

Consulta de exportação do console da AWS para o bucket do S3

Ótimo! Você executou uma consulta de exportação e criou um arquivo no bucket do S3.

Clique em Verificar meu progresso para conferir o objetivo. Exportar os resultados da consulta para o AWS S3

Parabéns!

Neste laboratório, você criou uma conexão entre o Google Cloud e a AWS e autorizou o BigQuery Omni a ler os dados em um bucket do AWS S3. Depois, você criou uma tabela externa do BigQuery que faz referência aos dados brutos no bucket do AWS S3, executou consultas nos dados e exportou os resultados da consulta de volta para um bucket do AWS S3.

Próximas etapas/Saiba mais

Confira o seguinte para receber mais informações sobre o BigQuery Omni:

Treinamento e certificação do Google Cloud

Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.

Manual atualizado em 18 de maio de 2026

Laboratório testado em 19 de fevereiro de 2026

Copyright 2026 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.

Antes de começar

  1. Os laboratórios criam um projeto e recursos do Google Cloud por um período fixo
  2. Os laboratórios têm um limite de tempo e não têm o recurso de pausa. Se você encerrar o laboratório, vai precisar recomeçar do início.
  3. No canto superior esquerdo da tela, clique em Começar o laboratório

Usar a navegação anônima

  1. Copie o nome de usuário e a senha fornecidos para o laboratório
  2. Clique em Abrir console no modo anônimo

Fazer login no console

  1. Faça login usando suas credenciais do laboratório. Usar outras credenciais pode causar erros ou gerar cobranças.
  2. Aceite os termos e pule a página de recursos de recuperação
  3. Não clique em Terminar o laboratório a menos que você tenha concluído ou queira recomeçar, porque isso vai apagar seu trabalho e remover o projeto

Este conteúdo não está disponível no momento

Podemos avisar você por e-mail quando estiver disponível

Ótimo!

Vamos entrar em contato por e-mail se ficar disponível

Um laboratório por vez

Confirme para encerrar todos os laboratórios atuais e iniciar este

Use a navegação anônima para executar o laboratório

A melhor maneira de executar este laboratório é usando uma janela de navegação anônima ou privada. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.