Acesse mais de 700 laboratórios e cursos

Como encobrir dados confidenciais nos seus pipelines no Cloud Data Fusion

Laboratório 1 hora 30 minutos universal_currency_alt 5 créditos show_chart Avançado
info Este laboratório pode incorporar ferramentas de IA para ajudar no seu aprendizado.
Acesse mais de 700 laboratórios e cursos

GSP811

Logotipo dos laboratórios autoguiados do Google Cloud

Visão geral

Neste laboratório, você vai aprender a usar o plug-in da Proteção de Dados Sensíveis para o Cloud Fusion para encobrir dados sensíveis.

Considere o cenário a seguir, em que algumas informações sensíveis do cliente precisam ser encobertas.

Cenário: sua equipe de suporte documenta os detalhes de cada caso de suporte processado em um tíquete de suporte. Todas as informações nos tíquetes de suporte são extraídas para um arquivo CSV. Os técnicos de suporte não devem documentar informações de clientes consideradas sensíveis, mas às vezes fazem isso por engano. Você percebe que os números de telefone de alguns clientes são exibidos no arquivo CSV.

Você quer analisar o arquivo CSV e encobrir todos os números de telefone. Você cria um pipeline do Cloud Data Fusion que encobre os dados sensíveis do cliente usando o plug-in da Proteção de Dados Sensíveis.

Você vai criar um pipeline que faz o seguinte:

  • Encobre os números de telefone e e-mails dos clientes mascarando-os com o caractere #.
  • Armazena os dados sensíveis mascarados e os dados não sensíveis no Cloud Storage.

Objetivos

Neste laboratório, você vai aprender a:

  • Conectar o Cloud Data Fusion a uma origem do Cloud Storage.
  • Implantar o plug-in da Proteção de Dados Sensíveis.
  • Criar um modelo personalizado de Proteção de Dados Sensíveis.
  • Usar o plug-in de transformação Redact para mascarar dados confidenciais do cliente.
  • Gravar os dados de saída no Cloud Storage.

Configuração e requisitos

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período sem custo financeiro.

  1. Faça login no Google Cloud Ensina usando uma janela anônima.

  2. Verifique o tempo de acesso do laboratório (por exemplo, 02:00:00) para conseguir finalizar todas as atividades nesse prazo.
    Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

  3. Quando tudo estiver pronto, clique em Começar o laboratório.

    Observação: depois de clicar em Começar o laboratório, o tempo para provisionar os recursos necessários e criar uma instância do Data Fusion é de 15 a 20 minutos. Enquanto isso, você pode conferir as etapas abaixo para conhecer as metas do laboratório.

    Quando as credenciais do laboratório (nome de usuário e senha) aparecem no painel esquerdo, isso significa que a instância foi criada, e você pode continuar o login no console.
  4. Anote as credenciais (nome de usuário e senha). É com elas que você vai fazer login no console do Google Cloud.

  5. Clique em Abrir console do Google.

  6. Clique em Usar outra conta e copie e cole as credenciais deste laboratório nos locais indicados.
    Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

  7. Aceite os termos e pule a página de recursos de recuperação.

Observação: não clique em Terminar o laboratório a menos que você tenha concluído as atividades ou queira refazer tudo. Essa opção limpa as ações que você realizou e remove o projeto.

Fazer login no console do Google Cloud

  1. Na guia ou janela do navegador desta sessão de laboratório, copie o arquivo Nome de usuário do painel Detalhes da conexão e clique no botão Abrir console do Cloud.
Observação: se precisar escolher uma conta, clique em Usar outra conta.
  1. Cole o nome de usuário e a senha quando solicitado.
  2. Clique em Próxima.
  3. Aceite os Termos e Condições.

Como a conta é temporária, ela só dura até o final deste laboratório:

  • não adicione opções de recuperação;
  • não se inscreva em avaliações gratuitas.
  1. Assim que o console abrir, clique no menu de navegação (Ícone do menu de navegação) no canto superior esquerdo para acessar a lista de serviços.

Menu de navegação

Ativar o Cloud Shell

O Cloud Shell é uma máquina virtual que contém ferramentas para desenvolvedores. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud. O Cloud Shell oferece aos seus recursos do Google Cloud acesso às linhas de comando. A gcloud é a ferramenta ideal para esse tipo de operação no Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.

  1. No painel de navegação do Console do Google Cloud, clique em Ativar o Cloud Shell (Ícone do Cloud Shell).

  2. Clique em Continuar.
    O provisionamento e a conexão do ambiente podem demorar um pouco. Quando esses processos forem concluídos, você já vai ter uma autenticação, e o projeto estará definido com seu PROJECT_ID. Por exemplo:

Terminal do Cloud Shell

Exemplo de comandos

  • Liste o nome da conta ativa:

gcloud auth list

(Saída)

Credentialed accounts: - <myaccount>@<mydomain>.com (active)

(Exemplo de saída)

Credentialed accounts: - google1623327_student@qwiklabs.net
  • Liste o ID do projeto:

gcloud config list project

(Saída)

[core] project = <project_ID>

(Exemplo de saída)

[core] project = qwiklabs-gcp-44776a13dea667a6

Verifique as permissões do projeto

Antes de começar a trabalhar no Google Cloud, confira se o projeto tem as permissões corretas no Identity and Access Management (IAM).

  1. No Console do Google Cloud, acesse o menu de navegação (Ícone do menu de navegação) e clique em IAM e administrador > IAM.

  2. Confira se a conta de serviço padrão do Compute {project-number}-compute@developer.gserviceaccount.com está na lista e recebeu o papel de editor. O prefixo da conta é o número do projeto, que pode ser encontrado em Menu de navegação > Visão geral do Cloud.

Conta de serviço padrão do Compute

Se a conta não estiver no IAM ou não tiver o papel de editor, siga as etapas abaixo.

  1. No Menu de navegação do console do Google Cloud, clique em Visão geral do Cloud.

  2. No card Informações do projeto, copie o Número do projeto.

  3. No Menu de navegação, clique em IAM e administrador > IAM.

  4. Na parte superior da página IAM, clique em Adicionar.

  5. Para Novos principais, digite:

{project-number}-compute@developer.gserviceaccount.com

Substitua {project-number} pelo número do seu projeto.

  1. Em Selecionar um papel, selecione Básico (ou Projeto) > Editor.

  2. Clique em Salvar.

Tarefa 1: configurar o bucket do Cloud Storage

Você vai criar um bucket do Cloud Storage no seu projeto para que o pipeline possa armazenar os dados de saída.

  • No Cloud Shell, execute os seguintes comandos para criar um novo bucket:

    export BUCKET=$GOOGLE_CLOUD_PROJECT gcloud storage buckets create gs://$BUCKET

O nome do bucket criado é o mesmo do seu ID do projeto.

Clique em Verificar meu progresso para conferir o objetivo. Configurar o bucket do Cloud Storage

Tarefa 2: adicionar as permissões necessárias para a instância do Cloud Data Fusion

  1. No console do Cloud, no Menu de navegação, clique em Ver todos os produtos e selecione Data Fusion > Instâncias. Você vai ver uma instância do Cloud Data Fusion já configurada e pronta para uso.
Observação: a criação da instância leva entre 15 e 20 minutos. Aguarde até que ela fique pronta.

Em seguida, conceda permissões à conta de serviço associada à instância, de acordo com as etapas a seguir.

  1. No console do Google Cloud, acesse IAM e admin > IAM.

  2. Confirme se a conta de serviço padrão do Compute Engine {project-number}-compute@developer.gserviceaccount.com está presente. Copie a conta de serviço para a área de transferência.

  3. Na página de permissões do IAM, clique em +Conceder acesso.

  4. No campo "Novos principais", cole a conta de serviço.

  5. Clique no campo Selecionar um papel, digite Agente de serviço da API Cloud Data Fusion e selecione essa opção.

  6. Clique em Salvar.

Clique em Verificar meu progresso para conferir o objetivo. Adicionar um papel de agente de serviço da API Cloud Data Fusion à conta de serviço

Conceder permissão do usuário para a conta de serviço

  1. No console, acesse o Menu de navegação e clique em IAM e admin > IAM.

  2. Marque a caixa de seleção Incluir concessões do papel fornecidas pelo Google.

  3. Role a lista para baixo até encontrar a conta de serviço do Cloud Data Fusion gerenciada pelo Google com esta estrutura: service-{project-number}@gcp-sa-datafusion.iam.gserviceaccount.com e copie o nome da conta de serviço para a área de transferência.

Lista de contas de serviço do Cloud Data Fusion gerenciadas pelo Google

  1. Em seguida, acesse IAM e admin > Contas de serviço.

  2. Clique na conta padrão do Compute Engine com esta estrutura: {project-number}-compute@developer.gserviceaccount.com. Depois disso, selecione a guia Principais com acesso na parte de cima do menu de navegação.

  3. Clique no botão Permitir acesso.

  4. No campo Novos principais, cole a conta de serviço que você copiou mais cedo.

  5. No menu suspenso Papel, selecione Usuário da conta de serviço.

  6. Clique em Salvar.

Tarefa 3: receber permissões da Proteção de Dados Sensíveis

  1. No console do Cloud, acesse o Menu de navegação > Dataflow.

  2. No canto superior direito da tabela "Permissões", procure a caixa de seleção Incluir concessões de papel fornecidas pelo Google e clique nela.

Caixa de seleção &quot;Concessões de papel fornecidas pelo Google&quot; selecionada

  1. Na tabela de permissões, na coluna Principal, encontre a conta de serviço que corresponde ao formato service-project-number@gcp-sa-datafusion.iam.gserviceaccount.com.

Filtro principal da conta de serviço

  1. Clique no botão Editar à direita da conta de serviço.

  2. Clique em Adicionar outro papel.

  3. Clique no menu suspenso exibido

  4. Use a barra de pesquisa para pesquisar e selecione Administrador do DLP.

Adicionar o papel de administrador de DLP

  1. Clique em Salvar.

  2. Verifique se o Administrador do DLP aparece na coluna Papel.

Função de administrador de DLP adicionada

Clique em Verificar meu progresso para conferir o objetivo. Receber permissões da Proteção de Dados Sensíveis

Tarefa 4: navegar até a interface do Cloud Data Fusion

  1. No console, retorne ao Menu de navegação, clique em Ver todos os produtos, selecione Data Fusion e clique no link Visualizar instância ao lado da sua instância do Data Fusion. Se necessário, selecione suas credenciais do laboratório para fazer login. Se o serviço oferecer um tour, clique em Agora não. Agora você está usando a interface do Cloud Data Fusion.

  2. Na interface do Cloud Data Fusion, clique no Menu de navegação no canto superior esquerdo e navegue até a página Studio. Em seguida, você vai criar um pipeline.

Tarefa 5: criar o pipeline

O pipeline que você vai criar faz o seguinte: * Lê os dados de entrada usando o plug-in de origem do Cloud Storage. * Implanta o plug-in da Proteção de Dados Sensíveis do Hub e aplica o plug-in de transformação Redact. Grava os dados de saída usando um plug-in de coletor do Cloud Storage.

  1. No painel esquerdo da página do Studio, no menu Origem, clique no plug-in Google Cloud Storage (GCS).

Plug-in do GCS selecionado no menu de origem

  1. Mantenha o ponteiro sobre o nó do GCS exibido e clique em Propriedades.

  2. Em Nome de referência, insira um nome de referência.

  3. Este laboratório usa o conjunto de dados de entrada SampleRecords.csv, fornecido em um bucket do Cloud Storage disponível publicamente. Em Caminho, insira gs://cloud-training/OCBL167/SampleRecords.csv

  4. Em Formato, selecione CSV.

  5. Em Esquema de saída, em Nome do campo, digite o seguinte clicando no botão + para cada tipo de dado. Remova todos os tipos de dados atuais, se houver.

    • Data
    • Banco
    • Estado
    • CEP
    • Observações
  6. Verifique se todos os tipos de dado são do tipo string. Para mudar o tipo, clique em Tipo e selecione String no menu suspenso.

  7. Marque a caixa de seleção para cada tipo de dado. Isso garante que o pipeline não falhe quando encontrar um valor nulo (vazio).

Configuração das propriedades do GCS

  1. Clique em Validar para verificar se há erros.

  2. Clique no botão X no canto superior direito da caixa de diálogo.

Tarefa 6: encobrir dados sensíveis

O plug-in de transformação Redact identifica registros sensíveis no fluxo de entrada de dados e aplica transformações definidas a esses registros. Um registro de dados é considerado sensível se corresponder a filtros predefinidos da Proteção de Dados Sensíveis escolhidos ou a um modelo personalizado definido por você.

Neste tutorial, você quer encobrir os números de telefone dos clientes que alguns técnicos de suporte da sua equipe anotaram acidentalmente. Eles inseriram as informações sensíveis na seção Observações dos tíquetes de suporte, que aparece como a coluna Observações no arquivo CSV. Crie um modelo de inspeção personalizado da Proteção de Dados Sensíveis e forneça o ID do modelo no menu de propriedades do plug-in de transformação Redact.

Tarefa 7: implantar o plug-in da Proteção de Dados Sensíveis

  1. Na interface do Cloud Data Fusion, clique em Hub no canto superior direito.

  2. Clique no plug-in Prevenção contra perda de dados.

  3. Clique em Implantar.

  4. Clique em Concluir.

  5. Clique no botão X no canto superior direito da caixa de diálogo Prevenção contra perda de dados | Implantar.

  6. Clique no botão X para sair do Hub.

Tarefa 8: criar um modelo personalizado

  1. No console do Cloud, abra o Menu de navegação > Ver todos os produtos > Segurança > Proteção de Dados Sensíveis .

  2. Clique na guia Configuração e depois em Criar modelo.

  3. Em Definir modelo, no campo ID do modelo, insira um ID para seu modelo. Você precisará do ID do modelo mais tarde no tutorial.

  4. Clique em Continuar.

  5. Em Configurar detecção, clique em Gerenciar infotipos.

  6. Na guia Integrado, use o filtro para pesquisar número de telefone.

Filtro de número de telefone integrado

  1. Selecione PHONE_NUMBER.

  2. Clique em Concluído.

  3. Clique em Criar.

Clique em Verificar meu progresso para conferir o objetivo. Criar um modelo personalizado

Tarefa 9: aplicar a transformação Redact

  1. De volta à interface do Cloud Data Fusion, na página Studio, clique para expandir o menu Transformar.

  2. Clique no plug-in de transformação Google DLP Redact.

Seleção da transformação Redact

  1. Arraste uma seta de conexão do nó GCS para o nó Google DLP Redact.

Nó do GCS conectado ao nó Redact

  1. Mantenha o ponteiro sobre o nó Google DLP Redact e clique em Propriedades.
  • Defina Usar modelo personalizado como Sim.
  • Em ID do modelo, insira o ID do modelo personalizado que você criou.
  • Em Correspondência, aplique Mascaramento em Modelo personalizado em Observações.
Observação: além de mascarar, há outras transformações da Proteção de Dados Sensíveis disponíveis com o plug-in da Proteção de Dados Sensíveis. Para saber mais, consulte a guia Documentação no menu de propriedades do plug-in Redact.
  1. Em Caractere de mascaramento, digite #

Configuração de propriedades de mascaramento

  1. Clique em Validar para verificar se há erros.

  2. Clique no botão X no canto superior direito da caixa de diálogo.

Tarefa 10: armazenar os dados de saída

Armazene os resultados do pipeline em um arquivo do Cloud Storage.

  1. Na interface do Cloud Data Fusion, na página Studio, clique para expandir o menu Coletor.

  2. Clique em GCS.

  3. Arraste uma seta de conexão do nó Google DLP Redact para o nó GCS2.

Nó Redact conectado ao GCS2

  1. Mantenha o ponteiro sobre o nó GCS2 e clique em Propriedades.
  • Em Nome de referência, insira um nome de referência.
  • Em Caminho, insira o caminho do bucket do Cloud Storage que você criou no início deste laboratório.
  • Em Formato, selecione CSV.

Configuração das propriedades do coletor do GCS

  1. Clique em Validar para verificar se há erros.

  2. Clique no botão X no canto superior direito da caixa de diálogo.

Tarefa 11: executar o pipeline no modo de visualização

Em seguida, execute o pipeline no modo de visualização antes de implantá-lo.

  1. Clique em Visualizar e em Executar.Configuração de execução de visualização do pipeline

O botão Executar exibe o status do pipeline, que começa com Iniciando, depois muda para Interromper e depois para Executar.

  1. Quando a execução da visualização for concluída, no nó Google DLP Redact, clique em Visualizar dados para ver uma comparação lado a lado dos dados de entrada e saída. Verifique se os números de telefone foram mascarados com o caractere #.

Encobrir resultados de saída de propriedades 3. Clique no botão X para fechar Visualizar dados.

Observação: se você não conseguir ver os números de telefone na coluna Observações, passe o cursor sobre as entradas para verificar o resultado.

Tarefa 12: encobrir outro tipo de dado

Ao examinar os resultados da execução da visualização, você percebe que outras informações sensíveis aparecem na coluna Observações: endereços de e-mail. Volte e edite o modelo de inspeção da Proteção de Dados Sensíveis para encobrir também os endereços de e-mail.

  1. No console do Cloud, acesse Menu de navegação > Ver todos os produtos > Segurança > Proteção de Dados Sensíveis .

  2. Na guia Configuração, selecione seu modelo.

  3. Clique em Editar.

  4. Clique em Gerenciar infotipos.

  5. Na guia Integrado, use o filtro para pesquisar OR email address.

Filtro de e-mail ou número de telefone integrado

  1. Selecione todos e clique em Concluído.

  2. Clique em Salvar.

  3. No pop-up, clique em Confirmar salvamento.

  4. Mais uma vez, execute o pipeline no modo de visualização. O Cloud Data Fusion usará automaticamente o modelo atualizado da Proteção de Dados Sensíveis.

  5. Verifique se os números de telefone e os endereços de e-mail foram mascarados com o caractere #.

Resultados da saída de visualização do pipeline

Observação: se você não conseguir ver os números de telefone e endereços de e-mail na coluna Observações, passe o cursor sobre as entradas para verificar o resultado.

Clique em Verificar meu progresso para conferir o objetivo. encobrir outro tipo de dado

Tarefa 13: implantar e executar o pipeline

  1. Verifique se o modo Visualizar está desmarcado.

  2. Clique em Salvar. Ao clicar em Salvar, será solicitado que você nomeie o pipeline. Dê um nome ao pipeline e clique em Salvar.

Nomeie o campo de texto pipeline

  1. Clique em Implantar.

  2. Quando a implantação for concluída, clique em Executar. A execução do pipeline pode levar alguns minutos. Enquanto espera, observe o Status do pipeline mudar de Provisionando para Iniciando para Em execução para Concluído.

Observação: se o pipeline falhar, execute-o novamente.

Clique em Verificar meu progresso para conferir o objetivo. Implantar e executar o pipeline

Tarefa 14: conferir os resultados

  1. No Console do Cloud, acesse Cloud Storage.

  2. No navegador do Storage, navegue até o bucket do Cloud Storage especificado nas propriedades do plug-in do Cloud Storage do coletor.

  3. Em URL autenticado, copie o link e cole em uma nova guia do navegador para fazer o download do arquivo CSV com os resultados. Confirme se os números de telefone e endereços de e-mail foram mascarados com o caractere #.

Configuração dos detalhes do objeto do Google Cloud Storage

Parabéns!

Neste laboratório, você aprendeu a usar a Proteção de Dados Sensíveis para mascarar certas partes dos seus dados que passam pelo pipeline do Data Fusion. Isso ajuda quando você precisa remover/mascarar informações de PII incorporadas nos seus dados antes de compartilhá-los com o público.

Saiba mais sobre como criar modelos da Proteção de Dados Sensíveis na documentação.

Manual atualizado em 27 de junho de 2025

Laboratório testado em 27 de junho de 2025

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.

Antes de começar

  1. Os laboratórios criam um projeto e recursos do Google Cloud por um período fixo
  2. Os laboratórios têm um limite de tempo e não têm o recurso de pausa. Se você encerrar o laboratório, vai precisar recomeçar do início.
  3. No canto superior esquerdo da tela, clique em Começar o laboratório

Usar a navegação anônima

  1. Copie o nome de usuário e a senha fornecidos para o laboratório
  2. Clique em Abrir console no modo anônimo

Fazer login no console

  1. Faça login usando suas credenciais do laboratório. Usar outras credenciais pode causar erros ou gerar cobranças.
  2. Aceite os termos e pule a página de recursos de recuperação
  3. Não clique em Terminar o laboratório a menos que você tenha concluído ou queira recomeçar, porque isso vai apagar seu trabalho e remover o projeto

Este conteúdo não está disponível no momento

Você vai receber uma notificação por e-mail quando ele estiver disponível

Ótimo!

Vamos entrar em contato por e-mail se ele ficar disponível

Um laboratório por vez

Confirme para encerrar todos os laboratórios atuais e iniciar este

Use a navegação anônima para executar o laboratório

Para executar este laboratório, use o modo de navegação anônima ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.