Olga Deryabina
Participante desde 2025
Liga Diamante
19254 pontos
Participante desde 2025
Neste curso, você vai resolver desafios reais enfrentados na criação de pipelines de dados de streaming. O foco é gerenciar dados contínuos e ilimitados com os produtos do Google Cloud.
Conclua o selo de habilidade introdutório Como criar uma malha de dados com o Knowledge Catalog para mostrar sua capacidade de usar o Knowledge Catalog para criar uma malha de dados e assim facilitar a segurança, a governança e a descoberta de dados no Google Cloud. Você vai praticar e testar suas habilidades em aplicar tags a recursos, atribuir papéis do IAM e avaliar a qualidade dos dados no Knowledge Catalog.
Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes. Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud.
Ganhe um selo de habilidade ao concluir o curso Compartilhe dados com o Google Data Cloud. Nele, você vai adquirir experiência prática com os parceiros do de compartilhamento de dados, que têm conjuntos de dados próprios que os clientes podem usar para casos de uso de análise. Os clientes assinam e consultam esses dados na própria plataforma, depois os aprimoram com os conjuntos de dados e usam ferramentas de visualização nos painéis voltados para o cliente.
Conquiste o selo de habilidade introdutório Preparar dados para APIs de ML no Google Cloud para demonstrar que você é capaz de: limpar dados com o Dataprep by Trifacta, executar pipelines de dados no Dataflow, criar clusters e executar jobs do Apache Spark no Managed Service for Apache Spark e chamar APIs de ML, incluindo as APIs Cloud Natural Language, Google Cloud Speech-to-Text e Video Intelligence.
Ganhe um selo de habilidade ao concluir o curso Streaming de análises para o BigQuery, em que você usa o Pub/Sub, o Dataflow e o BigQuery juntos para transmitir dados para análise.
Conclua o selo de habilidade introdutório Gerar insights a partir de dados do BigQuery para mostrar que você sabe gravar consultas SQL, consultar tabelas públicas e carregar dados de amostra no BigQuery, solucionar erros comuns de sintaxe com o validador de consultas no BigQuery e criar relatórios no Data Studio fazendo a conexão com dados do BigQuery.
Conclua o selo de habilidade intermediário Criar um data warehouse com o BigQuery para mostrar que você sabe mesclar dados para criar novas tabelas; solucionar problemas de mesclagens; adicionar dados ao final com uniões; criar tabelas particionadas por data; além de trabalhar com JSON, matrizes e structs no BigQuery.
Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.
Neste curso, vamos falar sobre a engenharia de dados no Google Cloud, os papéis e responsabilidades dos engenheiros de dados e como alinhá-los aos produtos do Google Cloud. Além disso, você aprenderá a lidar com os desafios da engenharia de dados.
Saiba como usar o Gemini Notebook para criar um guia de estudo personalizado para o exame de certificação Professional Data Engineer. Você vai analisar os recursos da ferramenta, criar um notebook nela e aprender a usar um guia de estudo para se preparar para um exame de certificação.