Inscreva-se Fazer login

Aplique suas habilidades no console do Google Cloud

Erwin Aji Nugroho

Participante desde 2026

Processamento de dados sem servidor com o Dataflow: desenvolvimento de pipelines Earned Apr 14, 2026 EDT
Como criar uma malha de dados com o Knowledge Catalog Earned Apr 14, 2026 EDT
Criar um data warehouse com o BigQuery Earned Apr 14, 2026 EDT
Processamento de dados sem servidor com o Dataflow: fundamentos Earned Apr 13, 2026 EDT
Como criar pipelines de dados de streaming no Google Cloud Earned Apr 13, 2026 EDT
Como criar pipelines de dados em lote no Google Cloud Earned Apr 9, 2026 EDT
Como criar data lakes e data warehouses no Google Cloud Earned Apr 9, 2026 EDT
Introdução à engenharia de dados no Google Cloud Earned Apr 9, 2026 EDT
Preparação para sua jornada da certificação Professional Data Engineer Earned Apr 8, 2026 EDT
Criar modelos de ML com o BigQuery ML Earned Apr 8, 2026 EDT
Aumento de Produtividade com Gemini no BigQuery Earned Apr 8, 2026 EDT
Como trabalhar com modelos do Gemini no BigQuery Earned Apr 8, 2026 EDT
Usar o BigQuery ML para inferência Earned Apr 8, 2026 EDT
Gemini para cientistas e analistas de dados Earned Apr 7, 2026 EDT

Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.

Saiba mais

Conclua o selo de habilidade introdutório Como criar uma malha de dados com o Knowledge Catalog para mostrar sua capacidade de usar o Knowledge Catalog para criar uma malha de dados e assim facilitar a segurança, a governança e a descoberta de dados no Google Cloud. Você vai praticar e testar suas habilidades em aplicar tags a recursos, atribuir papéis do IAM e avaliar a qualidade dos dados no Knowledge Catalog.

Saiba mais

Conclua o selo de habilidade intermediário Criar um data warehouse com o BigQuery para mostrar que você sabe mesclar dados para criar novas tabelas; solucionar problemas de mesclagens; adicionar dados ao final com uniões; criar tabelas particionadas por data; além de trabalhar com JSON, matrizes e structs no BigQuery.

Saiba mais

Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.

Saiba mais

Neste curso, você vai resolver desafios reais enfrentados na criação de pipelines de dados de streaming. O foco é gerenciar dados contínuos e ilimitados com os produtos do Google Cloud.

Saiba mais

Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes. Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud.

Saiba mais

Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.

Saiba mais

Neste curso, vamos falar sobre a engenharia de dados no Google Cloud, os papéis e responsabilidades dos engenheiros de dados e como alinhá-los aos produtos do Google Cloud. Além disso, você aprenderá a lidar com os desafios da engenharia de dados.

Saiba mais

Este curso ajuda estudantes a criar um plano de estudo para o exame de certificação PDE (Professional Data Engineer). É possível conferir a amplitude e o escopo dos domínios abordados no exame. Os estudantes também podem acompanhar os preparativos para o exame e criar planos de estudos individuais.

Saiba mais

Conclua o selo de habilidade intermediário Criar modelos de ML com o BigQuery ML para mostrar que você sabe: criar e avaliar modelos de machine learning usando o BigQuery ML para fazer previsões de dados.

Saiba mais

Neste curso, vamos conhecer o Gemini no BigQuery, um pacote de recursos com tecnologia de IA que auxilia no fluxo de trabalho de dados para inteligência artificial. Esses recursos incluem preparação e análise detalhada de dados, solução de problemas e geração de código, além da descoberta e visualização do fluxo de trabalho. Com explicações conceituais, um caso de uso prático e o laboratório, o curso ensina aos profissionais de dados como aumentar a produtividade e acelerar o pipeline de desenvolvimento.

Saiba mais

Este curso demonstra como usar modelos de ML/IA para tarefas generativas no BigQuery. Nele, você vai conhecer o fluxo de trabalho para solucionar um problema comercial com modelos do Gemini utilizando um caso de uso prático que envolve gestão de relacionamento com o cliente. Para facilitar a compreensão, o curso também proporciona instruções detalhadas de soluções de programação que usam consultas SQL e notebooks Python.

Saiba mais

Conheça o BigQuery ML para inferência, saiba por que ele é a melhor opção para analistas de dados, os casos de uso dele e os modelos de ML compatíveis. Você também vai aprender a criar e gerenciar esses modelos de ML no BigQuery.

Saiba mais

Neste curso, você vai entender como o Gemini, um colaborador com tecnologia de IA generativa do Google Cloud, ajuda a analisar os dados dos clientes e a prever as vendas de produtos. Além disso, você vai aprender a identificar, categorizar e desenvolver novos clientes usando seus dados no BigQuery. Usando laboratórios práticos, você vai descobrir como o Gemini melhora a análise de dados e os fluxos de trabalho de machine learning. A Duet AI agora é o Gemini, nosso modelo de última geração.

Saiba mais