Inscreva-se Fazer login

Faisal Pratama Putra

Participante desde 2023

Liga Prata

6720 pontos
Processamento de dados sem servidor com o Dataflow: operações Earned Sep 3, 2023 EDT
Processamento de dados sem servidor com o Dataflow: desenvolvimento de pipelines Earned Aug 27, 2023 EDT
Processamento de dados sem servidor com o Dataflow: fundamentos Earned Aug 24, 2023 EDT
Smart Analytics, Machine Learning, and AI on Google Cloud - Português Brasileiro Earned Aug 24, 2023 EDT
Como criar pipelines de dados de streaming no Google Cloud Earned Aug 23, 2023 EDT
Como criar pipelines de dados em lote no Google Cloud Earned Aug 20, 2023 EDT
Como criar data lakes e data warehouses no Google Cloud Earned Aug 19, 2023 EDT
Google Cloud Big Data and Machine Learning Fundamentals - Português Brasileiro Earned Aug 19, 2023 EDT
Criação de guia de estudo para certificação: PDE (preparação para o exame) Earned Aug 14, 2023 EDT
Criar um data warehouse com o BigQuery Earned Aug 13, 2023 EDT
Dados de engenharia para modelagem preditiva com o BigQuery ML Earned Aug 13, 2023 EDT
Como configurar uma rede do Google Cloud Earned Aug 13, 2023 EDT
Como desenvolver sua rede do Google Cloud Earned Aug 12, 2023 EDT
Preparar dados para APIs de ML no Google Cloud Earned Aug 12, 2023 EDT
Compartilhe dados com o Google Data Cloud Earned Aug 11, 2023 EDT
Migre dados MYSQL para o Cloud SQL usando o Database Migration Service Earned Aug 11, 2023 EDT
Gerar insights a partir de dados do BigQuery Earned Aug 11, 2023 EDT

En raison d'un problème en cours, nous avons temporairement désactivé l'accès aux ateliers. Nous vous prions de nous excuser pour les désagréments occasionnés. Veuillez revenir plus tard.

close

Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.

Saiba mais

Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.

Saiba mais

Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.

Saiba mais

A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.

Saiba mais

Neste curso, você vai resolver desafios reais enfrentados na criação de pipelines de dados de streaming. O foco é gerenciar dados contínuos e ilimitados com os produtos do Google Cloud.

Saiba mais

Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes. Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud.

Saiba mais

Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.

Saiba mais

Este curso apresenta os produtos e serviços de Big Data e machine learning do Google Cloud que auxiliam no ciclo de vida de dados para IA. Ele explica os processos, os desafios e os benefícios de criar um pipeline de Big Data e modelos de machine learning com a Vertex AI no Google Cloud.

Saiba mais

Saiba como usar o Gemini Notebook para criar um guia de estudo personalizado para o exame de certificação Professional Data Engineer. Você vai analisar os recursos da ferramenta, criar um notebook nela e aprender a usar um guia de estudo para se preparar para um exame de certificação.

Saiba mais

Conclua o selo de habilidade intermediário Criar um data warehouse com o BigQuery para mostrar que você sabe mesclar dados para criar novas tabelas; solucionar problemas de mesclagens; adicionar dados ao final com uniões; criar tabelas particionadas por data; além de trabalhar com JSON, matrizes e structs no BigQuery.

Saiba mais

Conclua o selo de habilidade intermediário Dados de engenharia para modelagem preditiva com o BigQuery ML para mostrar que você sabe: criar pipelines de transformação de dados no BigQuery usando o Dataprep by Trifacta; usar o Cloud Storage, o Dataflow e o BigQuery para criar fluxos de trabalho de extração, transformação e carregamento de dados (ELT); e criar modelos de machine learning usando o BigQuery ML.

Saiba mais

Receba um selo de habilidade ao completar o curso Como configurar uma rede do Google Cloud, que ensina como realizar tarefas básicas no Google Cloud Platform, criar uma rede personalizada, adicionar regras de firewall de sub-redes e criar VMs para testar a latência durante a comunicação.

Saiba mais

Conquiste um selo de habilidade ao concluir o curso Como desenvolver sua rede do Google Cloud, que ensina várias maneiras de implantar e monitorar aplicativos, incluindo como analisar os papéis do IAM e adicionar/remover acesso a projetos, criar redes VPC, implantar e monitorar VMs do Compute Engine; gravar consultas SQL, implantar e monitorar VMs no Compute Engine e implantar aplicativos usando Kubernetes com múltiplas abordagens de implantação.

Saiba mais

Conquiste o selo de habilidade introdutório Preparar dados para APIs de ML no Google Cloud para demonstrar que você é capaz de: limpar dados com o Dataprep by Trifacta, executar pipelines de dados no Dataflow, criar clusters e executar jobs do Apache Spark no Managed Service for Apache Spark e chamar APIs de ML, incluindo as APIs Cloud Natural Language, Google Cloud Speech-to-Text e Video Intelligence.

Saiba mais

Ganhe um selo de habilidade ao concluir o curso Compartilhe dados com o Google Data Cloud. Nele, você vai adquirir experiência prática com os parceiros do de compartilhamento de dados, que têm conjuntos de dados próprios que os clientes podem usar para casos de uso de análise. Os clientes assinam e consultam esses dados na própria plataforma, depois os aprimoram com os conjuntos de dados e usam ferramentas de visualização nos painéis voltados para o cliente.

Saiba mais

Conclua o curso introdutório Migre dados MYSQL para o Cloud SQL usando o Database Migration Service e mostre que você sabe migrar dados MySQL para o Cloud SQL usando diferentes tipos de tarefas e opções de conectividade disponíveis no Database Migration Service, além de fazer a migração de dados do usuário do MySQL durante a execução de jobs do Database Migration Service.

Saiba mais

Conclua o selo de habilidade introdutório Gerar insights a partir de dados do BigQuery para mostrar que você sabe gravar consultas SQL, consultar tabelas públicas e carregar dados de amostra no BigQuery, solucionar erros comuns de sintaxe com o validador de consultas no BigQuery e criar relatórios no Data Studio fazendo a conexão com dados do BigQuery.

Saiba mais