Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
Neste curso, você vai resolver desafios reais enfrentados na criação de pipelines de dados de streaming. O foco é gerenciar dados contínuos e ilimitados com os produtos do Google Cloud.
Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes. Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud.
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.
Ganhe um selo de habilidade ao concluir o curso Implementar fluxos de trabalho de mensagens e automação orientados a eventos, onde você aprende a usar o Pub/Sub com o console do Cloud. Além disso, você descobre como os jobs do Cloud Scheduler podem economizar seu esforço, e quando o Pub/Sub Lite pode economizar seu dinheiro na ingestão de eventos de alto volume.
Neste curso, vamos falar sobre a engenharia de dados no Google Cloud, os papéis e responsabilidades dos engenheiros de dados e como alinhá-los aos produtos do Google Cloud. Além disso, você aprenderá a lidar com os desafios da engenharia de dados.
Os cursos da Google Cloud Computing Foundations são direcionados para pessoas com pouca ou nenhuma formação ou experiência na área de computação em nuvem. Eles apresentam uma visão geral dos principais conceitos de nuvem, Big Data e machine learning, além de explicar onde e como usar o Google Cloud. Ao final da série de cursos, os alunos serão capazes de articular estes conceitos e demonstrar algumas habilidades práticas. Conclua os cursos na seguinte ordem: 1. Fundamentos da computação do Google Cloud: noções básicas da computação em nuvem 2. Fundamentos da computação do Google Cloud: infraestrutura no Google Cloud 3. Fundamentos da computação do Google Cloud: rede e segurança no Google Cloud 4. Fundamentos da computação do Google Cloud: dados, ML e IA no Google Cloud Este primeiro curso apresenta uma visão geral da computação em nuvem, formas de usar o Google Cloud e as diferentes opções de computação.