Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
Saiba mais
Incorporar machine learning em pipelines de dados aumenta a capacidade que as empresas têm de extrair insights de dados. Neste curso, falamos das várias formas como essa tecnologia pode ser incluída em pipelines de dados do Google Cloud, de acordo com o nível necessário de personalização. Para os casos em que pouca ou nenhuma personalização é necessária, abordamos o AutoML. Depois disso, apresentamos os notebooks e o machine learning do BigQuery (BigQuery ML), que são indicados para recursos mais personalizados. Além disso, falamos também sobre como colocar soluções de machine learning em produção usando o Kubeflow. Os estudantes vão aprender na prática como criar modelos de machine learning no Google Cloud usando o Qwiklabs.
Saiba mais
O processamento de dados de streaming é cada vez mais usado pelas empresas porque gera métricas sobre as operações comerciais em tempo real. Neste curso, você vai aprender a criar pipelines de dados de streaming no Google Cloud. O Pub/Sub é apresentado como a ferramenta para gerenciar dados de streaming de entrada. No curso, também abordamos a aplicação de agregações e transformações a dados de streaming usando o Dataflow, além de formas de armazenar registros processados no BigQuery ou no Cloud Bigtable para análise. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados de streaming no Google Cloud usando o Qwiklabs.
Saiba mais
Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes.
Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud.
Saiba mais
Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.
Saiba mais
Serverless Data Processing with Dataflow: Foundations - Português Brasileiro
Earned Oct 23, 2023 EDT
Smart Analytics, Machine Learning, and AI on Google Cloud - Português Brasileiro
Earned Oct 15, 2023 EDT
Building Resilient Streaming Analytics Systems on Google Cloud - Português Brasileiro
Earned Oct 15, 2023 EDT
Como criar pipelines de dados em lote no Google Cloud
Earned Oct 9, 2023 EDT
Como criar data lakes e data warehouses no Google Cloud
Earned Sep 30, 2023 EDT