Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
Neste curso, você vai resolver desafios reais enfrentados na criação de pipelines de dados de streaming. O foco é gerenciar dados contínuos e ilimitados com os produtos do Google Cloud.
Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes. Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud.
Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.
Saiba como usar o Gemini Notebook para criar um guia de estudo personalizado para o exame de certificação Professional Data Engineer. Você vai analisar os recursos da ferramenta, criar um notebook nela e aprender a usar um guia de estudo para se preparar para um exame de certificação.
Ganhe um selo de habilidade ao concluir o curso do selo de habilidade Implantar e proteger APIs sem servidor com API Gateway, para aprender a usar o API Gateway para implantar, proteger e gerenciar APIs com um gateway totalmente gerenciado.
Conclua o selo de habilidade introdutório Organizar e governar dados com o Dataplex para demonstrar habilidades em: criação de recursos do Dataplex, criação de tipos de aspectos e aplicação de aspectos a entradas no Dataplex. Os selos de habilidade validam seu conhecimento prático sobre produtos específicos com avaliações em laboratórios e desafios. Ganhe um selo ao concluir um curso ou vá direto para o laboratório com desafio e receba seu selo hoje mesmo. Esses selos comprovam seu domínio em determinados assuntos, aprimoram seu currículo e, por fim, abrem mais portas no mercado de trabalho. Acesse seu perfil para ver os selos que você ganhou.
Ganhe um selo de habilidade ao concluir o curso Implementar fluxos de trabalho de mensagens e automação orientados a eventos, onde você aprende a usar o Pub/Sub com o console do Cloud. Além disso, você descobre como os jobs do Cloud Scheduler podem economizar seu esforço, e quando o Pub/Sub Lite pode economizar seu dinheiro na ingestão de eventos de alto volume.
Ganhe um selo de habilidade ao concluir o curso Noções básicas do Google Cloud Compute, onde você aprende a trabalhar com máquinas virtuais (VMs), discos e servidores da Web usando o Compute Engine.
Conclua o treinamento e receba o selo de habilidade introdutório de "Criação de aplicativos de IA no mundo real com o Gemini e o Imagen". Com ele, você vai ser capaz de demonstrar as seguintes competências: reconhecimento de imagens, processamento de linguagem natural, geração de imagens usando os modelos avançados do Gemini e Imagen do Google e implantação de aplicativos na plataforma Vertex AI.
Conquiste o Selo de Habilidade concluindo o curso Implementar soluções de fala e linguagem com APIs pré-treinadas, onde você aprenderá a usar ferramentas de API relacionadas à fala para sintetizar e transcrever fala.
O Cloud Storage, o Cloud Functions e o Cloud Pub/Sub são todos serviços do Google Cloud Platform que podem ser usados para armazenar, processar e gerenciar dados. Os três serviços podem ser usados juntos para criar vários aplicativos orientados a dados. Neste curso com selo de habilidade, você vai usar o Cloud Storage para armazenar imagens, o Cloud Functions para processar as imagens e o Cloud Pub/Sub para enviar as imagens para outro aplicativo.
Ganhe um selo de habilidade ao concluir o curso Streaming de análises para o BigQuery, em que você usa o Pub/Sub, o Dataflow e o BigQuery juntos para transmitir dados para análise.
Conclua o selo de habilidade intermediário Criar um data warehouse com o BigQuery para mostrar que você sabe mesclar dados para criar novas tabelas; solucionar problemas de mesclagens; adicionar dados ao final com uniões; criar tabelas particionadas por data; além de trabalhar com JSON, matrizes e structs no BigQuery.
Conclua o selo de habilidade introdutório Gerar insights a partir de dados do BigQuery para mostrar que você sabe gravar consultas SQL, consultar tabelas públicas e carregar dados de amostra no BigQuery, solucionar erros comuns de sintaxe com o validador de consultas no BigQuery e criar relatórios no Data Studio fazendo a conexão com dados do BigQuery.
Conquiste o selo de habilidade introdutório Preparar dados para APIs de ML no Google Cloud para demonstrar que você é capaz de: limpar dados com o Dataprep by Trifacta, executar pipelines de dados no Dataflow, criar clusters e executar jobs do Apache Spark no Managed Service for Apache Spark e chamar APIs de ML, incluindo as APIs Cloud Natural Language, Google Cloud Speech-to-Text e Video Intelligence.
Conclua o selo de habilidade intermediário Dados de engenharia para modelagem preditiva com o BigQuery ML para mostrar que você sabe: criar pipelines de transformação de dados no BigQuery usando o Dataprep by Trifacta; usar o Cloud Storage, o Dataflow e o BigQuery para criar fluxos de trabalho de extração, transformação e carregamento de dados (ELT); e criar modelos de machine learning usando o BigQuery ML.