Este curso ajuda estudantes a criar um plano de estudo para o exame de certificação PDE (Professional Data Engineer). É possível conferir a amplitude e o escopo dos domínios abordados no exame. Os estudantes também podem acompanhar os preparativos para o exame e criar planos de estudos individuais.
Este curso demonstra como usar modelos de ML/IA para tarefas generativas no BigQuery. Nele, você vai conhecer o fluxo de trabalho para solucionar um problema comercial com modelos do Gemini utilizando um caso de uso prático que envolve gestão de relacionamento com o cliente. Para facilitar a compreensão, o curso também proporciona instruções detalhadas de soluções de programação que usam consultas SQL e notebooks Python.
Neste curso, você vai resolver desafios reais enfrentados na criação de pipelines de dados de streaming. O foco é gerenciar dados contínuos e ilimitados com os produtos do Google Cloud.
Neste curso, vamos conhecer o Gemini no BigQuery, um pacote de recursos com tecnologia de IA que auxilia no fluxo de trabalho de dados para inteligência artificial. Esses recursos incluem preparação e análise detalhada de dados, solução de problemas e geração de código, além da descoberta e visualização do fluxo de trabalho. Com explicações conceituais, um caso de uso prático e o laboratório, o curso ensina aos profissionais de dados como aumentar a produtividade e acelerar o pipeline de desenvolvimento.
Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.
Conclua o selo de habilidade introdutório Como criar uma malha de dados com o Dataplex para mostrar sua capacidade de usar o Dataplex para criar uma malha de dados e assim facilitar a segurança, a governança e a descoberta de dados no Google Cloud. Você vai praticar e testar suas habilidades em aplicar tags a recursos, atribuir papéis do IAM e avaliar a qualidade dos dados no Dataplex.
Conclua o selo de habilidade intermediário Criar um data warehouse com o BigQuery para mostrar que você sabe mesclar dados para criar novas tabelas; solucionar problemas de mesclagens; adicionar dados ao final com uniões; criar tabelas particionadas por data; além de trabalhar com JSON, matrizes e structs no BigQuery.
Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes. Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud.
Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.
Conclua o selo de habilidade introdutório Gerar insights a partir de dados do BigQuery para mostrar que você sabe gravar consultas SQL, consultar tabelas públicas e carregar dados de amostra no BigQuery, solucionar erros comuns de sintaxe com o validador de consultas no BigQuery e criar relatórios no Looker Studio fazendo a conexão com dados do BigQuery.
Neste curso, vamos falar sobre a engenharia de dados no Google Cloud, os papéis e responsabilidades dos engenheiros de dados e como alinhá-los aos produtos do Google Cloud. Além disso, você aprenderá a lidar com os desafios da engenharia de dados.
Google Cloud : Prompt Engineering Guide examines generative AI tools, how they work. We'll explore how to combine Google Cloud knowledge with prompt engineering to improve Gemini responses.
Conclua o selo de habilidade intermediário Implantar aplicativos do Kubernetes no Google Cloud para demonstrar que você é capaz de: configurar e criar imagens de contêiner do Docker, criar e gerenciar clusters do Google Kubernetes Engine (GKE), utilizar o kubectl para o gerenciamento eficiente de clusters e implantar aplicativos do Kubernetes com a prática de entrega contínua (CD).
Conclua o curso intermediário para obter o selo de habilidade Como implementar as noções básicas de segurança da nuvem no Google Cloud para mostrar que você sabe: criar e atribuir papéis com o Identity and Access Management (IAM); criar e gerenciar contas de serviço; ativar a conectividade particular entre redes de nuvem privada virtual (VPC); restringir o acesso ao aplicativo usando o Identity-Aware Proxy; gerenciar chaves e dados criptografados usando o Cloud Key Management Service (KMS) e criar um cluster particular do Kubernetes.
Conquiste um selo de habilidade ao concluir o curso Como criar uma rede segura do Google Cloud, que apresenta vários recursos relacionados a redes para criar, escalonar e proteger seus aplicativos no Google Cloud.
Neste curso intensivo sob demanda, os participantes vão conhecer os serviços abrangentes e flexíveis de infraestrutura e plataforma fornecidos pelo Google Cloud, com foco no Compute Engine. Com o auxílio de videoaulas, demonstrações e laboratórios práticos, os participantes têm a chance de conhecer e implantar elementos da solução, incluindo componentes de infraestrutura, como redes, sistemas e serviços de aplicativos. O curso também aborda a implantação de soluções práticas, como chaves de criptografia fornecidas pelo cliente, gerenciamento de segurança e acesso, cotas e faturamento, além do monitoramento de recursos.
Conquiste um selo de habilidade ao concluir o curso Como configurar um ambiente de desenvolvimento de apps no Google Cloud. Nele, você aprende a criar e conectar uma infraestrutura em nuvem focada em armazenamento usando recursos básicos das seguintes tecnologias: Cloud Storage, Identity and Access Management, Cloud Functions e Pub/Sub.
Neste curso intensivo sob demanda, os participantes vão conhecer os serviços abrangentes e flexíveis de infraestrutura e plataforma fornecidos pelo Google Cloud, com foco no Compute Engine. Com o auxílio de videoaulas, demonstrações e laboratórios práticos, os participantes têm chance de conhecer e implantar elementos da solução, incluindo componentes de infraestrutura, como redes, máquinas virtuais e serviços de aplicativos. Você vai aprender a usar o Google Cloud no Console e no Cloud Shell. Além disso, vamos detalhar o papel de um arquiteto de nuvem, abordagens de design de infraestruturas, configuração de redes virtuais com a nuvem privada virtual (VPC), projetos, redes, sub-redes, endereços IP, rotas e regras de firewall.
Neste curso introdutório, você terá prática com as ferramentas e os serviços essenciais do Google Cloud. Vídeos opcionais estão disponíveis para fornecer mais contexto e revisar os conceitos abordados nos laboratórios. O curso Google Cloud Essentials é uma introdução recomendada para quem quer aprender sobre o Google Cloud. Você pode entrar com pouco ou nenhum conhecimento prévio em nuvem e sair com habilidades práticas que você pode aplicar ao seu primeiro projeto no Google Cloud. Desde a criação de comandos do Cloud Shell e a implantação da sua primeira máquina virtual até a execução de aplicativos no Kubernetes Engine ou com balanceamento de carga, o Google Cloud Essentials é uma excelente introdução aos recursos básicos da plataforma.
"Noções básicas do Google Cloud: infraestrutura principal" é uma apresentação da terminologia e de conceitos importantes para trabalhar com o Google Cloud. Usando vídeos e laboratórios práticos, o curso apresenta e compara vários serviços de armazenamento e computação do Google Cloud, além de ferramentas importantes para o gerenciamento de políticas e recursos.