Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
Conclua o selo de habilidade intermediário Criar um data warehouse com o BigQuery para mostrar que você sabe mesclar dados para criar novas tabelas; solucionar problemas de mesclagens; adicionar dados ao final com uniões; criar tabelas particionadas por data; além de trabalhar com JSON, matrizes e structs no BigQuery.
Conclua o curso intermediário para obter o selo de habilidade Como implementar as noções básicas de segurança da nuvem no Google Cloud para mostrar que você sabe: criar e atribuir papéis com o Identity and Access Management (IAM); criar e gerenciar contas de serviço; ativar a conectividade particular entre redes de nuvem privada virtual (VPC); restringir o acesso ao aplicativo usando o Identity-Aware Proxy; gerenciar chaves e dados criptografados usando o Cloud Key Management Service (KMS) e criar um cluster particular do Kubernetes.
Conclua o curso introdutório Migre dados MYSQL para o Cloud SQL usando o Database Migration Service e mostre que você sabe migrar dados MySQL para o Cloud SQL usando diferentes tipos de tarefas e opções de conectividade disponíveis no Database Migration Service, além de fazer a migração de dados do usuário do MySQL durante a execução de jobs do Database Migration Service.
Conclua o curso intermediário com selo de habilidade Realizar análise de dados preditiva no BigQuery para demonstrar suas habilidades nas seguintes áreas: criação de conjuntos de dados no BigQuery importando arquivos CSV e JSON; aproveitamento do potencial do BigQuery com conceitos analíticos sofisticados de SQL, incluindo o uso do BigQuery ML para treinar um modelo de gols com base em dados de eventos de futebol e avaliar a qualidade dos gols da Copa do Mundo.
Ganhe um selo de habilidade ao concluir o curso Compartilhe dados com o Google Data Cloud. Nele, você vai adquirir experiência prática com os parceiros do de compartilhamento de dados, que têm conjuntos de dados próprios que os clientes podem usar para casos de uso de análise. Os clientes assinam e consultam esses dados na própria plataforma, depois os aprimoram com os conjuntos de dados e usam ferramentas de visualização nos painéis voltados para o cliente.
Conclua o curso intermediário Gerencie modelos de dados no Looker para demonstrar que você sabe: manter a integridade do projeto do LookML, usar o SQL Runner para validar dados, seguir as práticas recomendadas do LookML, otimizar consultas e relatórios de desempenho e implementar tabelas derivadas permanentes e políticas de armazenamento em cache.
Conclua o selo de habilidade introdutório Criar objetos do LookML no Looker para demonstrar que você sabe: criar dimensões e métricas, visualizações e tabelas derivadas; definir filtros e tipos de métricas com base nos requisitos; atualizar dimensões e métricas; criar e refinar Análises, combinar visualizações com Análises atuais e decidir quais objetos do LookML criar com base nos requisitos de negócios.
Conclua o selo de habilidade intermediário Criar modelos de ML com o BigQuery ML para mostrar que você sabe: criar e avaliar modelos de machine learning usando o BigQuery ML para fazer previsões de dados.
Conclua o selo de habilidade introdutório Gerar insights a partir de dados do BigQuery para mostrar que você sabe gravar consultas SQL, consultar tabelas públicas e carregar dados de amostra no BigQuery, solucionar erros comuns de sintaxe com o validador de consultas no BigQuery e criar relatórios no Data Studio fazendo a conexão com dados do BigQuery.
Conquiste o selo de habilidade introdutório Prepare os dados para relatórios e dashboards do Looker para mostrar que você sabe: filtrar, ordenar e dinamizar dados; mesclar resultados de diferentes Análises do Looker; e usar funções e operadores para criar dashboards e relatórios do Looker para análise e visualização de dados.
Conclua o curso intermediário Desenvolvimento de apps sem servidor com o Firebase para demonstrar suas habilidades nestas áreas: arquitetura e criação de aplicativos da Web sem servidor com o Firebase, utilizar o Firestore no gerenciamento de bancos de dados, automatizar os processos de implantação com o Cloud Build e integrar a funcionalidade do Google Assistente aos seus aplicativos.
Conclua o curso intermediário Como desenvolver aplicativos sem servidor no Cloud Run para demonstrar suas habilidades de integração do Cloud Run com o Cloud Storage para gerenciamento de dados, arquitetura de sistemas assíncronos e resilientes usando o Cloud Run e o Pub/Sub, construção de gateways da API REST com a tecnologia do Cloud Run e a criação e implantação de serviços no Cloud Run.
Conclua o selo de habilidade intermediário Como otimizar custos do Google Kubernetes Engine para mostrar que você sabe criar e gerenciar clusters multilocatários, monitorar o uso de recursos por namespace, configurar o escalonamento automático de clusters e pods para maior eficiência, definir o balanceamento de carga para distribuição ideal de recursos e implementar sondagens de atividade e prontidão para garantir a integridade e um bom custo-benefício do aplicativo.
Conclua o selo de habilidade intermediário Como criar infraestrutura com o Terraform no Google Cloud para mostrar que você sabe: usar os princípios de infraestrutura como código (IaC, na sigla em inglês) no Terraform, provisionar e gerenciar recursos do Google Cloud usando configurações do Terraform, gerenciamento de estado eficaz (local e remoto) e modularização do código do Terraform para reutilização e organização.
Saiba como usar o Gemini Notebook para criar um guia de estudo personalizado para o exame de certificação Professional Cloud Architect. Você vai analisar os recursos da ferramenta, criar um notebook nela e aprender a usar um guia de estudo para se preparar para um exame de certificação.
Conclua o selo de habilidade intermediário Implantar aplicativos do Kubernetes no Google Cloud para demonstrar que você é capaz de: configurar e criar imagens de contêiner do Docker, criar e gerenciar clusters do Google Kubernetes Engine (GKE), utilizar o kubectl para o gerenciamento eficiente de clusters e implantar aplicativos do Kubernetes com a prática de entrega contínua (CD).
Conclua o selo de habilidade introdutório Implementação do Cloud Load Balancing no Compute Engine para demonstrar que você sabe: criar e implantar máquinas virtuais no Compute Engine; configurar balanceadores de carga de rede e de aplicativo.
Ganhe o selo de habilidade introdutório ao concluir o curso Criar um site no Google Cloud. Este curso é baseado na série Get Cooking in Cloud e aborda os seguintes tópicos:Implantação de um site no Cloud RunHospedagem de um app da web no Compute EngineCriação, implantação e escalonamento do seu site no Google Kubernetes EngineMigração de um aplicativo monolítico para uma arquitetura de microsserviços usando o Cloud Build
Conclua o selo de habilidade intermediário Dados de engenharia para modelagem preditiva com o BigQuery ML para mostrar que você sabe: criar pipelines de transformação de dados no BigQuery usando o Dataprep by Trifacta; usar o Cloud Storage, o Dataflow e o BigQuery para criar fluxos de trabalho de extração, transformação e carregamento de dados (ELT); e criar modelos de machine learning usando o BigQuery ML.
Receba um selo de habilidade ao completar o curso Como configurar uma rede do Google Cloud, que ensina como realizar tarefas básicas no Google Cloud Platform, criar uma rede personalizada, adicionar regras de firewall de sub-redes e criar VMs para testar a latência durante a comunicação.
Conquiste um selo de habilidade ao concluir o curso Como desenvolver sua rede do Google Cloud, que ensina várias maneiras de implantar e monitorar aplicativos, incluindo como analisar os papéis do IAM e adicionar/remover acesso a projetos, criar redes VPC, implantar e monitorar VMs do Compute Engine; gravar consultas SQL, implantar e monitorar VMs no Compute Engine e implantar aplicativos usando Kubernetes com múltiplas abordagens de implantação.
Conquiste o selo de habilidade introdutório Preparar dados para APIs de ML no Google Cloud para demonstrar que você é capaz de: limpar dados com o Dataprep by Trifacta, executar pipelines de dados no Dataflow, criar clusters e executar jobs do Apache Spark no Managed Service for Apache Spark e chamar APIs de ML, incluindo as APIs Cloud Natural Language, Google Cloud Speech-to-Text e Video Intelligence.
Conquiste um selo de habilidade ao concluir o curso Como configurar um ambiente de desenvolvimento de apps no Google Cloud. Nele, você aprende a criar e conectar uma infraestrutura em nuvem focada em armazenamento usando recursos básicos das seguintes tecnologias: Cloud Storage, Identity and Access Management, Cloud Functions e Pub/Sub.