Conclua o selo de habilidade intermediário Criar um data warehouse com o BigQuery para mostrar que você sabe mesclar dados para criar novas tabelas; solucionar problemas de mesclagens; adicionar dados ao final com uniões; criar tabelas particionadas por data; além de trabalhar com JSON, matrizes e structs no BigQuery.
Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.
Conquiste o selo de habilidade introdutório Preparar dados para APIs de ML no Google Cloud para demonstrar que você é capaz de: limpar dados com o Dataprep by Trifacta, executar pipelines de dados no Dataflow, criar clusters e executar jobs do Apache Spark no Managed Service for Apache Spark e chamar APIs de ML, incluindo as APIs Cloud Natural Language, Google Cloud Speech-to-Text e Video Intelligence.
Os cursos da série Fundamentos da computação do Google Cloud são direcionados para pessoas com pouca ou nenhuma formação ou experiência na área de computação em nuvem. Eles apresentam uma visão geral dos principais conceitos de nuvem, Big Data e machine learning, além do papel do Google Cloud no uso dessas tecnologias. Ao final da série, os estudantes saberão articular esses conceitos e demonstrar algumas habilidades práticas. Você precisa concluir os cursos na seguinte ordem: 1. Fundamentos da computação do Google Cloud: noções básicas da computação em nuvem 2. Fundamentos da computação do Google Cloud: infraestrutura no Google Cloud Fundamentos da computação do Google Cloud: redes e segurança no Google Cloud 4. Fundamentos da computação do Google Cloud: dados, ML e IA no Google Cloud Este último curso da série revisa quais são serviços de Big Data gerenciados, o que é machine learning e qual o valor dele e como comprovar sua capacidade no Google Cloud, conquistando selos de hab…
Conquiste um selo de habilidade ao concluir o curso Como criar uma rede segura do Google Cloud, que apresenta vários recursos relacionados a redes para criar, escalonar e proteger seus aplicativos no Google Cloud.
Os cursos da série Fundamentos da computação do Google Cloud são direcionados para pessoas com pouca ou nenhuma formação ou experiência na área de computação em nuvem. Eles apresentam uma visão geral dos principais conceitos de nuvem, Big Data e machine learning, e o papel do Google Cloud no uso dessas tecnologias. Ao final da série, os estudantes saberão articular esses conceitos e demonstrar algumas habilidades práticas. Você precisa concluir os cursos na seguinte ordem: 1. Fundamentos da computação do Google Cloud: noções básicas da computação em nuvem 2. Fundamentos da computação do Google Cloud: infraestrutura no Google Cloud Fundamentos da computação do Google Cloud: redes e segurança no Google Cloud 4. Fundamentos da computação do Google Cloud: dados, ML e IA no Google Cloud Este terceiro curso aborda ferramentas de automação e gerenciamento em nuvem, além da criação de redes seguras.