Matteo Perego
Participante desde 2023
Liga Ouro
28380 pontos
Participante desde 2023
Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
Saiba como usar o Gemini Notebook para criar um guia de estudo personalizado para o exame de certificação Professional Data Engineer. Você vai analisar os recursos da ferramenta, criar um notebook nela e aprender a usar um guia de estudo para se preparar para um exame de certificação.
Conclua o curso intermediário Gerencie modelos de dados no Looker para demonstrar que você sabe: manter a integridade do projeto do LookML, usar o SQL Runner para validar dados, seguir as práticas recomendadas do LookML, otimizar consultas e relatórios de desempenho e implementar tabelas derivadas permanentes e políticas de armazenamento em cache.
Conclua o selo de habilidade introdutório Criar objetos do LookML no Looker para demonstrar que você sabe: criar dimensões e métricas, visualizações e tabelas derivadas; definir filtros e tipos de métricas com base nos requisitos; atualizar dimensões e métricas; criar e refinar Análises, combinar visualizações com Análises atuais e decidir quais objetos do LookML criar com base nos requisitos de negócios.
Data Catalog é um serviço de gerenciamento de metadados totalmente gerenciado e escalonável. Com ele, as organizações descobrem, compreendem e gerenciam rapidamente todos os dados. Nesta Quest, vamos começar com algo simples - você aprenderá como pesquisar e adicionar tags a recursos de dados e metadados usando o Data Catalog. Depois que você aprender a desenvolver seus próprios modelos de tags correlacionados a dados da tabela do BigQuery, mostraremos como criar conectores do MySQL, PostgreSQL e SQLServer para o Data Catalog.
Neste curso, você terá experiência prática aplicando conceitos avançados do LookML no Looker. Você vai aprender a usar o Liquid para personalizar e criar dimensões e medidas dinâmicas, criar tabelas dinâmicas derivadas em SQL e tabelas derivadas nativas personalizadas, e usar extensões para modularizar seu código LookML.
Conclua o selo de habilidade intermediário Criar modelos de ML com o BigQuery ML para mostrar que você sabe: criar e avaliar modelos de machine learning usando o BigQuery ML para fazer previsões de dados.
Conclua o selo de habilidade introdutório Gerar insights a partir de dados do BigQuery para mostrar que você sabe gravar consultas SQL, consultar tabelas públicas e carregar dados de amostra no BigQuery, solucionar erros comuns de sintaxe com o validador de consultas no BigQuery e criar relatórios no Data Studio fazendo a conexão com dados do BigQuery.
Conquiste o selo de habilidade introdutório Prepare os dados para relatórios e dashboards do Looker para mostrar que você sabe: filtrar, ordenar e dinamizar dados; mesclar resultados de diferentes Análises do Looker; e usar funções e operadores para criar dashboards e relatórios do Looker para análise e visualização de dados.
Conquiste o selo de habilidade introdutório Preparar dados para APIs de ML no Google Cloud para demonstrar que você é capaz de: limpar dados com o Dataprep by Trifacta, executar pipelines de dados no Dataflow, criar clusters e executar jobs do Apache Spark no Managed Service for Apache Spark e chamar APIs de ML, incluindo as APIs Cloud Natural Language, Google Cloud Speech-to-Text e Video Intelligence.
This course empowers you to develop scalable, performant LookML (Looker Modeling Language) models that provide your business users with the standardized, ready-to-use data that they need to answer their questions. Upon completing this course, you will be able to start building and maintaining LookML models to curate and manage data in your organization’s Looker instance.
In this course, you learn how to do the kind of data exploration and analysis in Looker that would formerly be done primarily by SQL developers or analysts. Upon completion of this course, you will be able to leverage Looker's modern analytics platform to find and explore relevant content in your organization’s Looker instance, ask questions of your data, create new metrics as needed, and build and share visualizations and dashboards to facilitate data-driven decision making.
Descubra como transformar números brutos em decisões claras e baseadas em dados no Google Cloud. Com laboratórios práticos e cenários reais, este curso para iniciantes ensina a consultar dados no BigQuery, analisar tendências no Looker e criar relatórios interativos e compartilháveis no Data Studio.