DAVID MUÑOZ SANCHEZ
Participante desde 2023
Liga Ouro
29535 pontos
Processamento de dados sem servidor com o Dataflow: desenvolvimento de pipelines
Earned Jan 30, 2024 EST
Dados de engenharia para modelagem preditiva com o BigQuery ML
Earned Jan 28, 2024 EST
Processamento de dados sem servidor com o Dataflow: operações
Earned Jan 28, 2024 EST
Applying Machine Learning to Your Data with Google Cloud - Português Brasileiro
Earned Jan 25, 2024 EST
Criar um data warehouse com o BigQuery
Earned Jan 21, 2024 EST
Preparar dados para APIs de ML no Google Cloud
Earned Jan 20, 2024 EST
Criação de guia de estudo para certificação: PDE (preparação para o exame)
Earned Jan 19, 2024 EST
Processamento de dados sem servidor com o Dataflow: fundamentos
Earned Jan 9, 2024 EST
Smart Analytics, Machine Learning, and AI on Google Cloud - Português Brasileiro
Earned Jan 3, 2024 EST
Como criar pipelines de dados de streaming no Google Cloud
Earned Dec 30, 2023 EST
Como criar pipelines de dados em lote no Google Cloud
Earned Dec 25, 2023 EST
Como criar data lakes e data warehouses no Google Cloud
Earned Dec 18, 2023 EST
Exploring and Preparing Your Data with BigQuery - Português Brasileiro
Earned May 7, 2023 EDT
Achieving Advanced Insights with BigQuery - Português Brasileiro
Earned May 7, 2023 EDT
Creating New BigQuery Datasets and Visualizing Insights - Português Brasileiro
Earned May 7, 2023 EDT
Google Cloud Big Data and Machine Learning Fundamentals - Português Brasileiro
Earned Apr 28, 2023 EDT
Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.
Saiba mais
Conclua o selo de habilidade intermediário Dados de engenharia para modelagem preditiva com o BigQuery ML para mostrar que você sabe: criar pipelines de transformação de dados no BigQuery usando o Dataprep by Trifacta; usar o Cloud Storage, o Dataflow e o BigQuery para criar fluxos de trabalho de extração, transformação e carregamento de dados (ELT); e criar modelos de machine learning usando o BigQuery ML.
Saiba mais
Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
Saiba mais
Neste curso, vamos definir o que é machine learning e como ele pode beneficiar seu negócio. Você vai conferir algumas demonstrações do ML em ação e aprender termos importantes da área, como instâncias, atributos e rótulos. Nos laboratórios interativos, você vai praticar a invocação de APIs de ML pré-treinadas e criar seus próprios modelos de machine learning usando apenas SQL no BigQuery ML.
Saiba mais
Conclua o selo de habilidade intermediário Criar um data warehouse com o BigQuery para mostrar que você sabe mesclar dados para criar novas tabelas; solucionar problemas de mesclagens; adicionar dados ao final com uniões; criar tabelas particionadas por data; além de trabalhar com JSON, matrizes e structs no BigQuery.
Saiba mais
Conquiste o selo de habilidade introdutório Preparar dados para APIs de ML no Google Cloud para demonstrar que você é capaz de: limpar dados com o Dataprep by Trifacta, executar pipelines de dados no Dataflow, criar clusters e executar jobs do Apache Spark no Managed Service for Apache Spark e chamar APIs de ML, incluindo as APIs Cloud Natural Language, Google Cloud Speech-to-Text e Video Intelligence.
Saiba mais
Saiba como usar o Gemini Notebook para criar um guia de estudo personalizado para o exame de certificação Professional Data Engineer.
Você vai analisar os recursos da ferramenta, criar um notebook nela e aprender a usar um guia de estudo para se preparar para um exame de certificação.
Saiba mais
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
Saiba mais
A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.
Saiba mais
Neste curso, você vai resolver desafios reais enfrentados na criação de pipelines de dados de streaming. O foco é gerenciar dados contínuos e ilimitados com os produtos do Google Cloud.
Saiba mais
Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes.
Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud.
Saiba mais
Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.
Saiba mais
Neste curso, conhecemos os desafios mais comuns enfrentados pelos analistas de dados e como resolvê-los com as ferramentas de big data no Google Cloud. Ao longo do caminho, você vai aprender um pouco de SQL e se familiarizar com o uso do BigQuery e do Dataprep para analisar e transformar seus conjuntos de dados. Este é o primeiro curso da série From Data to Insights with Google Cloud. Depois de concluir este curso, inscreva-se no curso Creating New BigQuery Datasets and Visualizing Insights.
Saiba mais
O terceiro curso desta série é "Achieving Advanced Insights with BigQuery". Para continuar desenvolvendo seus conhecimentos sobre SQL, vamos aprender a usar funções avançadas e dividir uma consulta completa em etapas gerenciáveis. Você também vai conhecer a arquitetura interna do BigQuery (armazenamento fragmentado com base em colunas) e tópicos avançados do SQL, como campos aninhados e repetidos usando matrizes e structs. Por fim, vamos aprender a otimizar consultas para melhorar o desempenho e a proteger seus dados com visualizações autorizadas. Depois de concluir este curso, inscreva-se no "Applying Machine Learning to Your Data with Google Cloud".
Saiba mais
Este é o segundo curso da série "Data to Insights". Vamos aprender a fazer a ingestão de novos conjuntos de dados externos no BigQuery e visualizá-los no Looker Studio. Também vamos analisar conceitos intermediários de SQL, como as operações JOIN e UNION em várias tabelas, para analisar dados de diversas fontes. Observação: Mesmo que você tenha experiência em SQL, há aspectos específicos do BigQuery (como usar o cache de consultas e os caracteres curinga de tabela) que podem ser novidade para você. Depois de terminar este curso, faça sua inscrição no "Achieving Advanced Insights with BigQuery".
Saiba mais
Este curso apresenta os produtos e serviços de Big Data e machine learning do Google Cloud que auxiliam no ciclo de vida de dados para IA. Ele explica os processos, os desafios e os benefícios de criar um pipeline de Big Data e modelos de machine learning com a Vertex AI no Google Cloud.
Saiba mais
