Amod Aher
Participante desde 2021
Liga Prata
24610 pontos
Participante desde 2021
Saiba como usar o Gemini Notebook para criar um guia de estudo personalizado para o exame de certificação Professional Data Engineer. Você vai analisar os recursos da ferramenta, criar um notebook nela e aprender a usar um guia de estudo para se preparar para um exame de certificação.
Conquiste o selo de habilidade introdutório Preparar dados para APIs de ML no Google Cloud para demonstrar que você é capaz de: limpar dados com o Dataprep by Trifacta, executar pipelines de dados no Dataflow, criar clusters e executar jobs do Apache Spark no Managed Service for Apache Spark e chamar APIs de ML, incluindo as APIs Cloud Natural Language, Google Cloud Speech-to-Text e Video Intelligence.
Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.
Neste curso, você vai resolver desafios reais enfrentados na criação de pipelines de dados de streaming. O foco é gerenciar dados contínuos e ilimitados com os produtos do Google Cloud.
Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes. Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud.
Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.
Este curso apresenta os produtos e serviços de Big Data e machine learning do Google Cloud que auxiliam no ciclo de vida de dados para IA. Ele explica os processos, os desafios e os benefícios de criar um pipeline de Big Data e modelos de machine learning com a Vertex AI no Google Cloud.
Big data, machine learning e dados científicos? Parece uma combinação perfeita. Nesta Quest de nível avançado, você terá experiência prática nos serviços do GCP, como o BigQuery, o Managed Service for Apache Spark e o Tensorflow, usando conjuntos de dados científicos reais. Em Scientific Data Processing, você ganhará experiência em tarefas como análise de dados de terremotos e agregação de imagens de satélites. Assim, você expandirá as habilidades em big data e machine learning e poderá solucionar seus problemas em diversas disciplinas científicas.
In this advanced-level quest, you will learn how to harness serious Google Cloud computing power to run big data and machine learning jobs. The hands-on labs will give you use cases, and you will be tasked with implementing big data and machine learning practices utilized by Google’s very own Solutions Architecture team. From running Big Query analytics on tens of thousands of basketball games, to training TensorFlow image classifiers, you will quickly see why Google Cloud is the go-to platform for running big data and machine learning jobs.
Conquiste um selo de habilidade ao concluir o curso Como configurar um ambiente de desenvolvimento de apps no Google Cloud. Nele, você aprende a criar e conectar uma infraestrutura em nuvem focada em armazenamento usando recursos básicos das seguintes tecnologias: Cloud Storage, Identity and Access Management, Cloud Functions e Pub/Sub.
Neste curso introdutório, você terá prática com as ferramentas e os serviços essenciais do Google Cloud. Vídeos opcionais estão disponíveis para fornecer mais contexto e revisar os conceitos abordados nos laboratórios. O curso Fundamentos do Google Cloud é uma introdução recomendada para quem quer aprender sobre o Google Cloud. Você pode entrar com pouco ou nenhum conhecimento prévio em nuvem e sair com habilidades práticas que você pode aplicar ao seu primeiro projeto no Google Cloud. Desde a criação de comandos do Cloud Shell e a implantação da sua primeira máquina virtual até a execução de aplicativos no Kubernetes Engine ou com balanceamento de carga, o Fundamentos do Google Cloud é uma excelente introdução aos recursos básicos da plataforma.
Conclua o selo de habilidade introdutório Implementação do Cloud Load Balancing no Compute Engine para demonstrar que você sabe: criar e implantar máquinas virtuais no Compute Engine; configurar balanceadores de carga de rede e de aplicativo.
Conclua o selo de habilidade intermediário Criar um data warehouse com o BigQuery para mostrar que você sabe mesclar dados para criar novas tabelas; solucionar problemas de mesclagens; adicionar dados ao final com uniões; criar tabelas particionadas por data; além de trabalhar com JSON, matrizes e structs no BigQuery.
Quer criar ou otimizar um armazenamento de dados? Aprenda práticas recomendadas para extrair, transformar e carregar dados no Google Cloud com o BigQuery. Nesta série de laboratórios interativos, você vai criar e otimizar seu próprio armazenamento usando diversos conjuntos de dados públicos de grande escala do BigQuery. O BigQuery é um banco de dados de análise NoOps, totalmente gerenciado e de baixo custo desenvolvido pelo Google. Com ele, você pode consultar muitos terabytes de dados sem ter que gerenciar uma infraestrutura ou precisar de um administrador de banco de dados. O BigQuery usa SQL e está disponível no modelo de pagamento por utilização. Com ele, você se concentra na análise dos dados para encontrar insights relevantes.
Conclua o selo de habilidade intermediário Dados de engenharia para modelagem preditiva com o BigQuery ML para mostrar que você sabe: criar pipelines de transformação de dados no BigQuery usando o Dataprep by Trifacta; usar o Cloud Storage, o Dataflow e o BigQuery para criar fluxos de trabalho de extração, transformação e carregamento de dados (ELT); e criar modelos de machine learning usando o BigQuery ML.
Cloud SQL is a fully managed database service that stands out from its peers due to high performance, seamless integration, and impressive scalability. In this quest you will receive hands-on practice with the basics of Cloud SQL and quickly progress to advanced features, which you will apply to production frameworks and application environments. From creating instances and querying data with SQL, to building Deployment Manager scripts and connecting Cloud SQL instances with applications run on GKE containers, this quest will give you the knowledge and experience needed so you can start integrating this service right away.
This advanced-level quest is unique amongst the other catalog offerings. The labs have been curated to give IT professionals hands-on practice with topics and services that appear in the Google Cloud Certified Professional Data Engineer Certification. From Big Query, to Dataprep, to Cloud Composer, this quest is composed of specific labs that will put your Google Cloud data engineering knowledge to the test. Be aware that while practice with these labs will increase your skills and abilities, you will need other preparation, too. The exam is quite challenging and external studying, experience, and/or background in cloud data engineering is recommended. Looking for a hands on challenge lab to demonstrate your skills and validate your knowledge? On completing this quest, enroll in and finish the additional challenge lab at the end of the Engineer Data in the Google Cloud to receive an exclusive Google Cloud digital badge.
Blockchain and related technologies, such as distributed ledger and distributed apps, are becoming new value drivers and solution priorities in many industries. In this course you will gain hands-on experience with distributed ledger and the exploration of blockchain datasets in Google Cloud. It brings the research and solution work of Google's Allen Day into self-paced labs for you to run and learn directly. Since this course uses advanced SQL in BigQuery, a SQL-in-BigQuery refresher lab is at the start.
In this series of labs you will learn how to use BigQuery to analyze NCAA basketball data with SQL. Build a Machine Learning Model to predict the outcomes of NCAA March Madness basketball tournament games.
Quer transformar seus dados de marketing em insights e criar painéis? Reúna todos os dados em um único lugar para fazer análises em grande escala e criar modelos. Use o BigQuery e aprenda a fazer consultas para gerar insights repetíveis, escalonáveis e valiosos sobre seus dados. O BigQuery é um banco de dados de análise NoOps, totalmente gerenciado e de baixo custo desenvolvido pelo Google. Com ele, você pode consultar muitos terabytes de dados sem ter que gerenciar uma infraestrutura nem precisar de um administrador de banco de dados. O BigQuery usa SQL e está disponível no modelo de pagamento por utilização. Além disso, ele permite que você se concentre na análise dos dados para encontrar insights relevantes.
Conclua o selo de habilidade intermediário Criar modelos de ML com o BigQuery ML para mostrar que você sabe: criar e avaliar modelos de machine learning usando o BigQuery ML para fazer previsões de dados.
Quer criar modelos de ML em minutos em vez de horas usando apenas SQL? O BigQuery ML democratiza o machine learning ao permitir que analistas de dados criem, treinem, avaliem e façam previsões usando habilidades e ferramentas de SQL que eles já têm. Nesta série de laboratórios, você vai fazer alguns testes e saber quais são as características de um bom modelo.
Conclua o selo de habilidade introdutório Gerar insights a partir de dados do BigQuery para mostrar que você sabe gravar consultas SQL, consultar tabelas públicas e carregar dados de amostra no BigQuery, solucionar erros comuns de sintaxe com o validador de consultas no BigQuery e criar relatórios no Data Studio fazendo a conexão com dados do BigQuery.
Want to scale your data analysis efforts without managing database hardware? Learn the best practices for querying and getting insights from your data warehouse with this interactive series of BigQuery labs. BigQuery is Google's fully managed, NoOps, low cost analytics database. With BigQuery you can query terabytes and terabytes of data without having any infrastructure to manage or needing a database administrator. BigQuery uses SQL and can take advantage of the pay-as-you-go model. BigQuery allows you to focus on analyzing data to find meaningful insights.
These labs will give you a deeper understanding of security features in the cloud. These labs are a little more challenging. It’s OK to take a lab more than once to achieve a great score. Complete this game to earn the Level 2 game badge, and you'll be one step closer to completing the challenge. Race the clock to increase your score and watch your name rise on the leaderboard!
These labs help you get started with cloud security basics. At the end of each lab, you'll have hands-on experience with securing your cloud. Complete this game to earn the Level 1 game badge, and you'll be one step closer to completing the challenge. Race the clock to increase your score and watch your name rise on the leaderboard!