Mateus Oliveira dos Santos
Participante desde 2023
Liga Diamante
40229 pontos
Participante desde 2023
In this advanced challenge lab, you act as a Data Engineer for the Chicago Police Department. You will manage a high-stakes data integration project, moving IUCR reference data from Cloud Storage into BigQuery using code-free Dataproc Spark templates. Beyond simple ingestion, you will use BigQuery SQL to audit data quality, identify structural discrepancies like missing zero-padding, and reconcile mismatches between transaction records and reference tables to ensure analytical accuracy.
This lab tests your ability to develop a real-world Generative AI Q&A solution using a RAG framework. You will use Firestore as a vector database and deploy a Flask app as a user interface to query a food safety knowledge base.
In this advanced challenge lab, you act as a Data Engineer for Cymbal Direct, a retail company integrating real-time movie review data into a marketing pipeline. You are responsible for building two distinct streaming architectures. First, you will implement a direct, code-free ingestion path using Pub/Sub BigQuery subscriptions. Second, you will deploy a sophisticated Dataflow pipeline that uses JavaScript User-Defined Functions (UDFs) to transform raw text into numerical data before it reaches BigQuery, all while managing high-velocity data generated by a simulated stream.
Neste curso, você vai resolver desafios reais enfrentados na criação de pipelines de dados de streaming. O foco é gerenciar dados contínuos e ilimitados com os produtos do Google Cloud.
Este curso demonstra como usar modelos de ML/IA para tarefas generativas no BigQuery. Nele, você vai conhecer o fluxo de trabalho para solucionar um problema comercial com modelos do Gemini utilizando um caso de uso prático que envolve gestão de relacionamento com o cliente. Para facilitar a compreensão, o curso também proporciona instruções detalhadas de soluções de programação que usam consultas SQL e notebooks Python.
Neste curso, vamos conhecer o Gemini no BigQuery, um pacote de recursos com tecnologia de IA que auxilia no fluxo de trabalho de dados para inteligência artificial. Esses recursos incluem preparação e análise detalhada de dados, solução de problemas e geração de código, além da descoberta e visualização do fluxo de trabalho. Com explicações conceituais, um caso de uso prático e o laboratório, o curso ensina aos profissionais de dados como aumentar a produtividade e acelerar o pipeline de desenvolvimento.
Neste curso, vamos falar sobre a engenharia de dados no Google Cloud, os papéis e responsabilidades dos engenheiros de dados e como alinhá-los aos produtos do Google Cloud. Além disso, você aprenderá a lidar com os desafios da engenharia de dados.
Conclua o curso intermediário Como desenvolver aplicativos sem servidor no Cloud Run para demonstrar suas habilidades de integração do Cloud Run com o Cloud Storage para gerenciamento de dados, arquitetura de sistemas assíncronos e resilientes usando o Cloud Run e o Pub/Sub, construção de gateways da API REST com a tecnologia do Cloud Run e a criação e implantação de serviços no Cloud Run.
Conclua o curso intermediário Gerenciar o Kubernetes no Google Cloud para mostrar que você sabe gerenciar implantações com o kubectl, monitorar e depurar aplicativos no Google Kubernetes Engine (GKE) e aplicar técnicas de entrega contínua.
Conclua o selo de habilidade intermediário Engenharia de agentes de IA com o Agent Development Kit (ADK) ao concluir este curso para demonstrar habilidades nas seguintes atividades: formular problemas de pesquisa de modelos de linguagem do mundo real, criar um tokenizador simples, preparar um conjunto de dados para treinar um modelo de linguagem de transformador e executar o loop de treinamento de um modelo de linguagem pequeno.
Ganhe um selo de habilidade ao concluir o curso Arquitetura de nuvem: como criar, implantar e gerenciar e mostre que você sabe: implantar um site publicamente acessível usando servidores da Web Apache, configurar uma VM no Compute Engine usando scripts de inicialização, configurar um RDP seguro usando um Bastion Host Windows e regras de firewall, criar e implantar uma imagem Docker em um cluster do Kubernetes e atualizá-lo, além de criar uma instância do CloudSQL e importar um banco de dados do MySQL. Este selo de habilidade é um ótimo recurso para entender tópicos que vão aparecer no exame de certificação Professional Cloud Architect com Certificação em Google Cloud.
Conclua o curso intermediário para obter o selo de habilidade Como implementar as noções básicas de segurança da nuvem no Google Cloud para mostrar que você sabe: criar e atribuir papéis com o Identity and Access Management (IAM); criar e gerenciar contas de serviço; ativar a conectividade particular entre redes de nuvem privada virtual (VPC); restringir o acesso ao aplicativo usando o Identity-Aware Proxy; gerenciar chaves e dados criptografados usando o Cloud Key Management Service (KMS) e criar um cluster particular do Kubernetes.
Conquiste um selo de habilidade ao concluir o curso Como configurar um ambiente de desenvolvimento de apps no Google Cloud. Nele, você aprende a criar e conectar uma infraestrutura em nuvem focada em armazenamento usando recursos básicos das seguintes tecnologias: Cloud Storage, Identity and Access Management, Cloud Functions e Pub/Sub.
O curso "Agentes de IA generativa: transforme sua organização" é o quinto e último do programa de aprendizado Gen AI Leader. Nesse curso, você aprende como as organizações podem usar agentes de IA generativa personalizados para enfrentar desafios específicos nos negócios. Você aprende na prática a construir um agente básico de IA generativa e quais são os componentes desses agentes, como modelos, ciclos de raciocínio e ferramentas.
Apps de IA generativa: transforme seu trabalho é o quarto curso do programa de aprendizado de liderança em IA Generativa. Esse curso apresenta os aplicativos de IA generativa do Google, como Gemini para Workspace e NotebookLM. Além disso, aborda conceitos como embasamento, geração aumentada de recuperação, construção de comandos eficazes e criação de fluxos de trabalho automatizados.
IA generativa: encare o cenário atual é o terceiro curso do programa de aprendizado de liderança em IA generativa. A IA generativa está mudando a forma como trabalhamos e interagimos com o mundo ao nosso redor. Mas, como líder, como aproveitar esse potencial para gerar resultados de negócios reais? Neste curso, você vai conhecer as diferentes camadas da criação de soluções de IA generativa, as ofertas do Google Cloud e os fatores a serem considerados ao selecionar uma solução.
IA generativa: conceitos básicos é o segundo curso do programa de aprendizado de liderança em IA generativa. Neste curso, você conhece os conceitos básicos da IA generativa, analisa as diferenças entre IA, ML e IA generativa, e aprende como vários tipos de dados possibilitam que a IA generativa lide com desafios de negócios. Além disso, aprende sobre as estratégias do Google Cloud para lidar com as limitações dos modelos de fundação e os principais desafios para o desenvolvimento e a implantação seguros e responsáveis da IA.
IA generativa: para além do chatbot é o primeiro curso do programa de aprendizado de liderança em IA generativa e não tem pré-requisitos. Este curso tem como objetivo ir além do conhecimento básico de chatbots para explorar o verdadeiro potencial da IA generativa para sua organização. Você aprenderá conceitos como modelos de fundação e engenharia de comando, que são cruciais para aproveitar o poder da IA generativa. O curso também aborda considerações importantes ao desenvolver uma estratégia de IA generativa de sucesso para a organização.
Conquiste o selo de habilidade introdutório Crie e gerencie instâncias do Cloud SQL para PostgreSQL e demonstre suas habilidades em: migração, configuração e gerenciamento das instâncias e dos bancos de dados do Cloud SQL para PostgreSQL.
Conclua o curso introdutório Crie e gerencie instâncias do Cloud Spanner para demonstrar que você sabe: Criar e interagir com instâncias e bancos de dados do Cloud Spanner Carregar bancos de dados do Cloud Spanner usando várias técnicas Fazer backup de bancos de dados do Cloud Spanner, definir esquemas e entender planos de consulta Implantar um app da Web moderno conectado a uma instância do Cloud Spanner.
Conclua o curso introdutório Crie e gerencie instâncias do AlloyDB para demonstrar que você sabe realizar operações e tarefas básicas do AlloyDB, migrar para o AlloyDB do PostgreSQL, administrar um banco de dados do AlloyDB e acelerar consultas analíticas usando o mecanismo colunar do AlloyDB.
Conclua o selo de habilidade intermediário Dados de engenharia para modelagem preditiva com o BigQuery ML para mostrar que você sabe: criar pipelines de transformação de dados no BigQuery usando o Dataprep by Trifacta; usar o Cloud Storage, o Dataflow e o BigQuery para criar fluxos de trabalho de extração, transformação e carregamento de dados (ELT); e criar modelos de machine learning usando o BigQuery ML.
Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
Conclua o selo de habilidade introdutório Como criar uma malha de dados com o Knowledge Catalog para mostrar sua capacidade de usar o Knowledge Catalog para criar uma malha de dados e assim facilitar a segurança, a governança e a descoberta de dados no Google Cloud. Você vai praticar e testar suas habilidades em aplicar tags a recursos, atribuir papéis do IAM e avaliar a qualidade dos dados no Knowledge Catalog.
Conclua o selo de habilidade intermediário Criar um data warehouse com o BigQuery para mostrar que você sabe mesclar dados para criar novas tabelas; solucionar problemas de mesclagens; adicionar dados ao final com uniões; criar tabelas particionadas por data; além de trabalhar com JSON, matrizes e structs no BigQuery.
Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.
Conclua o selo de habilidade introdutório Implementação do Cloud Load Balancing no Compute Engine para demonstrar que você sabe: criar e implantar máquinas virtuais no Compute Engine; configurar balanceadores de carga de rede e de aplicativo.
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.
This 1-week, accelerated on-demand course builds upon Google Cloud Platform Big Data and Machine Learning Fundamentals. Through a combination of video lectures, demonstrations, and hands-on labs, you'll learn to build streaming data pipelines using Google cloud Pub/Sub and Dataflow to enable real-time decision making. You will also learn how to build dashboards to render tailored output for various stakeholder audiences.
Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes. Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud.
Conclua o selo de habilidade introdutório Implementação do Cloud Load Balancing no Compute Engine para demonstrar que você sabe: criar e implantar máquinas virtuais no Compute Engine; configurar balanceadores de carga de rede e de aplicativo.
Conquiste o selo de habilidade introdutório Preparar dados para APIs de ML no Google Cloud para demonstrar que você é capaz de: limpar dados com o Dataprep by Trifacta, executar pipelines de dados no Dataflow, criar clusters e executar jobs do Apache Spark no Managed Service for Apache Spark e chamar APIs de ML, incluindo as APIs Cloud Natural Language, Google Cloud Speech-to-Text e Video Intelligence.
Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.
Este curso apresenta os produtos e serviços de Big Data e machine learning do Google Cloud que auxiliam no ciclo de vida de dados para IA. Ele explica os processos, os desafios e os benefícios de criar um pipeline de Big Data e modelos de machine learning com a Vertex AI no Google Cloud.
Este curso ajuda estudantes a criar um plano de estudo para o exame da certificação PDE (Professional Data Engineer). É possível conferir a amplitude e o escopo dos domínios abordados no exame. Os estudantes também podem acompanhar os preparativos para o exame e criar planos de estudos individuais.