Rafael Mello Vieira
Participante desde 2022
Liga Prata
3400 pontos
Participante desde 2022
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.
O processamento de dados de streaming é cada vez mais usado pelas empresas para gerar métricas sobre as operações comerciais em tempo real. Neste curso, você vai aprender a criar pipelines de dados de streaming no Google Cloud. O Pub/Sub é apresentado como a ferramenta para gerenciar dados de streaming de entrada. No curso, também abordamos a aplicação de agregações e transformações a dados de streaming usando o Dataflow, além de formas de armazenar registros processados no BigQuery ou no Bigtable para análise. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados de streaming no Google Cloud usando o Qwiklabs.
Os pipelines de dados geralmente se encaixam em um desses três paradigmas: extração e carregamento (EL), extração, carregamento e transformação (ELT) ou extração, transformação e carregamento (ETL). Este curso descreve qual paradigma deve ser usado em determinadas situações e quando isso ocorre com dados em lote. Além disso, vamos falar sobre várias tecnologias no Google Cloud para transformação de dados, incluindo o BigQuery, a execução do Spark no Dataproc, gráficos de pipeline no Cloud Data Fusion e processamento de dados sem servidor com o Dataflow. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados no Google Cloud usando o Qwiklabs.
Este curso ajuda estudantes a criar um plano de estudo para o exame de certificação PDE (Professional Data Engineer). É possível conferir a amplitude e o escopo dos domínios abordados no exame. Os estudantes também podem acompanhar os preparativos para o exame e criar planos de estudos individuais.
Os dois principais componentes de um pipeline de dados são data lakes e warehouses. Neste curso, destacamos os casos de uso para cada tipo de armazenamento e as soluções de data lake e warehouse disponíveis no Google Cloud de forma detalhada e técnica. Além disso, também descrevemos o papel de um engenheiro de dados, os benefícios de um pipeline de dados funcional para operações comerciais e analisamos por que a engenharia de dados deve ser feita em um ambiente de nuvem. Este é o primeiro curso da série "Engenharia de dados no Google Cloud". Após a conclusão, recomendamos que você comece o curso "Como criar pipelines de dados em lote no Google Cloud".
Este curso apresenta os produtos e serviços de Big Data e machine learning do Google Cloud que auxiliam no ciclo de vida de dados para IA. Ele explica os processos, os desafios e os benefícios de criar um pipeline de Big Data e modelos de machine learning com a Vertex AI no Google Cloud.
Conquiste o selo de habilidade introdutório Preparar dados para APIs de ML no Google Cloud para demonstrar que você é capaz de: limpar dados com o Dataprep by Trifacta, executar pipelines de dados no Dataflow, criar clusters e executar jobs do Apache Spark no Dataproc e chamar APIs de ML, incluindo as APIs Cloud Natural Language, Google Cloud Speech-to-Text e Video Intelligence.
Os cursos da Google Cloud Computing Foundations são direcionados para pessoas com pouca ou nenhuma formação ou experiência na área de computação em nuvem. Eles apresentam uma visão geral dos principais conceitos de nuvem, Big Data e machine learning, além de explicar onde e como usar o Google Cloud. Ao final da série de cursos, os alunos serão capazes de articular estes conceitos e demonstrar algumas habilidades práticas. Conclua os cursos na seguinte ordem: 1. Google Cloud Computing Foundations: Cloud Computing Fundamentals 2. Google Cloud Computing Foundations: Infrastructure in Google Cloud 3. Google Cloud Computing Foundations: Networking and Security in Google Cloud 4. Google Cloud Computing Foundations: Data, ML, and AI in Google Cloud Este curso final da série analisa os serviços gerenciados de Big Data, machine learning e os benefícios dela, e como comprovar suas habilidades no Google Cloud ganhando selos de habilidade.
Conquiste um selo de habilidade ao concluir o curso Como criar uma rede segura do Google Cloud, que apresenta vários recursos relacionados a redes para criar, escalonar e proteger seus aplicativos no Google Cloud.
Os cursos da Google Cloud Computing Foundations são direcionados para pessoas com pouca ou nenhuma formação ou experiência na área de computação em nuvem. Eles apresentam uma visão geral dos principais conceitos de nuvem, Big Data e machine learning, além de explicar onde e como usar o Google Cloud. Ao final da série de cursos, os alunos serão capazes de articular estes conceitos e demonstrar algumas habilidades práticas. Conclua os cursos na seguinte ordem: 1. Google Cloud Computing Foundations: Cloud Computing Fundamentals 2. Google Cloud Computing Foundations: Infrastructure in Google Cloud 3. Google Cloud Computing Foundations: Networking and Security in Google Cloud 4. Google Cloud Computing Foundations: Data, ML, and AI in Google Cloud Este terceiro curso abrange as ferramentas de automação e gerenciamento de nuvem e como criar redes seguras.
Conquiste um selo de habilidade ao concluir o curso Como configurar um ambiente de desenvolvimento de apps no Google Cloud. Nele, você aprende a criar e conectar uma infraestrutura em nuvem focada em armazenamento usando recursos básicos das seguintes tecnologias: Cloud Storage, Identity and Access Management, Cloud Functions e Pub/Sub.
Os cursos da Google Cloud Computing Foundations são direcionados para pessoas com pouca ou nenhuma formação ou experiência na área de computação em nuvem. Eles apresentam uma visão geral dos principais conceitos de nuvem, Big Data e machine learning, além de explicar onde e como usar o Google Cloud. Ao final da série de cursos, os alunos serão capazes de articular estes conceitos e demonstrar algumas habilidades práticas. Conclua os cursos na seguinte ordem: 1. Google Cloud Computing Foundations: Cloud Computing Fundamentals - Português Brasileiro 2. Google Cloud Computing Foundations: Infrastructure in Google Cloud - Português Brasileiro 3. Google Cloud Computing Foundations: Networking and Security in Google Cloud - Português Brasileiro 4. Google Cloud Computing Foundations: Data, ML, and AI in Google Cloud - Português Brasileiro
Conclua o selo de habilidade introdutório Implementação do Cloud Load Balancing no Compute Engine para demonstrar que você sabe: criar e implantar máquinas virtuais no Compute Engine; configurar balanceadores de carga de rede e de aplicativo.
Os cursos da Google Cloud Computing Foundations são direcionados para pessoas com pouca ou nenhuma formação ou experiência na área de computação em nuvem. Eles apresentam uma visão geral dos principais conceitos de nuvem, Big Data e machine learning, além de explicar onde e como usar o Google Cloud. Ao final da série de cursos, os alunos serão capazes de articular estes conceitos e demonstrar algumas habilidades práticas. Conclua os cursos na seguinte ordem: 1. Google Cloud Computing Foundations: Cloud Computing Fundamentals 2. Google Cloud Computing Foundations: Infrastructure in Google Cloud 3. Google Cloud Computing Foundations: Networking and Security in Google Cloud 4. Google Cloud Computing Foundations: Data, ML, and AI in Google Cloud Este primeiro curso apresenta uma visão geral da computação em nuvem, formas de usar o Google Cloud e as diferentes opções de computação.