Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.
Neste curso, você vai resolver desafios reais enfrentados na criação de pipelines de dados de streaming. O foco é gerenciar dados contínuos e ilimitados com os produtos do Google Cloud.
Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes. Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud.
Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.
Este é um curso de microlearning de nível introdutório que explica o que são modelos de linguagem grandes (LLM), os casos de uso em que podem ser aplicados e como é possível fazer o ajuste de comandos para aprimorar o desempenho dos LLMs. O curso também aborda as ferramentas do Google que ajudam a desenvolver seus próprios apps de IA generativa.
In this course, you apply your knowledge of classification models and embeddings to build a ML pipeline that functions as a recommendation engine. This is the fifth and final course of the Advanced Machine Learning on Google Cloud series.
Quais são as práticas recomendadas para implementar machine learning no Google Cloud? O que é Vertex AI e como é possível usar a plataforma para criar, treinar e implantar modelos de machine learning do AutoML com rapidez e sem escrever nenhuma linha de código? O que é machine learning e que tipos de problema ele pode resolver? O Google pensa em machine learning de uma forma um pouco diferente. Para nós, o processo de ML é sobre fornecer uma plataforma unificada para conjuntos de dados gerenciados, como uma Feature Store, uma forma de criar, treinar e implantar modelos de machine learning sem escrever nenhuma linha de código. Além disso, o ML também é sobre a habilidade de rotular dados, criar notebooks do Workbench usando frameworks (como TensorFlow, SciKit Learn, Pytorch e R) e muito mais. A plataforma Vertex AI também inclui a possibilidade de treinar modelos personalizados, criar pipelines de componente e realizar previsões em lote e on-line. Também falamos sobre as cinco fas…
Neste curso, os participantes vão conhecer as ferramentas de MLOps e as práticas recomendadas para a implantação, a avaliação, o monitoramento e a operação de sistemas de ML de produção no Google Cloud. MLOps é uma disciplina com foco na implantação, no teste, no monitoramento e na automação de sistemas de ML em produção. Profissionais de engenharia de machine learning usam ferramentas para fazer melhorias contínuas e avaliações de modelos implantados. São profissionais que trabalham com ciências de dados e desenvolvem modelos para garantir a velocidade e o rigor na implantação de modelos com melhor desempenho.
This course describes different types of computer vision use cases and then highlights different machine learning strategies for solving these use cases. The strategies vary from experimenting with pre-built ML models through pre-built ML APIs and AutoML Vision to building custom image classifiers using linear models, deep neural network (DNN) models or convolutional neural network (CNN) models. The course shows how to improve a model's accuracy with augmentation, feature extraction, and fine-tuning hyperparameters while trying to avoid overfitting the data. The course also looks at practical issues that arise, for example, when one doesn't have enough data and how to incorporate the latest research findings into different models. Learners will get hands-on practice building and optimizing their own image classification models on a variety of public datasets in the labs they will work on.
O curso começa com a seguinte discussão: como melhorar a qualidade dos dados e fazer uma análise exploratória deles? Descrevemos o AutoML na Vertex AI e como criar, treinar e implantar um modelo de ML sem escrever nenhuma linha de código. Você vai conhecer os benefícios do BigQuery ML. Depois vamos falar sobre como otimizar um modelo de machine learning (ML) e como a generalização e a amostragem podem ajudar na avaliação de qualidade dos modelos de ML em treinamentos personalizados.
Conclua o selo de habilidade introdutório Implementação do Cloud Load Balancing no Compute Engine para demonstrar que você sabe: criar e implantar máquinas virtuais no Compute Engine; configurar balanceadores de carga de rede e de aplicativo.
Este curso apresenta os produtos e serviços de Big Data e machine learning do Google Cloud que auxiliam no ciclo de vida de dados para IA. Ele explica os processos, os desafios e os benefícios de criar um pipeline de Big Data e modelos de machine learning com a Vertex AI no Google Cloud.