Este curso demonstra como usar modelos de ML/IA para tarefas generativas no BigQuery. Nele, você vai conhecer o fluxo de trabalho para solucionar um problema comercial com modelos do Gemini utilizando um caso de uso prático que envolve gestão de relacionamento com o cliente. Para facilitar a compreensão, o curso também proporciona instruções detalhadas de soluções de programação que usam consultas SQL e notebooks Python.
Neste curso, vamos conhecer o Gemini no BigQuery, um pacote de recursos com tecnologia de IA que auxilia no fluxo de trabalho de dados para inteligência artificial. Esses recursos incluem preparação e análise detalhada de dados, solução de problemas e geração de código, além da descoberta e visualização do fluxo de trabalho. Com explicações conceituais, um caso de uso prático e o laboratório, o curso ensina aos profissionais de dados como aumentar a produtividade e acelerar o pipeline de desenvolvimento.
Conclua o selo de habilidade introdutório Como criar uma malha de dados com o Dataplex para mostrar sua capacidade de usar o Dataplex para criar uma malha de dados e assim facilitar a segurança, a governança e a descoberta de dados no Google Cloud. Você vai praticar e testar suas habilidades em aplicar tags a recursos, atribuir papéis do IAM e avaliar a qualidade dos dados no Dataplex.
Conclua o selo de habilidade intermediário Criar um data warehouse com o BigQuery para mostrar que você sabe mesclar dados para criar novas tabelas; solucionar problemas de mesclagens; adicionar dados ao final com uniões; criar tabelas particionadas por data; além de trabalhar com JSON, matrizes e structs no BigQuery.
Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
Neste curso, você vai resolver desafios reais enfrentados na criação de pipelines de dados de streaming. O foco é gerenciar dados contínuos e ilimitados com os produtos do Google Cloud.
Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes. Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud.
Embora as abordagens tradicionais de uso de data lakes e data warehouses possam ser eficazes, elas têm alguns problemas, principalmente em grandes ambientes corporativos. Este curso apresenta o conceito de data lakehouse e os produtos do Google Cloud usados para criar um. Uma arquitetura de lakehouse usa fontes de dados de padrão aberto e combina os melhores atributos de data lakes e data warehouses, o que resolve muitos desses problemas.
Neste curso, vamos falar sobre a engenharia de dados no Google Cloud, os papéis e responsabilidades dos engenheiros de dados e como alinhá-los aos produtos do Google Cloud. Além disso, você aprenderá a lidar com os desafios da engenharia de dados.
Neste curso, apresentamos os conceitos de interpretabilidade e transparência em IA. Vamos abordar a importância da transparência em IA para desenvolvedores e engenheiros. O curso também abrange ferramentas e métodos práticos para ajudar a alcançar a interpretabilidade e a transparência em dados e modelos de IA.
Neste curso, apresentamos conceitos de IA responsável e princípios de IA. Ele contém técnicas para identificar e reduzir o viés e aplicar a imparcialidade nas práticas de ML/IA. Vamos abordar ferramentas e métodos práticos para implementar as práticas recomendadas de IA responsável usando produtos do Google Cloud e ferramentas de código aberto.
Conheça aplicativos, ferramentas e tecnologias de pesquisa com tecnologia de IA neste curso. Aprenda a fazer pesquisa semântica usando embeddings de vetores, pesquisa híbrida combinando abordagens semânticas e por palavras-chave, e geração aumentada por recuperação (RAG), minimizando as alucinações artificiais da IA como um agente de IA embasado. Ganhe experiência prática com a pesquisa vetorial da Vertex AI para criar um mecanismo de pesquisa inteligente.
Neste curso, vamos conhecer o Vertex AI Studio, uma ferramenta para interagir com modelos de IA generativa, prototipar ideias comerciais e colocá-las em produção. Com a ajuda de um caso de uso imersivo, lições interessantes e um laboratório, você vai conhecer o ciclo de vida do comando à produção, além de usar o Vertex AI Studio para aplicativos multimodais do Gemini, design e engenharia de comandos e ajuste de modelos. O objetivo é permitir que você descubra todo o potencial da IA generativa nos seus projetos com o Vertex AI Studio.
Neste curso, ensinamos a criar um modelo de legenda para imagens usando aprendizado profundo. Você vai aprender sobre os diferentes componentes de um modelo de legenda para imagens, como o codificador e decodificador, e de que forma treinar e avaliar seu modelo. Ao final deste curso, você será capaz de criar e usar seus próprios modelos de legenda para imagens.
Este curso é uma introdução à arquitetura de transformador e ao modelo de Bidirectional Encoder Representations from Transformers (BERT, na sigla em inglês). Você vai aprender sobre os principais componentes da arquitetura de transformador, como o mecanismo de autoatenção, e como eles são usados para construir o modelo de BERT. Também vai conhecer as diferentes tarefas onde é possível usar o BERT, como classificação de texto, respostas a perguntas e inferência de linguagem natural. O curso leva aproximadamente 45 minutos.
Este curso apresenta um resumo da arquitetura de codificador-decodificador, que é uma arquitetura de machine learning avançada e frequentemente usada para tarefas sequência para sequência (como tradução automática, resumo de textos e respostas a perguntas). Você vai conhecer os principais componentes da arquitetura de codificador-decodificador e aprender a treinar e disponibilizar esses modelos. No tutorial do laboratório relacionado, você vai codificar uma implementação simples da arquitetura de codificador-decodificador para geração de poesia desde a etapa inicial no TensorFlow.
Este curso é uma introdução ao mecanismo de atenção, uma técnica avançada que permite que as redes neurais se concentrem em partes específicas de uma sequência de entrada. Você vai entender como a atenção funciona e como ela pode ser usada para melhorar o desempenho de várias tarefas de machine learning (como tradução automática, resumo de texto e resposta a perguntas).
Neste curso, apresentamos os modelos de difusão, uma família de modelos de machine learning promissora no campo da geração de imagens. Os modelos de difusão são baseados na física, mais especificamente na termodinâmica. Nos últimos anos, eles se popularizaram no setor e nas pesquisas. Esses modelos servem de base para ferramentas e modelos avançados de geração de imagem no Google Cloud. Este curso é uma introdução à teoria dos modelos de difusão e como eles devem ser treinados e implantados na Vertex AI.
Este curso ajuda estudantes a criar um plano de estudo para o exame de certificação PDE (Professional Data Engineer). É possível conferir a amplitude e o escopo dos domínios abordados no exame. Os estudantes também podem acompanhar os preparativos para o exame e criar planos de estudos individuais.