Dans le dernier volet de la série de cours sur Dataflow, nous allons présenter les composants du modèle opérationnel de Dataflow. Nous examinerons les outils et techniques permettant de résoudre les problèmes et d'optimiser les performances des pipelines. Nous passerons ensuite en revue les bonnes pratiques en matière de test, de déploiement et de fiabilité pour les pipelines Dataflow. Nous terminerons par une présentation des modèles, qui permettent de faire évoluer facilement les pipelines Dataflow pour les adapter aux organisations comptant des centaines d'utilisateurs. Ces leçons vous aideront à vous assurer que votre plate-forme de données est stable et résiliente face aux imprévus.
Ce cours montre comment utiliser des modèles d'IA/de ML pour des tâches d'IA générative dans BigQuery. À travers un cas d'utilisation pratique faisant intervenir la gestion de la relation client, vous étudierez le workflow de résolution d'un problème métier à l'aide de modèles Gemini. Pour faciliter la compréhension, le cours fournit également des instructions détaillées tout au long du codage des solutions à l'aide de requêtes SQL et de Notebooks Python.
Ce cours présente Gemini dans BigQuery, une suite de fonctionnalités basées sur l'IA conçue pour faciliter le workflow "des données à l'IA". Ces fonctionnalités incluent l'exploration et la préparation des données, la génération et le dépannage de code, ainsi que la découverte et la visualisation du workflow. Au moyen d'explications conceptuelles, d'un cas d'utilisation concret et d'ateliers pratiques, le cours explique aux professionnels des données comment booster leur productivité et accélérer le pipeline de développement.
Dans ce deuxième volet de la série de cours sur Dataflow, nous allons nous intéresser de plus près au développement de pipelines à l'aide du SDK Beam. Nous allons commencer par passer en revue les concepts d'Apache Beam. Nous allons ensuite parler du traitement des données par flux à l'aide de fenêtres, de filigranes et de déclencheurs. Nous passerons ensuite aux options de sources et de récepteurs dans vos pipelines, aux schémas pour présenter vos données structurées, et nous verrons comment effectuer des transformations avec état à l'aide des API State et Timer. Nous aborderons ensuite les bonnes pratiques qui vous aideront à maximiser les performances de vos pipelines. Vers la fin du cours, nous présentons le langage SQL et les DataFrames pour représenter votre logique métier dans Beam, et nous expliquons comment développer des pipelines de manière itérative à l'aide des notebooks Beam.
Les applications d'IA générative peuvent créer de nouvelles expériences utilisateur qu'il était quasiment impossible d'obtenir avant l'invention des grands modèles de langage (LLM). En tant que développeur d'applications, comment pouvez-vous utiliser l'IA générative pour créer des applications interactives et performantes sur Google Cloud ? Dans ce cours, vous allez découvrir les applications d'IA générative, et comment vous pouvez utiliser la conception de requêtes et la génération augmentée par récupération (RAG) pour créer des applications performantes à l'aide de LLM. Vous allez vous familiariser avec une architecture prête pour la production qui peut être utilisée pour les applications d'IA générative, et vous allez créer une application de chat basée sur des LLM et sur le RAG.
Dans ce cours, vous allez explorer l'ingénierie de données sur Google Cloud, les rôles et responsabilités des ingénieurs de données, et la façon dont ces éléments se retrouvent dans les offres Google Cloud. Vous apprendrez également à relever les défis liés à l'ingénierie de données.
Dans ce cours, vous allez vous exercer à résoudre des problèmes concrets rencontrés lors de la création de pipelines de flux données. L'objectif principal est de gérer des données continues et illimitées avec les produits Google Cloud.
Dans ce cours de niveau intermédiaire, vous apprendrez à concevoir, créer et optimiser des pipelines de données en batch robustes sur Google Cloud. Au-delà des bases de la gestion des données, vous explorerez les transformations de données à grande échelle et l'orchestration efficace des workflows, essentielles pour l'informatique décisionnelle et les rapports critiques. Vous vous entraînerez à utiliser Dataflow pour Apache Beam et Serverless pour Apache Spark (Dataproc Serverless) pour l'implémentation, et vous aborderez des considérations importantes concernant la qualité des données, la surveillance et les alertes pour assurer la fiabilité des pipelines et l'excellence opérationnelle. Il est recommandé d'avoir des connaissances de base sur l'entreposage de données, les processus ETL/ELT, SQL, Python et les concepts de Google Cloud.
Intégrer le machine learning à des pipelines de données renforce la capacité à dégager des insights des données. Ce cours passera en revue plusieurs façons d'intégrer le machine learning à des pipelines de données sur Google Cloud. Vous découvrirez AutoML pour les cas ne nécessitant que peu de personnalisation (voire aucune), ainsi que Notebooks et BigQuery ML pour les situations qui requièrent des capacités de machine learning plus adaptées. Enfin, vous apprendrez à utiliser des solutions de machine learning en production avec Vertex AI.
Ce cours est le premier d'une série en trois volets sur le traitement des données sans serveur avec Dataflow. Dans ce premier cours, nous allons commencer par rappeler ce qu'est Apache Beam et sa relation avec Dataflow. Ensuite, nous aborderons la vision d'Apache Beam et les avantages de son framework de portabilité, qui permet aux développeurs d'utiliser le langage de programmation et le backend d'exécution de leur choix. Nous vous montrerons aussi comment séparer le calcul du stockage et économiser de l'argent grâce à Dataflow, puis nous examinerons les interactions entre les outils de gestion de l'identification et des accès avec vos pipelines Dataflow. Enfin, nous verrons comment implémenter le modèle de sécurité adapté à votre cas d'utilisation sur Dataflow.
Terminez le cours d'introduction Préparer des données pour les API de ML sur Google Cloud pour recevoir un badge démontrant vos compétences dans les domaines suivants : le nettoyage des données avec Dataprep by Trifacta, l'exécution de pipelines de données dans Dataflow, la création de clusters et l'exécution de jobs Apache Spark dans Managed Service for Apache Spark, et l'appel d'API de ML comme l'API Cloud Natural Language, l'API Google Cloud Speech-to-Text et l'API Video Intelligence.
Terminez le cours intermédiaire Créer un entrepôt de données avec BigQuery pour recevoir un badge démontrant vos compétences dans les domaines suivants : la jointure de données pour créer des tables, la résolution des problèmes liés aux jointures, l'ajout de données avec des unions, la création de tables partitionnées par date, et l'utilisation d'objets JSON, ARRAY et STRUCT dans BigQuery.
Terminez le cours intermédiaire Ingénierie des données pour la modélisation prédictive avec BigQuery ML pour recevoir un badge démontrant vos compétences dans les domaines suivants : la création de pipelines de transformation des données dans BigQuery avec Dataprep by Trifacta ; l'utilisation de Cloud Storage, Dataflow et BigQuery pour créer des workflows ETL (Extract, Transform and Load) ; et la création de modèles de machine learning avec BigQuery ML.
Terminez le cours d'introduction Créer un maillage de données avec Knowledge Catalog pour recevoir un badge démontrant vos compétences dans les domaines suivants : la création d'un maillage de données avec Knowledge Catalog pour faciliter la sécurité, la gouvernance et la découverte des données sur Google Cloud. Cela comprend l'ajout de tags à des éléments, l'attribution de rôles IAM et l'évaluation de la qualité des données dans Knowledge Catalog.
Terminez le cours d'introduction Conception de requêtes dans Agent Platform pour recevoir un badge démontrant vos compétences dans les domaines suivants : le prompt engineering (ingénierie des requêtes), l'analyse d'images et les techniques d'IA générative multimodale dans Agent Platform. Découvrez comment élaborer des requêtes efficaces, guider les résultats de l'IA générative et appliquer des modèles Gemini à des scénarios marketing concrets.
Bien que les approches traditionnelles utilisant des lacs de données et des entrepôts de données puissent être efficaces, elles présentent des inconvénients, en particulier dans les grands environnements d'entreprise. Ce cours présente le concept de data lakehouse et les produits Google Cloud utilisés pour en créer un. Une architecture de lakehouse utilise des sources de données basées sur des normes ouvertes et combine les meilleures fonctionnalités des lacs et des entrepôts de données, ce qui permet de pallier de nombreuses lacunes.
Découvrez comment utiliser Gemini Notebook pour créer un guide de préparation personnalisé pour l'examen de certification Professional Data Engineer. Vous allez passer en revue les fonctionnalités de Gemini Notebook, créer un notebook dans Gemini Notebook, et apprendre à utiliser un guide d'étude pour vous entraîner à passer un examen de certification.
Dans ce cours, vous découvrirez comment Gemini, un outil de collaboration Google Cloud optimisé par l'IA générative, vous aide à utiliser les produits et services Google pour développer, tester et gérer des applications. Avec l'assistance de Gemini, vous apprendrez à développer une application Web, à corriger les erreurs de l'application, à créer des tests et à interroger des données. À l'aide d'un atelier pratique, vous verrez en quoi Gemini améliore le cycle de vie du développement logiciel (SDLC, software development lifecycle). Duet AI a été rebaptisé Gemini, notre modèle nouvelle génération.
Ce cours en auto-formation présente une étude approfondie des contrôles et techniques de sécurité sur Google Cloud. À travers des présentations enregistrées, des démonstrations et des ateliers pratiques, les participants explorent et déploient les composants d'une solution Google Cloud sécurisée (Cloud Identity, Resource Manager, Cloud IAM, les pare-feu de cloud privé virtuel, Cloud Load Balancing, l'appairage cloud, Cloud Interconnect et VPC Service Controls, par exemple). Ceci est le premier cours de la série "Sécurité dans Google Cloud". Après l'avoir terminé, inscrivez-vous au cours "Bonnes pratiques de sécurité dans Google Cloud".
Terminez le cours intermédiaire Déployer des applications Kubernetes sur Google Cloud pour recevoir un badge démontrant vos compétences dans les domaines suivants : la configuration et la création d'images de conteneur Docker, la création et la gestion de clusters Google Kubernetes Engine (GKE), l'utilisation de kubectl pour gérer efficacement les clusters et le déploiement d'applications Kubernetes en appliquant des pratiques de livraison continue (CD) robustes.
Terminez le cours intermédiaire Créer une infrastructure avec Terraform sur Google Cloud pour recevoir un badge démontrant vos compétences dans les domaines suivants : les principes d'Infrastructure as Code (IaC) avec Terraform, le provisionnement et la gestion des ressources Google Cloud avec des configurations Terraform, la gestion efficace des états (local et distant) et la modularisation du code Terraform à des fins de réutilisabilité et d'organisation.
Blockchain and related technologies, such as distributed ledger and distributed apps, are becoming new value drivers and solution priorities in many industries. In this course you will gain hands-on experience with distributed ledger and the exploration of blockchain datasets in Google Cloud. It brings the research and solution work of Google's Allen Day into self-paced labs for you to run and learn directly. Since this course uses advanced SQL in BigQuery, a SQL-in-BigQuery refresher lab is at the start.
Suivez le cours Développer votre réseau Google Cloud et obtenez un badge de compétence. Dans ce cours, vous avez appris plusieurs façons de déployer et de surveiller des applications. Pour cela, vous avez vu comment parcourir les rôles IAM et ajouter/supprimer l'accès au projet, créer des réseaux VPC, déployer et surveiller des VM Compute Engine, rédiger des requêtes SQL, déployer et surveiller des VM dans Compute Engine, mais aussi comment déployer des applications à l'aide de Kubernetes avec plusieurs approches de déploiement.
Ce cours d'introduction est unique en son genre parmi les autres offres de cours. Il se compose d'ateliers pratiques conçus pour permettre aux professionnels de l'informatique de se familiariser avec les sujets et les services au programme de la certification Google Cloud Certified Associate Cloud Engineer. De l'IAM à la gestion de réseaux en passant par le déploiement avec Kubernetes Engine, vous allez suivre dans ce cours des ateliers spécifiques qui mettront à l'épreuve vos connaissances sur Google Cloud. Attention : même si ces ateliers constituent une bonne base pour développer vos compétences, nous vous recommandons de consulter en supplément le guide de l'examen et les autres ressources de préparation disponibles.
Suivez le cours Configurer un environnement de développement d'applications sur Google Cloud et obtenez un badge de compétence. Dans ce cours, vous apprendrez à créer et connecter une infrastructure cloud axée sur le stockage à l'aide des fonctionnalités de base des technologies suivantes Cloud Storage, Identity and Access Management, Cloud Functions et Pub/Sub.
Si vous êtes un développeur cloud débutant et recherchez des exercices pratiques plus poussés au-delà des bases de Google Cloud, ce cours est fait pour vous. Il vous permettra d'acquérir de l'expérience pratique grâce aux ateliers qui traitent en profondeur de Cloud Storage et d'autres services applicatifs clés tels que Monitoring et Cloud Functions. Vous développerez des compétences précieuses que vous pourrez utiliser dans tous vos projets Google Cloud.
Terminez le cours d'introduction Implémenter Cloud Load Balancing pour Compute Engine pour recevoir un badge démontrant vos compétences dans les domaines suivants : Créer et déployer des machines virtuelles dans Compute Engine Configurer des équilibreurs de charge réseau et d'application.