Meredith Olson
Date d'abonnement : 2022
Ligue d'Argent
7390 points
Date d'abonnement : 2022
Dans ce deuxième volet de la série de cours sur Dataflow, nous allons nous intéresser de plus près au développement de pipelines à l'aide du SDK Beam. Nous allons commencer par passer en revue les concepts d'Apache Beam. Nous allons ensuite parler du traitement des données par flux à l'aide de fenêtres, de filigranes et de déclencheurs. Nous passerons ensuite aux options de sources et de récepteurs dans vos pipelines, aux schémas pour présenter vos données structurées, et nous verrons comment effectuer des transformations avec état à l'aide des API State et Timer. Nous aborderons ensuite les bonnes pratiques qui vous aideront à maximiser les performances de vos pipelines. Vers la fin du cours, nous présentons le langage SQL et les DataFrames pour représenter votre logique métier dans Beam, et nous expliquons comment développer des pipelines de manière itérative à l'aide des notebooks Beam.
Les organisations de toutes tailles exploitent le potentiel et la flexibilité du cloud afin de transformer leurs opérations. Toutefois, la gestion et le scaling des ressources cloud peuvent s'avérer complexes. Ce cours présente les concepts fondamentaux des opérations modernes, de la fiabilité et de la résilience dans le cloud, ainsi que la manière dont Google Cloud peut vous aider à atteindre ces objectifs. Ce cours fait partie du parcours de formation Cloud Digital Leader. Il vise à aider les participants à évoluer dans leur poste et à bâtir l'avenir de leur entreprise.
De nombreuses entreprises traditionnelles utilisent d'anciens systèmes et d'anciennes applications qui ne peuvent plus satisfaire les attentes des clients d'aujourd'hui. Les chefs d'entreprise doivent régulièrement choisir entre deux options : entretenir leurs systèmes informatiques vieillissants et investir dans de nouveaux produits et services. Ce cours aborde ces problématiques et propose des solutions pour les résoudre à l'aide de la technologie cloud. Ce cours fait partie du parcours de formation Cloud Digital Leader. Il vise à aider les participants à évoluer dans leur poste et à bâtir l'avenir de leur entreprise.
La technologie cloud est un atout de taille qui, lorsqu'elle est associée aux données, devient un catalyseur d'innovation et d'amélioration de l'expérience client. Le cours "Explorer la transformation des données avec Google Cloud" explique comment les entreprises peuvent exploiter le cloud pour rendre leurs données plus accessibles, exploitables et utiles. Ce cours fait partie du parcours de formation Cloud Digital Leader. Il vise à aider les participants à évoluer dans leur poste et à bâtir l'avenir de leur entreprise.
La transformation numérique est un processus essentiel pour les entreprises modernes. La première étape pour stimuler une innovation significative consiste à établir une base solide dans le cloud computing. Le cours "La transformation numérique avec Google Cloud" présente les technologies de base et les frameworks stratégiques qui aident les entreprises à moderniser leurs opérations. Ce cours aborde les concepts fondamentaux du cloud, l'infrastructure réseau mondiale et le modèle de responsabilité partagée pour aider les dirigeants à migrer vers le cloud en toute confiance. Il fait partie du parcours de formation "Cloud Digital Leader", et vise à aider les participants à évoluer dans leur poste et à bâtir l'avenir de leur entreprise.
Quelles sont les bonnes pratiques pour implémenter le machine learning sur Google Cloud ? En quoi consiste la plate-forme Vertex AI et comment pouvez-vous l'utiliser pour créer, entraîner et déployer rapidement des modèles de machine learning AutoML sans écrire une seule ligne de code ? Qu'est-ce que le machine learning et quels types de problèmes permet-il de résoudre ? Google aborde le machine learning d'une façon particulière, qui consiste à fournir une plate-forme unifiée pour les ensembles de données gérés, ainsi qu'un magasin de caractéristiques et un moyen de créer, d'entraîner et de déployer des modèles de machine learning sans écrire une seule ligne de code. Il s'agit également de permettre aux utilisateurs d'étiqueter les données et de créer des notebooks Workbench à l'aide de frameworks tels que TensorFlow, Scikit Learn, Pytorch et R. Avec notre plate-forme Vertex AI, il est également possible d'entraîner des modèles personnalisés, de créer des pipelines de composants, …
Terminez le cours d'introduction Créer et gérer des instances Bigtable pour recevoir un badge démontrant vos compétences dans les domaines suivants : la création d'instances, la conception de schémas, l'interrogation de données et la réalisation de tâches d'administration dans Bigtable, y compris la surveillance des performances et la configuration de l'autoscaling et de la réplication de nœuds.
Terminez le cours d'introduction Créer et gérer des instances Cloud Spanner pour recevoir un badge démontrant vos compétences dans les domaines suivants : créer des instances et des bases de données Cloud Spanner et interagir avec elles ; charger des bases de données Cloud Spanner à l'aide de différentes techniques ; sauvegarder des bases de données Cloud Spanner, définir des schémas et comprendre les plans de requête ; déployer une application Web moderne connectée à une instance Cloud Spanner.
This course is intended to give architects, engineers, and developers the skills required to help enterprise customers architect, plan, execute, and test database migration projects. Through a combination of presentations, demos, and hands-on labs participants move databases to Google Cloud while taking advantage of various services. This course covers how to move on-premises, enterprise databases like SQL Server to Google Cloud (Compute Engine and Cloud SQL) and Oracle to Google Cloud bare metal.
"Concepts fondamentaux de Google Cloud : infrastructure de base" présente les concepts et les termes à connaître pour utiliser Google Cloud. À travers des vidéos et des ateliers pratiques, il décrit et compare la plupart des services Google Cloud de calcul et de stockage, ainsi que des outils importants de gestion des ressources et des règles.
Ce cours est le premier d'une série en trois volets sur le traitement des données sans serveur avec Dataflow. Dans ce premier cours, nous allons commencer par rappeler ce qu'est Apache Beam et sa relation avec Dataflow. Ensuite, nous aborderons la vision d'Apache Beam et les avantages de son framework de portabilité, qui permet aux développeurs d'utiliser le langage de programmation et le backend d'exécution de leur choix. Nous vous montrerons aussi comment séparer le calcul du stockage et économiser de l'argent grâce à Dataflow, puis nous examinerons les interactions entre les outils de gestion de l'identification et des accès avec vos pipelines Dataflow. Enfin, nous verrons comment implémenter le modèle de sécurité adapté à votre cas d'utilisation sur Dataflow.
Intégrer le machine learning à des pipelines de données renforce la capacité à dégager des insights des données. Ce cours passera en revue plusieurs façons d'intégrer le machine learning à des pipelines de données sur Google Cloud. Vous découvrirez AutoML pour les cas ne nécessitant que peu de personnalisation (voire aucune), ainsi que Notebooks et BigQuery ML pour les situations qui requièrent des capacités de machine learning plus adaptées. Enfin, vous apprendrez à utiliser des solutions de machine learning en production avec Vertex AI.
Dans ce cours, vous allez vous exercer à résoudre des problèmes concrets rencontrés lors de la création de pipelines de flux données. L'objectif principal est de gérer des données continues et illimitées avec les produits Google Cloud.
Dans ce cours de niveau intermédiaire, vous apprendrez à concevoir, créer et optimiser des pipelines de données en batch robustes sur Google Cloud. Au-delà des bases de la gestion des données, vous explorerez les transformations de données à grande échelle et l'orchestration efficace des workflows, essentielles pour l'informatique décisionnelle et les rapports critiques. Vous vous entraînerez à utiliser Dataflow pour Apache Beam et Serverless pour Apache Spark (Dataproc Serverless) pour l'implémentation, et vous aborderez des considérations importantes concernant la qualité des données, la surveillance et les alertes pour assurer la fiabilité des pipelines et l'excellence opérationnelle. Il est recommandé d'avoir des connaissances de base sur l'entreposage de données, les processus ETL/ELT, SQL, Python et les concepts de Google Cloud.
Suivez le cours Configurer un environnement de développement d'applications sur Google Cloud et obtenez un badge de compétence. Dans ce cours, vous apprendrez à créer et connecter une infrastructure cloud axée sur le stockage à l'aide des fonctionnalités de base des technologies suivantes Cloud Storage, Identity and Access Management, Cloud Functions et Pub/Sub.
Big data, machine learning et données scientifiques ? Il semble que ce soit la combinaison parfaite. Dans cette quête avancée, vous allez vous familiariser avec des services GCP tels que BigQuery, Managed Service for Apache Spark et Tensorflow, que vous appliquerez à des cas utilisant des ensembles de données scientifiques réelles. En vous faisant acquérir de l'expérience avec des tâches telles que l'analyse des données sismiques et l'agrégation d'images satellites, le traitement de données scientifiques développera vos compétences dans le domaine du Big data et du machine learning, et vous aidera à résoudre les problèmes que vous rencontrez dans différentes disciplines scientifiques.
In this course you will learn how to use several BigQuery ML features to improve retail use cases. Predict the demand for bike rentals in NYC with demand forecasting, and see how to use BigQuery ML for a classification task that predicts the likelihood of a website visitor making a purchase.
Bien que les approches traditionnelles utilisant des lacs de données et des entrepôts de données puissent être efficaces, elles présentent des inconvénients, en particulier dans les grands environnements d'entreprise. Ce cours présente le concept de data lakehouse et les produits Google Cloud utilisés pour en créer un. Une architecture de lakehouse utilise des sources de données basées sur des normes ouvertes et combine les meilleures fonctionnalités des lacs et des entrepôts de données, ce qui permet de pallier de nombreuses lacunes.
Découvrez comment utiliser Gemini Notebook pour créer un guide de préparation personnalisé pour l'examen de certification Professional Data Engineer. Vous allez passer en revue les fonctionnalités de Gemini Notebook, créer un notebook dans Gemini Notebook, et apprendre à utiliser un guide d'étude pour vous entraîner à passer un examen de certification.
Ce cours présente les produits et services Google Cloud pour le big data et le machine learning compatibles avec le cycle de vie "des données à l'IA". Il explore les processus, défis et avantages liés à la création d'un pipeline de big data et de modèles de machine learning avec Vertex AI sur Google Cloud.
Terminez le cours d'introduction Préparer des données pour les API de ML sur Google Cloud pour recevoir un badge démontrant vos compétences dans les domaines suivants : le nettoyage des données avec Dataprep by Trifacta, l'exécution de pipelines de données dans Dataflow, la création de clusters et l'exécution de jobs Apache Spark dans Managed Service for Apache Spark, et l'appel d'API de ML comme l'API Cloud Natural Language, l'API Google Cloud Speech-to-Text et l'API Video Intelligence.
Aujourd'hui, le big data, le machine learning et l'intelligence artificielle sont des thèmes en vogue dans le domaine de l'informatique. Ce sont toutefois des disciplines pointues, pour lesquelles il n'est pas toujours simple de trouver des documents de référence. Heureusement, Google Cloud propose des services conviviaux dédiés, ainsi que ce cours d'introduction, pour vous aider à faire vos premiers pas avec des outils comme BigQuery, l'API Cloud Speech et Video Intelligence.
Terminez le cours d'introduction Créer et gérer des instances AlloyDB pour recevoir un badge démontrant vos compétences dans les domaines suivants : effectuer les principales tâches et opérations AlloyDB, migrer de PostgreSQL vers AlloyDB, administrer une base de données AlloyDB et accélérer les requêtes analytiques à l'aide du moteur de données en colonnes AlloyDB.
Créer des modèles de machine learning en quelques minutes au lieu de plusieurs heures grâce à SQL, ça vous intéresse ? BigQuery ML démocratise le machine learning en permettant aux analystes de données de créer, d'entraîner et d'évaluer des modèles de ML, puis de les utiliser pour faire des prédictions, en s'appuyant sur leurs outils SQL et leurs connaissances actuelles dans ce langage. Dans cette série d'ateliers, vous allez essayer différents types de modèles et apprendre ce qui caractérise un bon modèle.
Dans ce cours d'introduction, vous allez pouvoir vous familiariser avec les outils et services fondamentaux de Google Cloud. Des vidéos facultatives vous fourniront davantage de contexte et vous permettront de réviser les concepts abordés lors des ateliers pratiques. Ce premier cours sur les bases de Google Cloud est recommandé aux personnes qui s'intéressent à Google Cloud. Vous pouvez le suivre sans aucune connaissance (ou presque) du cloud et, à la fin, vous aurez acquis des compétences pratiques utiles pour lancer votre premier projet Google Cloud. De l'écriture de lignes de commande Cloud Shell au déploiement de votre première machine virtuelle en passant par l'exécution d'applications sur Kubernetes Engine ou avec l'équilibrage de charge, 'Les bases de Google Cloud' constitue une excellente introduction aux fonctionnalités de base de la plate-forme.
In this fundamental-level course, you will learn the ins and outs of Google Cloud's operations suite running on Google Kubernetes Engine, an important service for generating insights into the health of your applications. It provides a wealth of information in application monitoring, report logging, and diagnoses. The labs in this course will give you hands-on practice with and will teach you how to monitor virtual machines, generate logs and alerts, and create custom metrics for application data. It is recommended that the students have at least earned a Badge by completing the Google Cloud Essentials course. Additional lab experience with the labs in the Baseline - Infrastructure course will also be useful. Looking for a hands-on challenge lab to demonstrate your skills and validate your knowledge? On completing this course, enroll in and finish the additional challenge lab at the end of this course to receive an exclusive Google Cloud digital badge.
Want to scale your data analysis efforts without managing database hardware? Learn the best practices for querying and getting insights from your data warehouse with this interactive series of BigQuery labs. BigQuery is Google's fully managed, NoOps, low cost analytics database. With BigQuery you can query terabytes and terabytes of data without having any infrastructure to manage or needing a database administrator. BigQuery uses SQL and can take advantage of the pay-as-you-go model. BigQuery allows you to focus on analyzing data to find meaningful insights.
In this series of labs you will learn how to use BigQuery to analyze NCAA basketball data with SQL. Build a Machine Learning Model to predict the outcomes of NCAA March Madness basketball tournament games.
In this quest you will get hands-on experience writing infrastructure as code with Terraform.