Denys Shapovalov
Date d'abonnement : 2022
Date d'abonnement : 2022
Dans ce cours, vous allez explorer l'ingénierie de données sur Google Cloud, les rôles et responsabilités des ingénieurs de données, et la façon dont ces éléments se retrouvent dans les offres Google Cloud. Vous apprendrez également à relever les défis liés à l'ingénierie de données.
Ce cours présente les produits et services Google Cloud pour le big data et le machine learning compatibles avec le cycle de vie "des données à l'IA". Il explore les processus, défis et avantages liés à la création d'un pipeline de big data et de modèles de machine learning avec Vertex AI sur Google Cloud.
Dans ce cours de niveau intermédiaire, vous apprendrez à concevoir, créer et optimiser des pipelines de données en batch robustes sur Google Cloud. Au-delà des bases de la gestion des données, vous explorerez les transformations de données à grande échelle et l'orchestration efficace des workflows, essentielles pour l'informatique décisionnelle et les rapports critiques. Vous vous entraînerez à utiliser Dataflow pour Apache Beam et Serverless pour Apache Spark (Dataproc Serverless) pour l'implémentation, et vous aborderez des considérations importantes concernant la qualité des données, la surveillance et les alertes pour assurer la fiabilité des pipelines et l'excellence opérationnelle. Il est recommandé d'avoir des connaissances de base sur l'entreposage de données, les processus ETL/ELT, SQL, Python et les concepts de Google Cloud.
Terminez le cours d'introduction Créer un maillage de données avec Knowledge Catalog pour recevoir un badge démontrant vos compétences dans les domaines suivants : la création d'un maillage de données avec Knowledge Catalog pour faciliter la sécurité, la gouvernance et la découverte des données sur Google Cloud. Cela comprend l'ajout de tags à des éléments, l'attribution de rôles IAM et l'évaluation de la qualité des données dans Knowledge Catalog.
Bien que les approches traditionnelles utilisant des lacs de données et des entrepôts de données puissent être efficaces, elles présentent des inconvénients, en particulier dans les grands environnements d'entreprise. Ce cours présente le concept de data lakehouse et les produits Google Cloud utilisés pour en créer un. Une architecture de lakehouse utilise des sources de données basées sur des normes ouvertes et combine les meilleures fonctionnalités des lacs et des entrepôts de données, ce qui permet de pallier de nombreuses lacunes.
Obtenez un badge de compétence en suivant le cours Mettre en œuvre des flux de travail de messagerie et d'automatisation basés sur les événements dans lequel vous apprendrez à utiliser Pub/Sub depuis la console Cloud. Vous découvrirez également comment les jobs Cloud Scheduler peuvent vous faire gagner du temps et quand Pub/Sub Lite permet de réaliser des économies sur l'ingestion d'événements.