Francisco Andres Tapia Ibañez
Date d'abonnement : 2023
Ligue de Diamant
8298 points
Date d'abonnement : 2023
Dans ce cours, vous allez vous exercer à résoudre des problèmes concrets rencontrés lors de la création de pipelines de flux données. L'objectif principal est de gérer des données continues et illimitées avec les produits Google Cloud.
Dans ce cours de niveau intermédiaire, vous apprendrez à concevoir, créer et optimiser des pipelines de données en batch robustes sur Google Cloud. Au-delà des bases de la gestion des données, vous explorerez les transformations de données à grande échelle et l'orchestration efficace des workflows, essentielles pour l'informatique décisionnelle et les rapports critiques. Vous vous entraînerez à utiliser Dataflow pour Apache Beam et Serverless pour Apache Spark (Dataproc Serverless) pour l'implémentation, et vous aborderez des considérations importantes concernant la qualité des données, la surveillance et les alertes pour assurer la fiabilité des pipelines et l'excellence opérationnelle. Il est recommandé d'avoir des connaissances de base sur l'entreposage de données, les processus ETL/ELT, SQL, Python et les concepts de Google Cloud.
Bien que les approches traditionnelles utilisant des lacs de données et des entrepôts de données puissent être efficaces, elles présentent des inconvénients, en particulier dans les grands environnements d'entreprise. Ce cours présente le concept de data lakehouse et les produits Google Cloud utilisés pour en créer un. Une architecture de lakehouse utilise des sources de données basées sur des normes ouvertes et combine les meilleures fonctionnalités des lacs et des entrepôts de données, ce qui permet de pallier de nombreuses lacunes.
Dans ce cours, vous allez explorer l'ingénierie de données sur Google Cloud, les rôles et responsabilités des ingénieurs de données, et la façon dont ces éléments se retrouvent dans les offres Google Cloud. Vous apprendrez également à relever les défis liés à l'ingénierie de données.
Ce cours a pour objectif d'aider les participants à créer un plan de formation pour l'examen de certification Professional Data Engineer. Les participants découvriront l'étendue et le champ d'application des domaines abordés lors de l'examen, puis évalueront leur niveau de préparation à l'examen et créeront leur propre plan de formation.
Dans ce cours d'introduction, vous allez pouvoir vous familiariser avec les outils et services fondamentaux de Google Cloud. Des vidéos facultatives vous fourniront davantage de contexte et vous permettront de réviser les concepts abordés lors des ateliers pratiques. Ce premier cours sur les bases de Google Cloud est recommandé aux personnes qui s'intéressent à Google Cloud. Vous pouvez le suivre sans aucune connaissance (ou presque) du cloud et, à la fin, vous aurez acquis des compétences pratiques utiles pour lancer votre premier projet Google Cloud. De l'écriture de lignes de commande Cloud Shell au déploiement de votre première machine virtuelle en passant par l'exécution d'applications sur Kubernetes Engine ou avec l'équilibrage de charge, 'Les bases de Google Cloud' constitue une excellente introduction aux fonctionnalités de base de la plate-forme.