Découvrez comment utiliser Gemini Notebook pour créer un guide de préparation personnalisé pour l'examen de certification Professional Data Engineer. Vous allez passer en revue les fonctionnalités de Gemini Notebook, créer un notebook dans Gemini Notebook, et apprendre à utiliser un guide d'étude pour vous entraîner à passer un examen de certification.
Ce cours est le premier d'une série en trois volets sur le traitement des données sans serveur avec Dataflow. Dans ce premier cours, nous allons commencer par rappeler ce qu'est Apache Beam et sa relation avec Dataflow. Ensuite, nous aborderons la vision d'Apache Beam et les avantages de son framework de portabilité, qui permet aux développeurs d'utiliser le langage de programmation et le backend d'exécution de leur choix. Nous vous montrerons aussi comment séparer le calcul du stockage et économiser de l'argent grâce à Dataflow, puis nous examinerons les interactions entre les outils de gestion de l'identification et des accès avec vos pipelines Dataflow. Enfin, nous verrons comment implémenter le modèle de sécurité adapté à votre cas d'utilisation sur Dataflow.
Obtenez le badge de compétence de niveau Débutant 'Organiser et gouverner les données avec Dataplex' pour démontrer vos compétences dans les domaines suivants : création d'assets Dataplex, création de types d'aspects et application d'aspects aux entrées dans Dataplex. Les badges de compétence valident vos connaissances sur des produits spécifiques lors d'ateliers pratiques et d'évaluations. Décrochez un badge en suivant un cours ou accédez directement à l'atelier challenge correspondant pour l'obtenir dès aujourd'hui. Les badges attestent de votre niveau de maîtrise, améliorent votre profil professionnel et, par conséquent, vous permettent d'accroître vos opportunités de carrière. Accédez à votre profil pour retrouver les badges que vous avez obtenus.
Dans ce cours, vous allez vous exercer à résoudre des problèmes concrets rencontrés lors de la création de pipelines de flux données. L'objectif principal est de gérer des données continues et illimitées avec les produits Google Cloud.
Dans ce cours de niveau intermédiaire, vous apprendrez à concevoir, créer et optimiser des pipelines de données en batch robustes sur Google Cloud. Au-delà des bases de la gestion des données, vous explorerez les transformations de données à grande échelle et l'orchestration efficace des workflows, essentielles pour l'informatique décisionnelle et les rapports critiques. Vous vous entraînerez à utiliser Dataflow pour Apache Beam et Serverless pour Apache Spark (Dataproc Serverless) pour l'implémentation, et vous aborderez des considérations importantes concernant la qualité des données, la surveillance et les alertes pour assurer la fiabilité des pipelines et l'excellence opérationnelle. Il est recommandé d'avoir des connaissances de base sur l'entreposage de données, les processus ETL/ELT, SQL, Python et les concepts de Google Cloud.
Ce cours présente Gemini dans BigQuery, une suite de fonctionnalités basées sur l'IA conçue pour faciliter le workflow "des données à l'IA". Ces fonctionnalités incluent l'exploration et la préparation des données, la génération et le dépannage de code, ainsi que la découverte et la visualisation du workflow. Au moyen d'explications conceptuelles, d'un cas d'utilisation concret et d'ateliers pratiques, le cours explique aux professionnels des données comment booster leur productivité et accélérer le pipeline de développement.
Bien que les approches traditionnelles utilisant des lacs de données et des entrepôts de données puissent être efficaces, elles présentent des inconvénients, en particulier dans les grands environnements d'entreprise. Ce cours présente le concept de data lakehouse et les produits Google Cloud utilisés pour en créer un. Une architecture de lakehouse utilise des sources de données basées sur des normes ouvertes et combine les meilleures fonctionnalités des lacs et des entrepôts de données, ce qui permet de pallier de nombreuses lacunes.
Dans ce cours, vous allez explorer l'ingénierie de données sur Google Cloud, les rôles et responsabilités des ingénieurs de données, et la façon dont ces éléments se retrouvent dans les offres Google Cloud. Vous apprendrez également à relever les défis liés à l'ingénierie de données.