Rejoindre Se connecter

Pedro Aguila

Date d'abonnement : 2021

Traitement des données sans serveur avec Dataflow : développer des pipelines Earned mars 3, 2026 EST
Traitement des données sans serveur avec Dataflow : principes de base Earned mars 2, 2026 EST
Créer un guide d'étude pour une certification : préparation à l'examen PDE Earned jan. 23, 2026 EST
Créer des lacs de données et des entrepôts de données sur Google Cloud Earned oct. 16, 2022 EDT
Google Cloud Big Data and Machine Learning Fundamentals - Français Earned sept. 25, 2022 EDT

Dans ce deuxième volet de la série de cours sur Dataflow, nous allons nous intéresser de plus près au développement de pipelines à l'aide du SDK Beam. Nous allons commencer par passer en revue les concepts d'Apache Beam. Nous allons ensuite parler du traitement des données par flux à l'aide de fenêtres, de filigranes et de déclencheurs. Nous passerons ensuite aux options de sources et de récepteurs dans vos pipelines, aux schémas pour présenter vos données structurées, et nous verrons comment effectuer des transformations avec état à l'aide des API State et Timer. Nous aborderons ensuite les bonnes pratiques qui vous aideront à maximiser les performances de vos pipelines. Vers la fin du cours, nous présentons le langage SQL et les DataFrames pour représenter votre logique métier dans Beam, et nous expliquons comment développer des pipelines de manière itérative à l'aide des notebooks Beam.

En savoir plus

Ce cours est le premier d'une série en trois volets sur le traitement des données sans serveur avec Dataflow. Dans ce premier cours, nous allons commencer par rappeler ce qu'est Apache Beam et sa relation avec Dataflow. Ensuite, nous aborderons la vision d'Apache Beam et les avantages de son framework de portabilité, qui permet aux développeurs d'utiliser le langage de programmation et le backend d'exécution de leur choix. Nous vous montrerons aussi comment séparer le calcul du stockage et économiser de l'argent grâce à Dataflow, puis nous examinerons les interactions entre les outils de gestion de l'identification et des accès avec vos pipelines Dataflow. Enfin, nous verrons comment implémenter le modèle de sécurité adapté à votre cas d'utilisation sur Dataflow.

En savoir plus

Découvrez comment utiliser Gemini Notebook pour créer un guide de préparation personnalisé pour l'examen de certification Professional Data Engineer. Vous allez passer en revue les fonctionnalités de Gemini Notebook, créer un notebook dans Gemini Notebook, et apprendre à utiliser un guide d'étude pour vous entraîner à passer un examen de certification.

En savoir plus

Bien que les approches traditionnelles utilisant des lacs de données et des entrepôts de données puissent être efficaces, elles présentent des inconvénients, en particulier dans les grands environnements d'entreprise. Ce cours présente le concept de data lakehouse et les produits Google Cloud utilisés pour en créer un. Une architecture de lakehouse utilise des sources de données basées sur des normes ouvertes et combine les meilleures fonctionnalités des lacs et des entrepôts de données, ce qui permet de pallier de nombreuses lacunes.

En savoir plus

Ce cours présente les produits et services Google Cloud pour le big data et le machine learning compatibles avec le cycle de vie "des données à l'IA". Il explore les processus, défis et avantages liés à la création d'un pipeline de big data et de modèles de machine learning avec Vertex AI sur Google Cloud.

En savoir plus