Date d'abonnement : 2023
Traitement des données sans serveur avec Dataflow : développer des pipelines
Earned oct. 5, 2023 EDT
Mettre en œuvre des flux de travail de messagerie et d'automatisation basés sur les événements
Earned oct. 4, 2023 EDT
Dans ce deuxième volet de la série de cours sur Dataflow, nous allons nous intéresser de plus près au développement de pipelines à l'aide du SDK Beam. Nous allons commencer par passer en revue les concepts d'Apache Beam. Nous allons ensuite parler du traitement des données par flux à l'aide de fenêtres, de filigranes et de déclencheurs. Nous passerons ensuite aux options de sources et de récepteurs dans vos pipelines, aux schémas pour présenter vos données structurées, et nous verrons comment effectuer des transformations avec état à l'aide des API State et Timer. Nous aborderons ensuite les bonnes pratiques qui vous aideront à maximiser les performances de vos pipelines. Vers la fin du cours, nous présentons le langage SQL et les DataFrames pour représenter votre logique métier dans Beam, et nous expliquons comment développer des pipelines de manière itérative à l'aide des notebooks Beam.
Obtenez un badge de compétence en suivant le cours Mettre en œuvre des flux de travail de messagerie et d'automatisation basés sur les événements dans lequel vous apprendrez à utiliser Pub/Sub depuis la console Cloud. Vous découvrirez également comment les jobs Cloud Scheduler peuvent vous faire gagner du temps et quand Pub/Sub Lite permet de réaliser des économies sur l'ingestion d'événements.