Jayesh Shevade
Date d'abonnement : 2022
Date d'abonnement : 2022
Ce cours décrit les problématiques courantes auxquelles se confrontent les analystes de données et explique comment les résoudre à l'aide des outils de big data disponibles sur Google Cloud. Vous découvrirez quelques notions de SQL et apprendrez comment utiliser BigQuery et Dataprep pour analyser et transformer vos ensembles de données. Il s'agit du premier cours de la série "From Data to Insights with Google Cloud". Après l'avoir terminé, inscrivez-vous au cours "Creating New BigQuery Datasets and Visualizing Insights".
Ce cours est le premier d'une série en trois volets sur le traitement des données sans serveur avec Dataflow. Dans ce premier cours, nous allons commencer par rappeler ce qu'est Apache Beam et sa relation avec Dataflow. Ensuite, nous aborderons la vision d'Apache Beam et les avantages de son framework de portabilité, qui permet aux développeurs d'utiliser le langage de programmation et le backend d'exécution de leur choix. Nous vous montrerons aussi comment séparer le calcul du stockage et économiser de l'argent grâce à Dataflow, puis nous examinerons les interactions entre les outils de gestion de l'identification et des accès avec vos pipelines Dataflow. Enfin, nous verrons comment implémenter le modèle de sécurité adapté à votre cas d'utilisation sur Dataflow.
Bien que les approches traditionnelles utilisant des lacs de données et des entrepôts de données puissent être efficaces, elles présentent des inconvénients, en particulier dans les grands environnements d'entreprise. Ce cours présente le concept de data lakehouse et les produits Google Cloud utilisés pour en créer un. Une architecture de lakehouse utilise des sources de données basées sur des normes ouvertes et combine les meilleures fonctionnalités des lacs et des entrepôts de données, ce qui permet de pallier de nombreuses lacunes.