Andrejs Fedjajevs
Date d'abonnement : 2023
Ligue d'Or
9145 points
Date d'abonnement : 2023
Ce cours est le premier d'une série en trois volets sur le traitement des données sans serveur avec Dataflow. Dans ce premier cours, nous allons commencer par rappeler ce qu'est Apache Beam et sa relation avec Dataflow. Ensuite, nous aborderons la vision d'Apache Beam et les avantages de son framework de portabilité, qui permet aux développeurs d'utiliser le langage de programmation et le backend d'exécution de leur choix. Nous vous montrerons aussi comment séparer le calcul du stockage et économiser de l'argent grâce à Dataflow, puis nous examinerons les interactions entre les outils de gestion de l'identification et des accès avec vos pipelines Dataflow. Enfin, nous verrons comment implémenter le modèle de sécurité adapté à votre cas d'utilisation sur Dataflow.
Intégrer le machine learning à des pipelines de données renforce la capacité à dégager des insights des données. Ce cours passera en revue plusieurs façons d'intégrer le machine learning à des pipelines de données sur Google Cloud. Vous découvrirez AutoML pour les cas ne nécessitant que peu de personnalisation (voire aucune), ainsi que Notebooks et BigQuery ML pour les situations qui requièrent des capacités de machine learning plus adaptées. Enfin, vous apprendrez à utiliser des solutions de machine learning en production avec Vertex AI.
Dans ce cours, vous allez vous exercer à résoudre des problèmes concrets rencontrés lors de la création de pipelines de flux données. L'objectif principal est de gérer des données continues et illimitées avec les produits Google Cloud.
Dans ce cours de niveau intermédiaire, vous apprendrez à concevoir, créer et optimiser des pipelines de données en batch robustes sur Google Cloud. Au-delà des bases de la gestion des données, vous explorerez les transformations de données à grande échelle et l'orchestration efficace des workflows, essentielles pour l'informatique décisionnelle et les rapports critiques. Vous vous entraînerez à utiliser Dataflow pour Apache Beam et Serverless pour Apache Spark (Dataproc Serverless) pour l'implémentation, et vous aborderez des considérations importantes concernant la qualité des données, la surveillance et les alertes pour assurer la fiabilité des pipelines et l'excellence opérationnelle. Il est recommandé d'avoir des connaissances de base sur l'entreposage de données, les processus ETL/ELT, SQL, Python et les concepts de Google Cloud.
Bien que les approches traditionnelles utilisant des lacs de données et des entrepôts de données puissent être efficaces, elles présentent des inconvénients, en particulier dans les grands environnements d'entreprise. Ce cours présente le concept de data lakehouse et les produits Google Cloud utilisés pour en créer un. Une architecture de lakehouse utilise des sources de données basées sur des normes ouvertes et combine les meilleures fonctionnalités des lacs et des entrepôts de données, ce qui permet de pallier de nombreuses lacunes.
Ce cours de micro-apprentissage, qui s'adresse aux débutants, explique ce que sont les grands modèles de langage (LLM). Il inclut des cas d'utilisation et décrit comment améliorer les performances des LLM grâce au réglage des requêtes. Il présente aussi les outils Google qui vous aideront à développer votre propre application d'IA générative.
In this course, you apply your knowledge of classification models and embeddings to build a ML pipeline that functions as a recommendation engine. This is the fifth and final course of the Advanced Machine Learning on Google Cloud series.
Quelles sont les bonnes pratiques pour implémenter le machine learning sur Google Cloud ? En quoi consiste la plate-forme Vertex AI et comment pouvez-vous l'utiliser pour créer, entraîner et déployer rapidement des modèles de machine learning AutoML sans écrire une seule ligne de code ? Qu'est-ce que le machine learning et quels types de problèmes permet-il de résoudre ? Google aborde le machine learning d'une façon particulière, qui consiste à fournir une plate-forme unifiée pour les ensembles de données gérés, ainsi qu'un magasin de caractéristiques et un moyen de créer, d'entraîner et de déployer des modèles de machine learning sans écrire une seule ligne de code. Il s'agit également de permettre aux utilisateurs d'étiqueter les données et de créer des notebooks Workbench à l'aide de frameworks tels que TensorFlow, Scikit Learn, Pytorch et R. Avec notre plate-forme Vertex AI, il est également possible d'entraîner des modèles personnalisés, de créer des pipelines de composants, …
Ce cours présente les outils et les bonnes pratiques MLOps pour déployer, évaluer, surveiller et exploiter des systèmes de ML en production sur Google Cloud. Le MLOps est une discipline axée sur le déploiement, le test, la surveillance et l'automatisation des systèmes de ML en production. Les ingénieurs en machine learning utilisent des outils pour améliorer et évaluer en permanence les modèles déployés. Ils collaborent avec des data scientists (ou peuvent occuper ce poste) qui développent des modèles permettant de déployer de manière rapide et rigoureuse les solutions de machine learning les plus performantes.
This course describes different types of computer vision use cases and then highlights different machine learning strategies for solving these use cases. The strategies vary from experimenting with pre-built ML models through pre-built ML APIs and AutoML Vision to building custom image classifiers using linear models, deep neural network (DNN) models or convolutional neural network (CNN) models. The course shows how to improve a model's accuracy with augmentation, feature extraction, and fine-tuning hyperparameters while trying to avoid overfitting the data. The course also looks at practical issues that arise, for example, when one doesn't have enough data and how to incorporate the latest research findings into different models. Learners will get hands-on practice building and optimizing their own image classification models on a variety of public datasets in the labs they will work on.
Le cours commence par une discussion sur les données : vous découvrirez comment améliorer leur qualité et effectuer des analyses exploratoires. Ensuite, nous vous présenterons Vertex AI AutoML et vous expliquerons comment créer, entraîner et déployer un modèle de machine learning (ML) sans écrire une ligne de code. Vous découvrirez également les avantages de BigQuery ML. Enfin, nous verrons comment optimiser un modèle de ML, et en quoi la généralisation ainsi que l'échantillonnage peuvent vous aider à évaluer la qualité des modèles de ML destinés à un entraînement personnalisé.
Terminez le cours d'introduction Implémenter Cloud Load Balancing pour Compute Engine pour recevoir un badge démontrant vos compétences dans les domaines suivants : Créer et déployer des machines virtuelles dans Compute Engine Configurer des équilibreurs de charge réseau et d'application.
Ce cours présente les produits et services Google Cloud pour le big data et le machine learning compatibles avec le cycle de vie "des données à l'IA". Il explore les processus, défis et avantages liés à la création d'un pipeline de big data et de modèles de machine learning avec Vertex AI sur Google Cloud.