Jorge Melgosa
Miembro desde 2023
Liga de Plata
9825 puntos
Miembro desde 2023
Este curso corresponde a la 1ª parte de una serie de 3 cursos llamada Serverless Data Processing with Dataflow. Para comenzar, en el primer curso haremos un repaso de qué es Apache Beam y cómo se relaciona con Dataflow. Luego, hablaremos sobre la visión de Apache Beam y los beneficios que ofrece su framework de portabilidad. Dicho framework hace posible que un desarrollador pueda usar su lenguaje de programación favorito con su backend de ejecución preferido. Después, le mostraremos cómo Dataflow le permite separar el procesamiento y el almacenamiento y, a la vez, ahorrar dinero. También le explicaremos cómo las herramientas de identidad, acceso y administración interactúan con sus canalizaciones de Dataflow. Por último, veremos cómo implementar el modelo de seguridad adecuado en Dataflow según su caso de uso.
La incorporación del aprendizaje automático en las canalizaciones de datos aumenta la capacidad de las empresas para extraer estadísticas de sus datos. En este curso, veremos numerosas formas de incluir el aprendizaje automático en las canalizaciones de datos de Google Cloud según el nivel de personalización que se necesite. Para una personalización escasa o nula, en el curso se aborda AutoML. Para obtener más capacidades de aprendizaje automático a medida, el curso presenta Notebooks y BigQuery Machine Learning (BigQuery ML). Además, en este curso se aborda cómo llevar a producción soluciones de aprendizaje automático con Kubeflow. Los estudiantes obtendrán experiencia práctica en la creación de modelos de aprendizaje automático en Google Cloud con Qwiklabs.
El procesamiento de datos de transmisión es cada vez más popular, puesto que permite a las empresas obtener métricas en tiempo real sobre las operaciones comerciales. Este curso aborda cómo crear canalizaciones de datos de transmisión en Google Cloud. Pub/Sub se describe para manejar los datos de transmisión entrantes. El curso también aborda cómo aplicar agregaciones y transformaciones a los datos de transmisión con Dataflow y cómo almacenar los registros procesados en BigQuery o Cloud Bigtable para analizarlos. Los estudiantes obtendrán experiencia práctica en la compilación de componentes de canalizaciones de datos de transmisión en Google Cloud con Qwiklabs.
En este curso intermedio, aprenderás a diseñar, crear y optimizar canalizaciones de datos por lotes sólidas en Google Cloud. Más allá del manejo de datos fundamental, explorarás las transformaciones de datos a gran escala y la organización eficiente de flujos de trabajo, lo que es primordial para la inteligencia empresarial oportuna y los informes esenciales. Obtén experiencia práctica con Dataflow para Apache Beam y Serverless for Apache Spark (Dataproc Serverless) para la implementación, y aborda consideraciones cruciales respecto de la calidad de los datos, la supervisión y las alertas para garantizar la confiabilidad de la canalización y la excelencia operativa. Se recomienda tener conocimientos básicos sobre almacenamiento de datos, ETL/ELT, SQL, Python y conceptos de Google Cloud.
Si bien los enfoques tradicionales de usar data lakes y almacenes de datos pueden ser eficaces, tienen deficiencias, en particular en entornos empresariales grandes. En este curso, se presenta el concepto del data lakehouse y los productos de Google Cloud que se usan para crear uno. Una arquitectura de lakehouse usa fuentes de datos de estándares abiertos y combina las mejores funciones de los data lakes y los almacenes de datos, lo que aborda muchas de sus deficiencias.