En este curso intermedio, aprenderás a diseñar, crear y optimizar canalizaciones de datos por lotes sólidas en Google Cloud. Más allá del manejo de datos fundamental, explorarás las transformaciones de datos a gran escala y la organización eficiente de flujos de trabajo, lo que es primordial para la inteligencia empresarial oportuna y los informes esenciales. Obtén experiencia práctica con Dataflow para Apache Beam y Serverless for Apache Spark (Dataproc Serverless) para la implementación, y aborda consideraciones cruciales respecto de la calidad de los datos, la supervisión y las alertas para garantizar la confiabilidad de la canalización y la excelencia operativa. Se recomienda tener conocimientos básicos sobre almacenamiento de datos, ETL/ELT, SQL, Python y conceptos de Google Cloud.
En esta segunda parte de la serie de cursos sobre Dataflow, analizaremos en profundidad el desarrollo de canalizaciones con el SDK de Beam. Comenzaremos con un repaso de los conceptos de Apache Beam. A continuación, analizaremos el procesamiento de datos de transmisión con ventanas, marcas de agua y activadores. Luego, revisaremos las opciones de fuentes y receptores en sus canalizaciones, los esquemas para expresar datos estructurados y cómo realizar transformaciones con estado mediante las API de State y de Timer. Después, revisaremos las prácticas recomendadas que ayudan a maximizar el rendimiento de las canalizaciones. Al final del curso, presentaremos SQL y Dataframes para representar su lógica empresarial en Beam y cómo desarrollar canalizaciones de forma iterativa con notebooks de Beam.