Completa la insignia de habilidad intermedia Crea un almacén de datos con BigQuery para demostrar tus habilidades para realizar las siguientes actividades: unir datos para crear tablas nuevas, solucionar problemas de uniones, agregar datos a uniones, crear tablas particionadas por fecha, y trabajar con JSON, arrays y structs en BigQuery.
En esta segunda parte de la serie de cursos sobre Dataflow, analizaremos en profundidad el desarrollo de canalizaciones con el SDK de Beam. Comenzaremos con un repaso de los conceptos de Apache Beam. A continuación, analizaremos el procesamiento de datos de transmisión con ventanas, marcas de agua y activadores. Luego, revisaremos las opciones de fuentes y receptores en sus canalizaciones, los esquemas para expresar datos estructurados y cómo realizar transformaciones con estado mediante las API de State y de Timer. Después, revisaremos las prácticas recomendadas que ayudan a maximizar el rendimiento de las canalizaciones. Al final del curso, presentaremos SQL y Dataframes para representar su lógica empresarial en Beam y cómo desarrollar canalizaciones de forma iterativa con notebooks de Beam.
Este curso corresponde a la 1ª parte de una serie de 3 cursos llamada Procesamiento de datos sin servidores con Dataflow. Para comenzar, en el primer curso haremos un repaso de qué es Apache Beam y cómo se relaciona con Dataflow. Luego, hablaremos sobre la visión de Apache Beam y los beneficios que ofrece su framework de portabilidad. Dicho framework hace posible que un desarrollador pueda usar su lenguaje de programación favorito con su backend de ejecución preferido. Después, le mostraremos cómo Dataflow le permite separar el procesamiento y el almacenamiento y, a la vez, ahorrar dinero. También le explicaremos cómo las herramientas de identidad, acceso y administración interactúan con sus canalizaciones de Dataflow. Por último, veremos cómo implementar el modelo de seguridad adecuado en Dataflow según su caso de uso.
En este curso, adquirirás experiencia práctica para superar los desafíos del mundo real que se presentan cuando se crean canalizaciones de datos de transmisión. El enfoque principal es administrar datos continuos y no delimitados con los productos de Google Cloud.
En este curso intermedio, aprenderás a diseñar, crear y optimizar canalizaciones de datos por lotes sólidas en Google Cloud. Más allá del manejo de datos fundamental, explorarás las transformaciones de datos a gran escala y la organización eficiente de flujos de trabajo, lo que es primordial para la inteligencia empresarial oportuna y los informes esenciales. Obtén experiencia práctica con Dataflow para Apache Beam y Serverless for Apache Spark (Dataproc Serverless) para la implementación, y aborda consideraciones cruciales respecto de la calidad de los datos, la supervisión y las alertas para garantizar la confiabilidad de la canalización y la excelencia operativa. Se recomienda tener conocimientos básicos sobre almacenamiento de datos, ETL/ELT, SQL, Python y conceptos de Google Cloud.
En este curso, aprenderás sobre la ingeniería de datos en Google Cloud, los roles y las responsabilidades de los ingenieros de datos y cómo estos se corresponden con las ofertas de Google Cloud. También aprenderás sobre los métodos para enfrentar los desafíos de la ingeniería de datos.
Este curso ayuda a los participantes a crear un plan de estudio para el examen de certificación de PDE (Professional Data Engineer). Los alumnos conocerán la amplitud y el alcance de los dominios que se incluyen en el examen. Además, evaluarán su nivel de preparación para el examen y crearán un plan de estudio personal.