En esta segunda parte de la serie de cursos sobre Dataflow, analizaremos en profundidad el desarrollo de canalizaciones con el SDK de Beam. Comenzaremos con un repaso de los conceptos de Apache Beam. A continuación, analizaremos el procesamiento de datos de transmisión con ventanas, marcas de agua y activadores. Luego, revisaremos las opciones de fuentes y receptores en sus canalizaciones, los esquemas para expresar datos estructurados y cómo realizar transformaciones con estado mediante las API de State y de Timer. Después, revisaremos las prácticas recomendadas que ayudan a maximizar el rendimiento de las canalizaciones. Al final del curso, presentaremos SQL y Dataframes para representar su lógica empresarial en Beam y cómo desarrollar canalizaciones de forma iterativa con notebooks de Beam.
Este curso corresponde a la 1ª parte de una serie de 3 cursos llamada Procesamiento de datos sin servidores con Dataflow. Para comenzar, en el primer curso haremos un repaso de qué es Apache Beam y cómo se relaciona con Dataflow. Luego, hablaremos sobre la visión de Apache Beam y los beneficios que ofrece su framework de portabilidad. Dicho framework hace posible que un desarrollador pueda usar su lenguaje de programación favorito con su backend de ejecución preferido. Después, le mostraremos cómo Dataflow le permite separar el procesamiento y el almacenamiento y, a la vez, ahorrar dinero. También le explicaremos cómo las herramientas de identidad, acceso y administración interactúan con sus canalizaciones de Dataflow. Por último, veremos cómo implementar el modelo de seguridad adecuado en Dataflow según su caso de uso.
Completa el curso con insignia de habilidad introductoria Crea una malla de datos con Knowledge Catalog y demuestra tus habilidades para crear una malla de datos con Knowledge Catalog y facilitar la seguridad, la administración y el descubrimiento de datos en Google Cloud. Practicarás y pondrás a prueba tus habilidades para etiquetar recursos, asignar roles de IAM y evaluar la calidad de los datos en Knowledge Catalog.
Completa la insignia de habilidad introductoria Prepara datos para las APIs de AA en Google Cloud y demuestra tus habilidades para realizar las siguientes actividades: limpiar datos con Dataprep de Trifacta, ejecutar canalizaciones de datos en Dataflow, crear clústeres y ejecutar trabajos de Apache Spark en Managed Service for Apache Spark y llamar a APIs de AA, como la API de Cloud Natural Language, la API de Google Cloud Speech-to-Text y la API de Video Intelligence.
Completa la insignia de habilidad avanzada Implementa arquitecturas de múltiples agentes y demuestra tus habilidades para crear sistemas de múltiples agentes con el ADK, conectar agentes con el protocolo Agent-to-Agent (A2A), integrar herramientas externas usando el Protocolo de contexto del modelo (MCP) e implementar una solución de múltiples agentes completa en Agent Engine.
Obtén una insignia de habilidad completando el curso Transmite análisis a BigQuery, en el que usarás Pub/Sub, Dataflow y BigQuery en conjunto para transmitir datos para análisis.
Completa la insignia de habilidad introductoria del curso Obtén estadísticas a partir de datos de BigQuery y demuestra tus habilidades para realizar las siguientes actividades: escribir consultas en SQL, consultar tablas públicas, cargar datos de muestra en BigQuery, solucionar problemas de errores de sintaxis habituales con el validador de consultas en BigQuery y crear informes en Data Studio con la conexión a datos de BigQuery.
Completa la insignia de habilidad intermedia Crea un almacén de datos con BigQuery para demostrar tus habilidades para realizar las siguientes actividades: unir datos para crear tablas nuevas, solucionar problemas de uniones, agregar datos a uniones, crear tablas particionadas por fecha, y trabajar con JSON, arrays y structs en BigQuery.