En esta segunda parte de la serie de cursos sobre Dataflow, analizaremos en profundidad el desarrollo de canalizaciones con el SDK de Beam. Comenzaremos con un repaso de los conceptos de Apache Beam. A continuación, analizaremos el procesamiento de datos de transmisión con ventanas, marcas de agua y activadores. Luego, revisaremos las opciones de fuentes y receptores en sus canalizaciones, los esquemas para expresar datos estructurados y cómo realizar transformaciones con estado mediante las API de State y de Timer. Después, revisaremos las prácticas recomendadas que ayudan a maximizar el rendimiento de las canalizaciones. Al final del curso, presentaremos SQL y Dataframes para representar su lógica empresarial en Beam y cómo desarrollar canalizaciones de forma iterativa con notebooks de Beam.
Obtén la insignia de habilidad intermedia Ingeniería de datos para crear modelos predictivos con BigQuery ML y demuestra tus capacidades para crear canalizaciones de transformación de datos en BigQuery con Dataprep de Trifacta; usar Cloud Storage, Dataflow y BigQuery para crear flujos de trabajo de extracción, transformación y carga (ETL), y crear modelos de aprendizaje automático con BigQuery ML.
En esta última parte de la serie de cursos de Dataflow, presentaremos los componentes del modelo operativo de Dataflow. Examinaremos las herramientas y técnicas que permiten solucionar problemas y optimizar el rendimiento de las canalizaciones. Luego, revisaremos las prácticas recomendadas de las pruebas, la implementación y la confiabilidad en relación con las canalizaciones de Dataflow. Concluiremos con una revisión de las plantillas, que facilitan el ajuste de escala de las canalizaciones de Dataflow para organizaciones con cientos de usuarios. Estas clases asegurarán que su plataforma de datos sea estable y resiliente ante circunstancias inesperadas.
En este curso, definimos qué es el aprendizaje automático y cómo puede beneficiar a tu negocio. Verás algunas demostraciones de AA en acción y aprenderás términos clave de AA, como instancias, atributos y etiquetas. En los labs interactivos, practicarás la invocación de las APIs de AA previamente entrenadas que están disponibles y crearás tus propios modelos de aprendizaje automático con solo SQL y BigQuery ML.
Completa la insignia de habilidad intermedia Crea un almacén de datos con BigQuery para demostrar tus habilidades para realizar las siguientes actividades: unir datos para crear tablas nuevas, solucionar problemas de uniones, agregar datos a uniones, crear tablas particionadas por fecha, y trabajar con JSON, arrays y structs en BigQuery.
Completa la insignia de habilidad introductoria Prepara datos para las APIs de AA en Google Cloud y demuestra tus habilidades para realizar las siguientes actividades: limpiar datos con Dataprep de Trifacta, ejecutar canalizaciones de datos en Dataflow, crear clústeres y ejecutar trabajos de Apache Spark en Managed Service for Apache Spark y llamar a APIs de AA, como la API de Cloud Natural Language, la API de Google Cloud Speech-to-Text y la API de Video Intelligence.
Aprende a usar Gemini Notebook para crear una guía de estudio personalizada para el examen de certificación Professional Data Engineer. Repasarás las funciones de Gemini Notebook, crearás un cuaderno en Gemini Notebook y aprenderás a usar una guía de estudio como práctica para un examen de certificación.
Este curso corresponde a la 1ª parte de una serie de 3 cursos llamada Procesamiento de datos sin servidores con Dataflow. Para comenzar, en el primer curso haremos un repaso de qué es Apache Beam y cómo se relaciona con Dataflow. Luego, hablaremos sobre la visión de Apache Beam y los beneficios que ofrece su framework de portabilidad. Dicho framework hace posible que un desarrollador pueda usar su lenguaje de programación favorito con su backend de ejecución preferido. Después, le mostraremos cómo Dataflow le permite separar el procesamiento y el almacenamiento y, a la vez, ahorrar dinero. También le explicaremos cómo las herramientas de identidad, acceso y administración interactúan con sus canalizaciones de Dataflow. Por último, veremos cómo implementar el modelo de seguridad adecuado en Dataflow según su caso de uso.
La incorporación del aprendizaje automático en las canalizaciones de datos aumenta la capacidad para extraer estadísticas de los datos. En este curso, veremos formas de incluir el aprendizaje automático en las canalizaciones de datos en Google Cloud. Para una personalización escasa o nula, en el curso se aborda AutoML. Para obtener más capacidades de aprendizaje automático a medida, el curso presenta Notebooks y BigQuery Machine Learning (BigQuery ML). Además, en este curso se aborda cómo llevar a producción soluciones de aprendizaje automático con Vertex AI.
En este curso, adquirirás experiencia práctica para superar los desafíos del mundo real que se presentan cuando se crean canalizaciones de datos de transmisión. El enfoque principal es administrar datos continuos y no delimitados con los productos de Google Cloud.
En este curso intermedio, aprenderás a diseñar, crear y optimizar canalizaciones de datos por lotes sólidas en Google Cloud. Más allá del manejo de datos fundamental, explorarás las transformaciones de datos a gran escala y la organización eficiente de flujos de trabajo, lo que es primordial para la inteligencia empresarial oportuna y los informes esenciales. Obtén experiencia práctica con Dataflow para Apache Beam y Serverless for Apache Spark (Dataproc Serverless) para la implementación, y aborda consideraciones cruciales respecto de la calidad de los datos, la supervisión y las alertas para garantizar la confiabilidad de la canalización y la excelencia operativa. Se recomienda tener conocimientos básicos sobre almacenamiento de datos, ETL/ELT, SQL, Python y conceptos de Google Cloud.
Si bien los enfoques tradicionales de usar data lakes y almacenes de datos pueden ser eficaces, tienen deficiencias, en particular en entornos empresariales grandes. En este curso, se presenta el concepto del data lakehouse y los productos de Google Cloud que se usan para crear uno. Una arquitectura de lakehouse usa fuentes de datos de estándares abiertos y combina las mejores funciones de los data lakes y los almacenes de datos, lo que aborda muchas de sus deficiencias.
En este curso, veremos cuáles son los desafíos comunes a los que se enfrentan los analistas de datos y cómo resolverlos con las herramientas de macrodatos en Google Cloud. Aprenderás algunos conceptos de SQL y adquirirás conocimientos sobre el uso de BigQuery y Dataprep para analizar y transformar conjuntos de datos. Este es el primer curso de la serie From Data to Insights with Google Cloud. Después de completarlo, inscríbete en el curso Creating New BigQuery Datasets and Visualizing Insights.
El tercer curso de esta serie es Achieving Advanced Insights with BigQuery. En este curso, aumentarás tu conocimiento de SQL a medida que profundizamos en funciones avanzadas y cómo desglosar una consulta compleja en pasos más sencillos. Abordaremos la arquitectura interna de BigQuery (almacenamiento fragmentado basado en columnas) y temas avanzados de SQL, como los campos anidados y repetidos a través del uso de arrays y structs. Finalmente, profundizaremos en la optimización de tus consultas para mejorar el rendimiento y cómo puedes proteger tus datos con vistas autorizadas. Después de completar este curso, inscríbete en el curso Applying Machine Learning to your Data with Google Cloud.
Este es el segundo curso de la serie de cursos Data to Insights. Aquí, veremos cómo transferir nuevos conjuntos de datos externos a BigQuery y visualizarlos con Looker Studio. También analizaremos los conceptos intermedios de SQL, como las operaciones JOIN y UNION de varias tablas, que te permitirán analizar datos de varias fuentes. Nota: Incluso si tienes experiencia en SQL, hay aspectos específicos de BigQuery (como la gestión del almacenamiento en caché de las consultas y los comodines de tablas) que pueden ser nuevos para ti. Después de completar el curso, inscríbete en el curso Achieving Advanced Insights with BigQuery.
En este curso, aprenderás sobre los productos y servicios de macrodatos y aprendizaje automático de Google Cloud involucrados en el ciclo de vida de datos a IA. También explorarás los procesos, los desafíos y los beneficios de crear una canalización de macrodatos y modelos de aprendizaje automático con Vertex AI en Google Cloud.