Participante desde 2023
Processamento de dados sem servidor com o Dataflow: desenvolvimento de pipelines
Earned Oct 5, 2023 EDT
Implementar fluxos de trabalho de mensagens e automação orientados a eventos
Earned Oct 4, 2023 EDT
Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.
Ganhe um selo de habilidade ao concluir o curso Implementar fluxos de trabalho de mensagens e automação orientados a eventos, onde você aprende a usar o Pub/Sub com o console do Cloud. Além disso, você descobre como os jobs do Cloud Scheduler podem economizar seu esforço, e quando o Pub/Sub Lite pode economizar seu dinheiro na ingestão de eventos de alto volume.