Viacheslav Melnyk
Menjadi anggota sejak 2022
Gold League
25305 poin
Menjadi anggota sejak 2022
In the last installment of the Dataflow course series, we will introduce the components of the Dataflow operational model. We will examine tools and techniques for troubleshooting and optimizing pipeline performance. We will then review testing, deployment, and reliability best practices for Dataflow pipelines. We will conclude with a review of Templates, which makes it easy to scale Dataflow pipelines to organizations with hundreds of users. These lessons will help ensure that your data platform is stable and resilient to unanticipated circumstances.
In this second installment of the Dataflow course series, we are going to be diving deeper on developing pipelines using the Beam SDK. We start with a review of Apache Beam concepts. Next, we discuss processing streaming data using windows, watermarks and triggers. We then cover options for sources and sinks in your pipelines, schemas to express your structured data, and how to do stateful transformations using State and Timer APIs. We move onto reviewing best practices that help maximize your pipeline performance. Towards the end of the course, we introduce SQL and Dataframes to represent your business logic in Beam and how to iteratively develop pipelines using Beam notebooks.
This course is part 1 of a 3-course series on Serverless Data Processing with Dataflow. In this first course, we start with a refresher of what Apache Beam is and its relationship with Dataflow. Next, we talk about the Apache Beam vision and the benefits of the Beam Portability framework. The Beam Portability framework achieves the vision that a developer can use their favorite programming language with their preferred execution backend. We then show you how Dataflow allows you to separate compute and storage while saving money, and how identity, access, and management tools interact with your Dataflow pipelines. Lastly, we look at how to implement the right security model for your use case on Dataflow.
Selesaikan badge keahlian tingkat menengah Membangun Data Warehouse dengan BigQuery untuk menunjukkan keterampilan Anda dalam hal berikut: menggabungkan data untuk membuat tabel baru, memecahkan masalah penggabungan, menambahkan data dengan union, membuat tabel berpartisi tanggal, serta menggunakan JSON, array, dan struct di BigQuery.
Selesaikan badge keahlian tingkat menengah Menerapkan Dasar-Dasar Keamanan Cloud di Google Cloud untuk menunjukkan kemahiran dalam hal berikut: membuat dan menetapkan peran dengan Identity and Access Management (IAM); membuat dan mengelola akun layanan; memungkinkan konektivitas pribadi di seluruh jaringan virtual private cloud (VPC); membatasi akses aplikasi menggunakan Identity-Aware Proxy; mengelola kunci dan data terenkripsi dengan Cloud Key Management Service (KMS); dan membuat cluster Kubernetes pribadi.
Selesaikan kursus badge keahlian pengantar Memigrasikan Data MySQL ke Cloud SQL Menggunakan Database Migration Service untuk menunjukkan keterampilan dalam hal berikut: memigrasikan data MySQL ke Cloud SQL menggunakan berbagai jenis tugas dan opsi konektivitas yang tersedia dalam Database Migration Service dan memigrasikan data pengguna MySQL saat menjalankan tugas Database Migration Service.
Selesaikan kursus badge keahlian tingkat menengah Melakukan Analisis Data Prediktif di BigQuery untuk mendemonstrasikan keterampilan dalam hal berikut: membuat set data di BigQuery dengan mengimpor file CSV dan JSON; memanfaatkan kemampuan BigQuery dengan konsep analitik SQL yang canggih, termasuk menggunakan BigQuery ML untuk melatih model prediksi gol pada data peristiwa sepak bola dan mengevaluasi kehebatan gol Piala Dunia.
Dapatkan badge keahlian dengan menyelesaikan kursus badge keahlian Berbagi Data Menggunakan Google Data Cloud, tempat Anda akan mendapatkan pengalaman praktis dengan Google Cloud Partner Berbagi Data, yang memiliki set data eksklusif yang dapat digunakan pelanggan untuk kasus penggunaan analisis mereka. Pelanggan berlangganan data ini, mengkuerinya dalam platform mereka sendiri, lalu menambahkannya dengan set data mereka sendiri dan menggunakan visualisasi untuk dasbor yang berinteraksi dengan pelanggan mereka.
Selesaikan badge keahlian tingkat menengah Mengelola Model Data di Looker untuk menunjukkan keterampilan dalam hal berikut: mempertahankan performa project LookML; memanfaatkan SQL runner untuk validasi data; menerapkan praktik terbaik LookML; mengoptimalkan kueri dan laporan untuk performa; serta menerapkan tabel turunan persisten dan kebijakan penyimpanan ke dalam cache.
Selesaikan kursus badge keahlian pengantar Membangun Objek LookML di Looker untuk menunjukkan keterampilan dalam hal berikut: membuat dimensi dan ukuran, tabel turunan, serta tampilan baru; menetapkan filter ukuran dan berdasarkan persyaratan; memperbarui dimensi dan ukuran; membangun dan menyempurnakan Eksplorasi; menggabungkan tabel ke Eksplorasi yang ada; dan memutuskan objek yang akan dibuat berdasarkan persyaratan bisnis.
Selesaikan badge keahlian tingkat menengah Membuat Model ML dengan BigQuery ML untuk menunjukkan keterampilan dalam hal berikut: membuat dan mengevaluasi model machine learning dengan BigQuery ML untuk membuat prediksi data.
Selesaikan badge keahlian pengantar Mendapatkan Insight dari Data BigQuery untuk menunjukkan keterampilan dalam hal berikut: menulis kueri SQL, membuat kueri tabel publik, memuat sampel data ke dalam BigQuery, memecahkan masalah error sintaksis umum dengan validator kueri di BigQuery, dan membuat laporan di Data Studio dengan menghubungkannya ke data BigQuery.
Selesaikan badge keahlian pengantar Menyiapkan Data untuk Dasbor dan Laporan Looker untuk menunjukkan keterampilan dalam hal berikut: memfilter, mengurutkan, dan melakukan pivot pada data; menggabungkan hasil dari sejumlah Eksplorasi Looker; serta menggunakan fungsi dan operator untuk membangun dasbor dan laporan Looker untuk analisis dan visualisasi data.
Selesaikan badge keahlian tingkat menengah Mengembangkan Aplikasi Serverless dengan Firebase untuk menunjukkan keterampilan dalam hal berikut ini: membuat arsitektur dan membangun aplikasi web serverless dengan Firebase, memanfaatkan pengelolaan database Firestore, mengotomatiskan proses deployment menggunakan Cloud Build, dan mengintegrasikan fungsi Asisten Google ke dalam aplikasi.
Selesaikan badge keahlian Mengembangkan Aplikasi Serverless di Cloud Run untuk menunjukkan keterampilan Anda dalam hal berikut: mengintegrasikan Cloud Run dengan Cloud Storage untuk pengelolaan data, membangun sistem asinkron yang tangguh menggunakan Cloud Run dan Pub/Sub, membuat gateway REST API yang didukung Cloud Run, dan membangun serta men-deploy layanan di Cloud Run.
Selesaikan badge keahlian tingkat menengah Mengoptimalkan Biaya untuk Google Kubernetes Engine untuk menunjukkan keterampilan dalam hal berikut: membuat dan mengelola cluster multi-tenant, memantau penggunaan resource berdasarkan namespace, mengonfigurasi penskalaan otomatis pada cluster dan pod untuk tujuan efisiensi, menyiapkan load balancing untuk mengoptimalkan distribusi resource, dan menerapkan pemeriksaan keaktifan serta kesiapan untuk memastikan kondisi aplikasi dan efektivitas biaya.
Selesaikan badge keahlian Membangun Infrastruktur dengan Terraform di Google Cloud tingkat menengah untuk menunjukkan keterampilan dalam hal berikut: Prinsip Infrastruktur sebagai Kode (IaC) menggunakan Terraform, penyediaan dan pengelolaan resource Google Cloud dengan konfigurasi Terraform, pengelolaan status yang efektif (lokal dan jarak jauh), serta modularisasi kode Terraform agar dapat digunakan kembali dan diatur.
Learn how to use Gemini Notebook to create a personalized study guide for the Professional Cloud Architect certification exam. You'll review Gemini Notebook features, create a notebook in Gemini Notebook, and learn how to use a study guide to practice for a certification exam.
Selesaikan badge keahlian Men-deploy Aplikasi Kubernetes di Google Cloud tingkat menengah untuk menunjukkan keterampilan dalam hal berikut ini: mengonfigurasi dan membangun image container Docker, membuat dan mengelola cluster Google Kubernetes Engine (GKE), memanfaatkan kubectl untuk pengelolaan cluster yang efisien, dan men-deploy aplikasi Kubernetes dengan praktik continuous delivery (CD) yang andal.
Selesaikan badge keahlian pengantar Mengimplementasikan Cloud Load Balancing untuk Compute Engine untuk menunjukkan keterampilan dalam hal berikut: membuat dan men-deploy virtual machine di Compute Engine serta mengonfigurasi load balancer aplikasi dan jaringan.
Dapatkan badge keahlian pengantar dengan menyelesaikan kursus badge keahlian Membangun Situs di Google Cloud. Kursus ini didasarkan pada serial Get Cooking in Cloud dan mencakup:Men-deploy situs di Cloud RunMenghosting aplikasi web di Compute EngineMembuat, men-deploy, dan menskalakan situs Anda di Google Kubernetes EngineBermigrasi dari aplikasi monolitik ke arsitektur microservice menggunakan Cloud Build
Selesaikan badge keahlian tingkat menengah Rekayasa Data untuk Pembuatan Model Prediktif dengan BigQuery ML untuk menunjukkan keterampilan Anda dalam hal berikut: membangun pipeline transformasi data ke BigQuery dengan Dataprep by Trifacta; menggunakan Cloud Storage, Dataflow, dan BigQuery untuk membangun alur kerja ekstrak, transformasi, dan pemuatan (ETL); serta membangun model machine learning menggunakan BigQuery ML.
Dapatkan badge keahlian dengan menyelesaikan kursus Menyiapkan Jaringan Google Cloud, untuk mempelajari cara menjalankan tugas-tugas networking dasar di Google Cloud Platform, yakni membuat jaringan kustom, menambahkan aturan firewall subnet, lalu membuat VM dan menguji latensi saat VM berkomunikasi satu sama lain.
Dapatkan badge keahlian dengan menyelesaikan kursus Mengembangkan Jaringan Google Cloud Anda yang berisi pelajaran tentang berbagai cara untuk men-deploy dan memantau aplikasi, termasuk cara: menjelajahi peran IAM dan menambahkan/menghapus akses project, membuat jaringan VPC, men-deploy dan memantau VM Compute Engine, menulis kueri SQL, men-deploy dan memantau VM di Compute Engine, serta men-deploy aplikasi menggunakan Kubernetes dengan beberapa pendekatan deployment.
Selesaikan badge keahlian pengantar Menyiapkan Data untuk ML API di Google Cloud untuk menunjukkan keterampilan Anda dalam hal berikut: menghapus data dengan Dataprep by Trifacta, menjalankan pipeline data di Dataflow, membuat cluster dan menjalankan tugas Apache Spark di Managed Service for Apache Spark, dan memanggil beberapa ML API, termasuk Cloud Natural Language API, Google Cloud Speech-to-Text API, dan Video Intelligence API.
Dapatkan badge keahlian dengan menyelesaikan kursus Menyiapkan Lingkungan Pengembangan Aplikasi di Google Cloud, yang memungkinkan Anda mempelajari cara membangun dan menghubungkan infrastruktur cloud yang berpusat pada penyimpanan menggunakan kemampuan dasar teknologi berikut: Cloud Storage, Identity and Access Management, Cloud Functions, dan Pub/Sub.