Bagas Wahyu Herdiansyah
Mitglied seit 2022
Diamond League
45577 Punkte
Mitglied seit 2022
In the last installment of the Dataflow course series, we will introduce the components of the Dataflow operational model. We will examine tools and techniques for troubleshooting and optimizing pipeline performance. We will then review testing, deployment, and reliability best practices for Dataflow pipelines. We will conclude with a review of Templates, which makes it easy to scale Dataflow pipelines to organizations with hundreds of users. These lessons will help ensure that your data platform is stable and resilient to unanticipated circumstances.
In diesem Kurs wird gezeigt, wie Sie KI-/ML-Modelle für Aufgaben basierend auf generativer KI in BigQuery verwenden. Anhand eines praktischen Anwendungsfalls zum Customer-Relationship-Management lernen Sie den Workflow zur Lösung eines Geschäftsproblems mit Gemini-Modellen kennen. Zur besseren Nachvollziehbarkeit bietet der Kurs auch eine Schritt-für-Schritt-Anleitung für das Programmieren von Lösungen mithilfe von SQL-Abfragen und Python-Notebooks.
Dieser Kurs behandelt Gemini in BigQuery, eine Suite KI-gesteuerter Funktionen zur Aufbereitung von Daten für die Verwendung in künstlicher Intelligenz. Zu diesen Funktionen gehören explorative Datenanalyse und ‑aufbereitung, Codegenerierung und Fehlerbehebung sowie Workflow-Erkennung und ‑Visualisierung. Durch konzeptionelle Erläuterungen, einen praxisnahen Anwendungsfall und praktische Übungen können Datenexperten mit diesem Kurs ihre Produktivität steigern und die Entwicklungspipeline beschleunigen.
In this second installment of the Dataflow course series, we are going to be diving deeper on developing pipelines using the Beam SDK. We start with a review of Apache Beam concepts. Next, we discuss processing streaming data using windows, watermarks and triggers. We then cover options for sources and sinks in your pipelines, schemas to express your structured data, and how to do stateful transformations using State and Timer APIs. We move onto reviewing best practices that help maximize your pipeline performance. Towards the end of the course, we introduce SQL and Dataframes to represent your business logic in Beam and how to iteratively develop pipelines using Beam notebooks.
Mit auf generativer KI basierenden Anwendungen, kurz GenAI-Anwendungen, werden Nutzerinteraktionen möglich, die es vor Large Language Models (LLMs) kaum gab. Wie können Sie als Anwendungsentwickler mit generativer KI interaktive, leistungsstarke Anwendungen in Google Cloud erstellen? In diesem Kurs lernen Sie etwas über Anwendungen, die auf generativer KI basieren, und erfahren, wie Sie Prompt-Design und Retrieval-Augmented Generation (RAG) nutzen können, um mit LLMs leistungsstarke Anwendungen zu entwickeln. Wir stellen Ihnen eine produktionsreife Architektur für auf generativer KI basierende Anwendungen vor und Sie erstellen eine Chat-Anwendung auf der Basis von LLMs und RAG.
In diesem Kurs lernen Sie Data Engineering on Google Cloud sowie die Rollen und Verantwortlichkeiten von Data Engineers kennen und sehen, wie diese mit den Angeboten von Google Cloud zusammenhängen. Außerdem erfahren Sie, wie Sie Herausforderungen im Bereich Data Engineering meistern können.
In this course you will get hands-on in order to work through real-world challenges faced when building streaming data pipelines. The primary focus is on managing continuous, unbounded data with Google Cloud products.
In this intermediate course, you will learn to design, build, and optimize robust batch data pipelines on Google Cloud. Moving beyond fundamental data handling, you will explore large-scale data transformations and efficient workflow orchestration, essential for timely business intelligence and critical reporting. Get hands-on practice using Dataflow for Apache Beam and Serverless for Apache Spark (Dataproc Serverless) for implementation, and tackle crucial considerations for data quality, monitoring, and alerting to ensure pipeline reliability and operational excellence. A basic knowledge of data warehousing, ETL/ELT, SQL, Python, and Google Cloud concepts is recommended.
Incorporating machine learning into data pipelines increases the ability to extract insights from data. This course covers ways machine learning can be included in data pipelines on Google Cloud. For little to no customization, this course covers AutoML. For more tailored machine learning capabilities, this course introduces Notebooks and BigQuery machine learning (BigQuery ML). Also, this course covers how to productionalize machine learning solutions by using Vertex AI.
This course is part 1 of a 3-course series on Serverless Data Processing with Dataflow. In this first course, we start with a refresher of what Apache Beam is and its relationship with Dataflow. Next, we talk about the Apache Beam vision and the benefits of the Beam Portability framework. The Beam Portability framework achieves the vision that a developer can use their favorite programming language with their preferred execution backend. We then show you how Dataflow allows you to separate compute and storage while saving money, and how identity, access, and management tools interact with your Dataflow pipelines. Lastly, we look at how to implement the right security model for your use case on Dataflow.
Mit dem Skill-Logo zum Kurs Daten für ML-APIs in Google Cloud vorbereiten weisen Sie Grundkenntnisse in folgenden Bereichen nach: Bereinigen von Daten mit Dataprep von Trifacta, Ausführen von Datenpipelines in Dataflow, Erstellen von Clustern und Ausführen von Apache Spark-Jobs in Managed Service for Apache Spark sowie Aufrufen von ML-APIs, einschließlich der Cloud Natural Language API, Cloud Speech-to-Text API und Video Intelligence API.
Mit dem Skill-Logo zum Kurs Data Warehouse mit BigQuery erstellen weisen Sie fortgeschrittene Kenntnisse in folgenden Bereichen nach: Daten zusammenführen, um neue Tabellen zu erstellen, Probleme mit Joins lösen, Daten mit Unions anhängen, nach Daten partitionierte Tabellen erstellen und JSON, Arrays sowie Strukturen in BigQuery nutzen.
Mit dem Skill-Logo zum Kurs Daten für die Vorhersagemodellierung mit BigQuery ML vorbereiten weisen Sie fortgeschrittene Kenntnisse in folgenden Bereichen nach: Erstellen von Pipelines für die Datentransformation nach BigQuery mithilfe von Dataprep von Trifacta; Extrahieren, Transformieren und Laden (ETL) von Workflows mit Cloud Storage, Dataflow und BigQuery; und Erstellen von Machine-Learning-Modellen mithilfe von BigQuery ML.
Mit dem Skill-Logo Data Mesh mit Knowledge Catalog aufbauen weisen Sie die folgenden Kenntnisse nach: Aufbauen eines Data Mesh mit Knowledge Catalog für mehr Datensicherheit, Governance und Discovery in Google Cloud. Sie fördern und testen Ihre Fähigkeiten beim Tagging von Assets, Zuweisen von IAM-Rollen und Bewerten der Datenqualität in Knowledge Catalog.
Mit dem Skill-Logo Prompt-Design mit Agent Platform weisen Sie Grundkenntnisse in folgenden Bereichen nach: Prompt Engineering, Bildanalyse und multimodale generative Techniken in Agent Platform. Entdecken Sie, wie Sie wirksame Prompts erstellen, auf generativer KI basierende Ausgaben steuern und Gemini-Modelle in Marketing-Szenarien aus der Praxis anwenden.
While the traditional approaches of using data lakes and data warehouses can be effective, they have shortcomings, particularly in large enterprise environments. This course introduces the concept of a data lakehouse and the Google Cloud products used to create one. A lakehouse architecture uses open-standard data sources and combines the best features of data lakes and data warehouses, which addresses many of their shortcomings.
Learn how to use Gemini Notebook to create a personalized study guide for the Professional Data Engineer certification exam. You'll review Gemini Notebook features, create a notebook in Gemini Notebook, and learn how to use a study guide to practice for a certification exam.
In diesem Kurs erfahren Sie, wie Gemini, ein auf generativer KI basierendes Produkt von Google Cloud, Sie bei der Nutzung von Google-Produkten und -Diensten zum Entwickeln, Testen, Bereitstellen und Verwalten von Anwendungen unterstützen kann. Sie lernen, wie Sie mit Gemini eine Webanwendung entwickeln und debuggen, Tests entwickeln und Daten abfragen können. In einem praxisorientierten Lab können Sie sich davon überzeugen, wie der Softwareentwicklungs-Lebenszyklus durch Gemini verbessert werden kann. Duet AI wurde umbenannt in Gemini, unser Modell der nächsten Generation.
This course provides foundational knowledge for securing your Google Cloud environment. You will learn Google Cloud's security model, including Zero Trust principles and the Shared Fate model. You will configure identity services like Cloud Identity and Workforce Identity Federation, manage access control using Identity and Access Management (IAM) roles, conditions, and policies, and implement network security controls such as VPCs, Cloud Firewall tiers, and VPC Service Controls to build a secure perimeter. As the foundation of the Security in Google Cloud learning path, this course establishes the core principles required for two subsequent specialized tracks: the five-course Security Best Practices in Google Cloud series and the four-course Mitigate Threats in Google Cloud series.
Mit dem Skill-Logo Kubernetes-Anwendungen in Google Cloud bereitstellen weisen Sie Kenntnisse in folgenden Bereichen nach: Konfigurieren und Erstellen von Docker-Container-Images, Erstellen und Verwalten von Google Kubernetes Engine-Clustern, Verwenden von kubectl für eine effiziente Clusterverwaltung und Bereitstellen von Kubernetes-Anwendungen mit leistungsfähigen Continuous Delivery-Abläufen.
Mit dem Skill-Logo Infrastruktur mit Terraform in Google Cloud erstellen weisen Sie fortgeschrittene Kenntnisse in folgenden Bereichen nach: Grundsätze von Infrastruktur als Code (IaC) unter Verwendung von Terraform, Bereitstellen und Verwalten von Google Cloud-Ressourcen mit Terraform-Konfigurationen, effektives Statusmanagement (lokal und remote) und die Modularisierung von Terraform-Code für Wiederverwendbarkeit und Organisation.
Blockchain and related technologies, such as distributed ledger and distributed apps, are becoming new value drivers and solution priorities in many industries. In this course you will gain hands-on experience with distributed ledger and the exploration of blockchain datasets in Google Cloud. It brings the research and solution work of Google's Allen Day into self-paced labs for you to run and learn directly. Since this course uses advanced SQL in BigQuery, a SQL-in-BigQuery refresher lab is at the start.
Erhalten Sie ein Skill-Logo, indem Sie den Kurs Google Cloud-Netzwerk entwickeln abschließen. Dabei wird anhand verschiedener Aufgaben behandelt, wie Sie Anwendungen bereitstellen und beobachten, darunter: IAM-Rollen prüfen, den Zugriff auf Projekte ermöglichen/entfernen, VPC-Netzwerke erstellen, Compute Engine-VMs bereitstellen und beobachten, SQL-Abfragen schreiben, VMs in der Compute Engine bereitstellen und beobachten sowie Anwendungen mithilfe von Kubernetes und mehreren Deploymentmodellen bereitstellen.
Dieser Kurs für Einsteiger unterscheidet sich von anderen Kursangeboten. Die Labs sind so gewählt, dass sie IT-Profis praktische Kenntnisse zu Themen und Diensten vermitteln, die Bestandteil der Zertifizierungsprüfung zum Google Cloud Certified Associate Cloud Engineer sind. Die Labs des Kurses umfassen Themen wie IAM, Networking und Bereitstellung in der Kubernetes Engine, bei denen Sie Ihr Wissen über Google Cloud unter Beweis stellen können. Mithilfe der Übungen im Rahmen dieser Labs können Sie zwar Ihre Kenntnisse und Fähigkeiten erweitern, Sie sollten sich jedoch auch den Prüfungsleitfaden und andere verfügbare Vorbereitungsressourcen ansehen.
Erhalten Sie ein Skill-Logo, indem Sie den Kurs „Umgebung für die Anwendungsentwicklung in Google Cloud einrichten“ abschließen. Dabei lernen Sie, wie Sie eine speicherorientierte Cloud-Infrastruktur mithilfe der grundlegenden Funktionen der folgenden Technologien erstellen und verbinden: Cloud Storage, Identity and Access Management, Cloud Functions und Pub/Sub.
Wenn Sie als Einsteiger im Bereich Cloudentwicklung nach praktischen Übungen suchen, die über reine Google Cloud-Grundlagen hinausgehen, ist dieser Kurs genau das Richtige für Sie. Sie sammeln praktische Erfahrungen in Labs rund um Cloud Storage und andere wichtige Anwendungsdienste wie Cloud Monitoring und Cloud Functions. Dabei bauen Sie Ihre Fähigkeiten aus, um sie bei unterschiedlichen Google Cloud-Initiativen einsetzen zu können.
Mit dem Skill-Logo zum Kurs Cloud Load Balancing in der Compute Engine implementieren weisen Sie Kenntnisse in folgenden Bereichen nach: virtuelle Maschinen in der Compute Engine erstellen und bereitstellen und Netzwerk- und Application Load Balancer konfigurieren.