Serverless Data Processing with Dataflow - Writing an ETL pipeline using Apache Beam and Dataflow (Java) Ulasan

The "walkthrough" could have better explanations, specially since this is the first hands on creation of pipelines through code

Felipe T. · Diulas lebih dari 1 tahun lalu

Quan D. · Diulas lebih dari 1 tahun lalu

Jordan V. · Diulas lebih dari 1 tahun lalu

Doesn't compile: [INFO] BUILD FAILURE [INFO] ------------------------------------------------------------------------ [INFO] Total time: 9.787 s [INFO] Finished at: 2024-09-12T14:16:00+00:00 [INFO] Final Memory: 41M/55M [INFO] ------------------------------------------------------------------------ [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.1:compile (default-compile) on project advanced-dataflow-lab-1-lab: Compilation failure: Compilation failure: [ERROR] /home/project/training-data-analyst/quests/dataflow/1_Basic_ETL/labs/src/main/java/com/mypackage/pipeline/MyPipeline.java:[27,26] cannot find symbol [ERROR] symbol: class Logger [ERROR] location: class com.mypackage.pipeline.MyPipeline [ERROR] /home/project/training-data-analyst/quests/dataflow/1_Basic_ETL/labs/src/main/java/com/mypackage/pipeline/MyPipeline.java:[33,38] cannot find symbol [ERROR] symbol: class DataflowPipelineOptions [ERROR] location: class com.mypackage.pipeline.MyPipeline [ERROR] /home/project/training-data-analyst/quests/dataflow/1_Basic_ETL/labs/src/main/java/com/mypackage/pipeline/MyPipeline.java:[65,19] cannot find symbol [ERROR] symbol: class PipelineResult [ERROR] location: class com.mypackage.pipeline.MyPipeline [ERROR] /home/project/training-data-analyst/quests/dataflow/1_Basic_ETL/labs/src/main/java/com/mypackage/pipeline/MyPipeline.java:[27,39] cannot find symbol [ERROR] symbol: variable LoggerFactory [ERROR] location: class com.mypackage.pipeline.MyPipeline [ERROR] /home/project/training-data-analyst/quests/dataflow/1_Basic_ETL/labs/src/main/java/com/mypackage/pipeline/MyPipeline.java:[46,27] cannot find symbol [ERROR] symbol: variable PipelineOptionsFactory [ERROR] location: class com.mypackage.pipeline.MyPipeline [ERROR] /home/project/training-data-analyst/quests/dataflow/1_Basic_ETL/labs/src/main/java/com/mypackage/pipeline/MyPipeline.java:[68,9] cannot find symbol [ERROR] symbol: class Pipeline [ERROR] location: class com.mypackage.pipeline.MyPipeline [ERROR] /home/project/training-data-analyst/quests/dataflow/1_Basic_ETL/labs/src/main/java/com/mypackage/pipeline/MyPipeline.java:[68,29] cannot find symbol [ERROR] symbol: variable Pipeline [ERROR] location: class com.mypackage.pipeline.MyPipeline [ERROR] /home/project/training-data-analyst/quests/dataflow/1_Basic_ETL/labs/src/main/java/com/mypackage/pipeline/MyPipeline.java:[69,16] cannot find symbol [ERROR] symbol: method setJobName(java.lang.String) [ERROR] location: variable options of type com.mypackage.pipeline.MyPipeline.Options

Fernando A. · Diulas lebih dari 1 tahun lalu

The lab console and the web ide never opened for me to continue with the lab.

Probal D. · Diulas lebih dari 1 tahun lalu

I could not understand what the author meant when i read the description

Jakub M. · Diulas lebih dari 1 tahun lalu

Cornelius K. · Diulas lebih dari 1 tahun lalu

Saurabh D. · Diulas lebih dari 1 tahun lalu

Maria P. · Diulas lebih dari 1 tahun lalu

too confusing

Muhammad S. · Diulas lebih dari 1 tahun lalu

Daniel P. · Diulas lebih dari 1 tahun lalu

was good

José Carlos V. · Diulas lebih dari 1 tahun lalu

Sanjeev U. · Diulas lebih dari 1 tahun lalu

Vaishnavi K. · Diulas lebih dari 1 tahun lalu

Kentaro I. · Diulas lebih dari 1 tahun lalu

Sam T. · Diulas lebih dari 1 tahun lalu

I have error in step build maven This is error java.lang.IllegalArgumentException: BigQueryIO.Write needs a GCS temp location to store temp files.This can be set by withCustomGcsTempLocation() in the Builderor through the fallback pipeline option --tempLocation. so I need to find solution for a while I need to solve with add line public static void main(String[] args) { Options options = PipelineOptionsFactory.fromArgs(args).as(Options.class); // Set the GCS temp location through options options.setTempLocation("gs://YOUR_BUCKET/temp/"); run(options); }

sutee k. · Diulas lebih dari 1 tahun lalu

Edson H. · Diulas lebih dari 1 tahun lalu

Cristian Camilo S. · Diulas lebih dari 1 tahun lalu

Peter D. · Diulas lebih dari 1 tahun lalu

Peter D. · Diulas lebih dari 1 tahun lalu

Eduardo A. · Diulas lebih dari 1 tahun lalu

Lemni N. · Diulas lebih dari 1 tahun lalu

Mukul J. · Diulas lebih dari 1 tahun lalu

Low H. · Diulas lebih dari 1 tahun lalu