Opinie (Creating a Streaming Data Pipeline for a Real-Time Dashboard with Dataflow)

Laksh J. · Sprawdzono ponad 2 lata temu

The ordering of the parameters in dataflow were not in order. Some of the parameters were in the additional options. I also received an error when trying to submit the dataflow job. It was an error relating to interval minutes not being supported. I had to pivot to using a gcloud command. This worked for me: gcloud dataflow jobs run streaming-taxi-pipeline --gcs-location gs://dataflow-templates-us-east1/latest/GCS_Text_to_BigQuery --region us-east1 --max-workers 2 --num-workers 1 --worker-machine-type e2-medium --staging-location gs://qwiklabs-gcp-02-73dac1891e2c-bucket/tmp --parameters inputFilePattern=gs://qwiklabs-gcp-02-73dac1891e2c-bucket/tmp/rt_taxidata.csv,JSONPath=gs://qwiklabs-gcp-02-73dac1891e2c-bucket/tmp/schema.json,outputTable=qwiklabs-gcp-02-73dac1891e2c:taxirides.realtime,bigQueryLoadingTemporaryDirectory=gs://qwiklabs-gcp-02-73dac1891e2c-bucket/tmp,javascriptTextTransformGcsPath=gs://qwiklabs-gcp-02-73dac1891e2c-bucket/tmp/transform.js,javascriptTextTransformFunctionName=transform

Ryan L. · Sprawdzono ponad 2 lata temu

Peter T. · Sprawdzono ponad 2 lata temu

Juan C. · Sprawdzono ponad 2 lata temu

Cristina - Georgiana H. · Sprawdzono ponad 2 lata temu

rework tutorial, I'm getting errors

Winfried B. · Sprawdzono ponad 2 lata temu

Rahul T. · Sprawdzono ponad 2 lata temu

Satisfied

Saurabh M. · Sprawdzono ponad 2 lata temu

Satisfied

Saurabh M. · Sprawdzono ponad 2 lata temu

Peter G. · Sprawdzono ponad 2 lata temu

It improved when I tried loading data directly at the table creation from Cloud Storage instead of Data flow

Andres L. · Sprawdzono ponad 2 lata temu

when choosing the exact mentioned template, then it is a batch job rather than the streaming job, and even when choosing the streaming job called something like "Cloud Storage text to Bigquery" then some of the titles of the parts here in the description have other names than the labels of the input fields. (eg output table)

Melanie D. · Sprawdzono ponad 2 lata temu

Template can not work

Aya a N. · Sprawdzono ponad 2 lata temu

Nilupuli N. · Sprawdzono ponad 2 lata temu

Kasun H. · Sprawdzono ponad 2 lata temu

Tomasz S. · Sprawdzono ponad 2 lata temu

Samiksha G. · Sprawdzono ponad 2 lata temu

Bilgehan K. · Sprawdzono ponad 2 lata temu

nice

Mulpuru J. · Sprawdzono ponad 2 lata temu

Akash P. · Sprawdzono ponad 2 lata temu

Vera G. · Sprawdzono ponad 2 lata temu

Shrujan R. · Sprawdzono ponad 2 lata temu

Tanabut T. · Sprawdzono ponad 2 lata temu

Kristina Pia D. · Sprawdzono ponad 2 lata temu

Shashika K. · Sprawdzono ponad 2 lata temu