리뷰 Dataflow와 BigQuery를 사용하여 Google Cloud에서 ETL 처리하기(Python)개

리뷰 80685개

Very Satisfied

mohamed b. · 7년 초과 전에 리뷰됨

Great

Ferry S. · 7년 초과 전에 리뷰됨

Paso 2: Transferencia de datos --> con ERROR python dataflow_python_examples/data_ingestion.py --project=$PROJECT --runner=DataflowRunner --staging_location=gs://$PROJECT/test --temp_location gs://$PROJECT/test --input gs://$PROJECT/data_files/head_usa_names.csv --save_main_session self._validate() File "/home/google3440357_student/professional-services/examples/dataflow-python-examples/dataflow-env/local/lib/python2.7/site-packages/apache_beam/options/value_provider.py", line 133, in _f return fnc(self, *args, **kwargs) File "/home/google3440357_student/professional-services/examples/dataflow-python-examples/dataflow-env/local/lib/python2.7/site-packages/apache_beam/io/filebasedsource.py", line 176, in _validate match_result = FileSystems.match([pattern], limits=[1])[0] File "/home/google3440357_student/professional-services/examples/dataflow-python-examples/dataflow-env/local/lib/python2.7/site-packages/apache_beam/io/filesystems.py", line 166, in match return filesystem.match(patterns, limits) File "/home/google3440357_student/professional-services/examples/dataflow-python-examples/dataflow-env/local/lib/python2.7/site-packages/apache_beam/io/filesystem.py", line 604, in match raise BeamIOError("Match operation failed", exceptions) apache_beam.io.filesystem.BeamIOError: Match operation failed with exceptions {'gs://qwiklabs-gcp-b44f66c62d0e5b54/data_files/head_usa_names.csv': SSLHandshakeError(SSLError(1, u'[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:661)'),)}

Patricio P. · 7년 초과 전에 리뷰됨

David Gilberto R. · 7년 초과 전에 리뷰됨

Paula Y. · 7년 초과 전에 리뷰됨

too urgent

Aaron L. · 7년 초과 전에 리뷰됨

Step - Data Ingestion, is not working. When I am running the code to set up spin up workers, I get this error in the cloud shell: "est --temp_location gs://qwiklabs-gcp-3ba1dae8bc3e9b27/test --input gs://qwiklabs-gcp-3ba1dae8bc3e9b27/data_files/head_usa_names.csv --save_main_session Traceback (most recent call last): File "dataflow_python_examples/data_ingestion.py", line 132, in <module> run() File "dataflow_python_examples/data_ingestion.py", line 98, in run p = beam.Pipeline(options=PipelineOptions(pipeline_args)) File "/home/google3429393_student/professional-services/examples/dataflow-python-examples/dataflow-env/local/lib/python2.7/site-packages/apache_beam/pipeline.py", line 155, in __init__ 'Pipeline has validations errors: \n' + '\n'.join(errors)) ValueError: Pipeline has validations errors: Invalid Project ID (). Please make sure you specified the Project ID, not project number. Invalid GCS path (gs:///test), given for the option: staging_location."

Feyzi B. · 7년 초과 전에 리뷰됨

too urgent

Aaron L. · 7년 초과 전에 리뷰됨

time constraints

Wei Juin Ong -. · 7년 초과 전에 리뷰됨

time constraints

Wei Juin Ong -. · 7년 초과 전에 리뷰됨

Time could do with extending slightly.

Andrew H. · 7년 초과 전에 리뷰됨

Step - Data Ingestion, is not working. When I am running the code to set up spin up workers, I get this error in the cloud shell: "est --temp_location gs://qwiklabs-gcp-3ba1dae8bc3e9b27/test --input gs://qwiklabs-gcp-3ba1dae8bc3e9b27/data_files/head_usa_names.csv --save_main_session Traceback (most recent call last): File "dataflow_python_examples/data_ingestion.py", line 132, in <module> run() File "dataflow_python_examples/data_ingestion.py", line 98, in run p = beam.Pipeline(options=PipelineOptions(pipeline_args)) File "/home/google3429393_student/professional-services/examples/dataflow-python-examples/dataflow-env/local/lib/python2.7/site-packages/apache_beam/pipeline.py", line 155, in __init__ 'Pipeline has validations errors: \n' + '\n'.join(errors)) ValueError: Pipeline has validations errors: Invalid Project ID (). Please make sure you specified the Project ID, not project number. Invalid GCS path (gs:///test), given for the option: staging_location."

Feyzi B. · 7년 초과 전에 리뷰됨

Ike C. · 7년 초과 전에 리뷰됨

Can't finish, too many time to execute dataflow :|

Ike C. · 7년 초과 전에 리뷰됨

Yap S. · 7년 초과 전에 리뷰됨

Mejor hacerlo en inglés.

Diego M. · 7년 초과 전에 리뷰됨

Francisco G. · 7년 초과 전에 리뷰됨

buggy. i was logged out halfway and my progress was not saved.

Chris S. · 7년 초과 전에 리뷰됨

Ludovic G. · 7년 초과 전에 리뷰됨

SHUHAO L. · 7년 초과 전에 리뷰됨

The description bullet points under each step need to be updated to reflect the real flow steps

Ahmed H. · 7년 초과 전에 리뷰됨

Lengthy activities...

David C. · 7년 초과 전에 리뷰됨

Deepak M. · 7년 초과 전에 리뷰됨

Achmad Gunar S. · 7년 초과 전에 리뷰됨

Bing Yuan L. · 7년 초과 전에 리뷰됨

Google은 게시된 리뷰가 제품을 구매 또는 사용한 소비자에 의해 작성되었음을 보증하지 않습니다. 리뷰는 Google의 인증을 거치지 않습니다.