리뷰 Dataflow와 BigQuery를 사용하여 Google Cloud에서 ETL 처리하기(Python)개
리뷰 80685개
Very Satisfied
mohamed b. · 7년 초과 전에 리뷰됨
Great
Ferry S. · 7년 초과 전에 리뷰됨
Paso 2: Transferencia de datos --> con ERROR python dataflow_python_examples/data_ingestion.py --project=$PROJECT --runner=DataflowRunner --staging_location=gs://$PROJECT/test --temp_location gs://$PROJECT/test --input gs://$PROJECT/data_files/head_usa_names.csv --save_main_session self._validate() File "/home/google3440357_student/professional-services/examples/dataflow-python-examples/dataflow-env/local/lib/python2.7/site-packages/apache_beam/options/value_provider.py", line 133, in _f return fnc(self, *args, **kwargs) File "/home/google3440357_student/professional-services/examples/dataflow-python-examples/dataflow-env/local/lib/python2.7/site-packages/apache_beam/io/filebasedsource.py", line 176, in _validate match_result = FileSystems.match([pattern], limits=[1])[0] File "/home/google3440357_student/professional-services/examples/dataflow-python-examples/dataflow-env/local/lib/python2.7/site-packages/apache_beam/io/filesystems.py", line 166, in match return filesystem.match(patterns, limits) File "/home/google3440357_student/professional-services/examples/dataflow-python-examples/dataflow-env/local/lib/python2.7/site-packages/apache_beam/io/filesystem.py", line 604, in match raise BeamIOError("Match operation failed", exceptions) apache_beam.io.filesystem.BeamIOError: Match operation failed with exceptions {'gs://qwiklabs-gcp-b44f66c62d0e5b54/data_files/head_usa_names.csv': SSLHandshakeError(SSLError(1, u'[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:661)'),)}
Patricio P. · 7년 초과 전에 리뷰됨
David Gilberto R. · 7년 초과 전에 리뷰됨
Paula Y. · 7년 초과 전에 리뷰됨
too urgent
Aaron L. · 7년 초과 전에 리뷰됨
Step - Data Ingestion, is not working. When I am running the code to set up spin up workers, I get this error in the cloud shell: "est --temp_location gs://qwiklabs-gcp-3ba1dae8bc3e9b27/test --input gs://qwiklabs-gcp-3ba1dae8bc3e9b27/data_files/head_usa_names.csv --save_main_session Traceback (most recent call last): File "dataflow_python_examples/data_ingestion.py", line 132, in <module> run() File "dataflow_python_examples/data_ingestion.py", line 98, in run p = beam.Pipeline(options=PipelineOptions(pipeline_args)) File "/home/google3429393_student/professional-services/examples/dataflow-python-examples/dataflow-env/local/lib/python2.7/site-packages/apache_beam/pipeline.py", line 155, in __init__ 'Pipeline has validations errors: \n' + '\n'.join(errors)) ValueError: Pipeline has validations errors: Invalid Project ID (). Please make sure you specified the Project ID, not project number. Invalid GCS path (gs:///test), given for the option: staging_location."
Feyzi B. · 7년 초과 전에 리뷰됨
too urgent
Aaron L. · 7년 초과 전에 리뷰됨
time constraints
Wei Juin Ong -. · 7년 초과 전에 리뷰됨
time constraints
Wei Juin Ong -. · 7년 초과 전에 리뷰됨
Time could do with extending slightly.
Andrew H. · 7년 초과 전에 리뷰됨
Step - Data Ingestion, is not working. When I am running the code to set up spin up workers, I get this error in the cloud shell: "est --temp_location gs://qwiklabs-gcp-3ba1dae8bc3e9b27/test --input gs://qwiklabs-gcp-3ba1dae8bc3e9b27/data_files/head_usa_names.csv --save_main_session Traceback (most recent call last): File "dataflow_python_examples/data_ingestion.py", line 132, in <module> run() File "dataflow_python_examples/data_ingestion.py", line 98, in run p = beam.Pipeline(options=PipelineOptions(pipeline_args)) File "/home/google3429393_student/professional-services/examples/dataflow-python-examples/dataflow-env/local/lib/python2.7/site-packages/apache_beam/pipeline.py", line 155, in __init__ 'Pipeline has validations errors: \n' + '\n'.join(errors)) ValueError: Pipeline has validations errors: Invalid Project ID (). Please make sure you specified the Project ID, not project number. Invalid GCS path (gs:///test), given for the option: staging_location."
Feyzi B. · 7년 초과 전에 리뷰됨
Ike C. · 7년 초과 전에 리뷰됨
Can't finish, too many time to execute dataflow :|
Ike C. · 7년 초과 전에 리뷰됨
Yap S. · 7년 초과 전에 리뷰됨
Mejor hacerlo en inglés.
Diego M. · 7년 초과 전에 리뷰됨
Francisco G. · 7년 초과 전에 리뷰됨
buggy. i was logged out halfway and my progress was not saved.
Chris S. · 7년 초과 전에 리뷰됨
Ludovic G. · 7년 초과 전에 리뷰됨
SHUHAO L. · 7년 초과 전에 리뷰됨
The description bullet points under each step need to be updated to reflect the real flow steps
Ahmed H. · 7년 초과 전에 리뷰됨
Lengthy activities...
David C. · 7년 초과 전에 리뷰됨
Deepak M. · 7년 초과 전에 리뷰됨
Achmad Gunar S. · 7년 초과 전에 리뷰됨
Bing Yuan L. · 7년 초과 전에 리뷰됨
Google은 게시된 리뷰가 제품을 구매 또는 사용한 소비자에 의해 작성되었음을 보증하지 않습니다. 리뷰는 Google의 인증을 거치지 않습니다.