리뷰 Dataflow와 BigQuery를 사용하여 Google Cloud에서 ETL 처리하기(Python)개

Andres M. · 3년 초과 전에 리뷰됨

Task 17. Run the Apache Beam Pipeline [ERROR] dataflow_python_examples/data_lake_to_mart.py:245: BeamDeprecationWarning: parse_table_schema_from_json is deprecated since 2.11.0. Use bigquery_tools.parse_table_schema_from_json instead. schema = parse_table_schema_from_json(data_lake_to_data_mart.schema_str) dataflow_python_examples/data_lake_to_mart.py:273: BeamDeprecationWarning: BigQuerySource is deprecated since 2.25.0. Use ReadFromBigQuery instead. | 'Account Details' >> beam.Map( /usr/local/lib/python3.7/site-packages/apache_beam/io/gcp/bigquery.py:2485: BeamDeprecationWarning: options is deprecated since First stable release. References to <pipeline>.options will not be supported temp_location = pcoll.pipeline.options.view_as( dataflow_python_examples/data_lake_to_mart.py:301: BeamDeprecationWarning: BigQuerySink is deprecated since 2.11.0. Use WriteToBigQuery instead. write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE))) /usr/local/lib/python3.7/site-packages/apache_beam/io/gcp/bigquery.py:1282: UserWarning: Native sinks no longer implemented; falling back to standard Beam sink. "Native sinks no longer implemented; " /usr/local/lib/python3.7/site-packages/apache_beam/io/gcp/bigquery_file_loads.py:1166: BeamDeprecationWarning: options is deprecated since First stable release. References to <pipeline>.options will not be supported self.project = self.project or p.options.view_as(GoogleCloudOptions).project Traceback (most recent call last): File "dataflow_python_examples/data_lake_to_mart.py", line 307, in <module> run() File "dataflow_python_examples/data_lake_to_mart.py", line 301, in run write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE))) File "/usr/local/lib/python3.7/site-packages/apache_beam/pipeline.py", line 600, in __exit__ self.result = self.run() File "/usr/local/lib/python3.7/site-packages/apache_beam/pipeline.py", line 553, in run self._options).run(False) File "/usr/local/lib/python3.7/site-packages/apache_beam/pipeline.py", line 995, in from_runner_api raise ValueError('No producer for %s' % id) ValueError: No producer for ref_PCollection_PCollection_14

Agus S. · 3년 초과 전에 리뷰됨

Денис С. · 3년 초과 전에 리뷰됨

tatiana D. · 3년 초과 전에 리뷰됨

Chigozirim I. · 3년 초과 전에 리뷰됨

Harold D. · 3년 초과 전에 리뷰됨

Pavlo D. · 3년 초과 전에 리뷰됨

olha m. · 3년 초과 전에 리뷰됨

Vladimir S. · 3년 초과 전에 리뷰됨

Yuliia G. · 3년 초과 전에 리뷰됨

Harshali P. · 3년 초과 전에 리뷰됨

Santiago R. · 3년 초과 전에 리뷰됨

Artemy H. · 3년 초과 전에 리뷰됨

murali k. · 3년 초과 전에 리뷰됨

Виталий А. · 3년 초과 전에 리뷰됨

Yasaman P. · 3년 초과 전에 리뷰됨

Piotr B. · 3년 초과 전에 리뷰됨

too little time to properly review code, more emphasis should be put on code and not on copy pasting bash lines

José C. · 3년 초과 전에 리뷰됨

Enzo M. · 3년 초과 전에 리뷰됨

Олексій К. · 3년 초과 전에 리뷰됨

Parth P. · 3년 초과 전에 리뷰됨

David G. · 3년 초과 전에 리뷰됨

omkar p. · 3년 초과 전에 리뷰됨

Vaibhav T. · 3년 초과 전에 리뷰됨

Alisa B. · 3년 초과 전에 리뷰됨