Відгуки: Migrating Apache Spark Jobs to Dataproc [PWDW]

Jarkko V. · Відгук надано більше 5 років тому

Dennis F. · Відгук надано більше 5 років тому

Omar L. · Відгук надано більше 5 років тому

Jozef J. · Відгук надано більше 5 років тому

Carlos M. · Відгук надано більше 5 років тому

nelson m. · Відгук надано більше 5 років тому

In Task 6 when run Cloud Function is an error, please review: 2020-10-23T18:16:44.792Zbigquery_analysis_cf1bkpzyjytyhz Traceback (most recent call last): File "/env/local/lib/python3.7/site-packages/google/cloud/functions/worker_v2.py", line 449, in run_background_function _function_handler.invoke_user_function(event_object) File "/env/local/lib/python3.7/site-packages/google/cloud/functions/worker_v2.py", line 268, in invoke_user_function return call_user_function(request_or_event) File "/env/local/lib/python3.7/site-packages/google/cloud/functions/worker_v2.py", line 265, in call_user_function event_context.Context(**request_or_event.context)) File "/user_code/main.py", line 97, in bigquery_analysis_cf create_report(bucket, filename, tmpdir) File "/user_code/main.py", line 51, in create_report connections_by_protocol = client.query(sql).to_dataframe() File "/env/local/lib/python3.7/site-packages/google/cloud/bigquery/job.py", line 3410, in to_dataframe date_as_object=date_as_object, File "/env/local/lib/python3.7/site-packages/google/cloud/bigquery/table.py", line 1692, in to_dataframe create_bqstorage_client=create_bqstorage_client, File "/env/local/lib/python3.7/site-packages/google/cloud/bigquery/table.py", line 1492, in to_arrow raise ValueError(_NO_PYARROW_ERROR) ValueError: The pyarrow library is not installed, please install pyarrow to use the to_arrow() function. Traceback (most recent call last): File "/env/local/lib/python3.7/site-packages/google/cloud/functions/worker_v2.py", line 449, in run_background_function _function_handler.invoke_user_function(event_object) File "/env/local/lib/python3.7/site-packages/google/cloud/functions/worker_v2.py", line 268, in invoke_user_function return call_user_function(request_or_event) File "/env/local/lib/python3.7/site-packages/google/cloud/functions/worker_v2.py", line 265, in call_user_function event_context.Context(**request_or_event.context)) File "/user_code/main.py", line 97, in bigquery_analysis_cf create_report(bucket, filename, tmpdir) File "/user_code/main.py", line 51, in create_report connections_by_protocol = client.query(sql).to_dataframe() File "/env/local/lib/python3.7/site-packages/google/cloud/bigquery/job.py", line 3410, in to_dataframe date_as_object=date_as_object, File "/env/local/lib/python3.7/site-packages/google/cloud/bigquery/table.py", line 1692, in to_dataframe create_bqstorage_client=create_bqstorage_client, File "/env/local/lib/python3.7/site-packages/google/cloud/bigquery/table.py", line 1492, in to_arrow raise ValueError(_NO_PYARROW_ERROR) ValueError: The pyarrow library is not installed, please install pyarrow to use the to_arrow() function.

Grzegorz W. · Відгук надано більше 5 років тому

Nuno L. · Відгук надано більше 5 років тому

Ivan R. · Відгук надано більше 5 років тому

The requirements.txt omits pyarrow which breaks the lab. Need to be sure it gets added.

John E. · Відгук надано більше 5 років тому

Ivan R. · Відгук надано більше 5 років тому

Nuno L. · Відгук надано більше 5 років тому

Ki C. · Відгук надано більше 5 років тому

Shashwath K. · Відгук надано більше 5 років тому

Gayathri J. · Відгук надано більше 5 років тому

Mohammedriyaz M. · Відгук надано більше 5 років тому

Mritunjay r. · Відгук надано більше 5 років тому

Dohyun L. · Відгук надано більше 5 років тому

It didn't work as jupyter notebook

국환 박. · Відгук надано більше 5 років тому

gr8

Umesh T. · Відгук надано більше 5 років тому

Alin L. · Відгук надано більше 5 років тому

Awesome!

Mario F. · Відгук надано більше 5 років тому

Kathiresan J. · Відгук надано більше 5 років тому

Robert W. · Відгук надано більше 5 років тому

Dzmitry S. · Відгук надано більше 5 років тому