Відгуки: Running Jobs on Managed Apache Spark

Sara U. · Відгук надано майже 6 років тому

PRIYA R. · Відгук надано майже 6 років тому

Crystal L. · Відгук надано майже 6 років тому

Really good, but a few of the steps dont match current Console UI, and some steps are slightly unclear. Concepts are great.

Tony M. · Відгук надано майже 6 років тому

Amazing lab - good step-by-step explanation of all processes.

Pavel B. · Відгук надано майже 6 років тому

Rex C. · Відгук надано майже 6 років тому

Instructions are not very clear. Stuck at many places.

Manish S. · Відгук надано майже 6 років тому

Versioning steps are not correct. Advanced Options button no longer present, and Versioning is available on the standard options page.

Douglas H. · Відгук надано майже 6 років тому

thara s. · Відгук надано майже 6 років тому

Lei X. · Відгук надано майже 6 років тому

Jonathan W. · Відгук надано майже 6 років тому

student_01_0730aef43f26@cloudshell:~ (qwiklabs-gcp-01-2954a7652416)$ gsutil cp kddcup.data_10_percent.gz gs://$PROJECT_ID/ CommandException: "cp" command does not support provider-only URLs. because of this error this .gz file is not copied to bucket , so cell 4 is failing Py4JJavaError Traceback (most recent call last) <ipython-input-2-ebb0c596a829> in <module> 6 data_file = "gs://"+gcs_bucket+"//kddcup.data_10_percent.gz" 7 raw_rdd = sc.textFile(data_file).cache() ----> 8 raw_rdd.take(5) /usr/lib/spark/python/pyspark/rdd.py in take(self, num) 1325 """ 1326 items = [] -> 1327 totalParts = self.getNumPartitions() 1328 partsScanned = 0 1329 /usr/lib/spark/python/pyspark/rdd.py in getNumPartitions(self) 389 2 390 """ --> 391 return self._jrdd.partitions().size() 392 393 def filter(self, f): /opt/conda/anaconda/lib/python3.6/site-packages/py4j/java_gateway.py in __call__(self, *args) 1255 answer = self.gateway_client.send_command(command) 1256 return_value = get_return_value( -> 1257 answer, self.gateway_client, self.target_id, self.name) 1258 1259 for temp_arg in temp_args: /usr/lib/spark/python/pyspark/sql/utils.py in deco(*a, **kw) 61 def deco(*a, **kw): 62 try: ---> 63 return f(*a, **kw) 64 except py4j.protocol.Py4JJavaError as e: 65 s = e.java_exception.toString() /opt/conda/anaconda/lib/python3.6/site-packages/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name) 326 raise Py4JJavaError( 327 "An error occurred while calling {0}{1}{2}.\n". --> 328 format(target_id, ".", name), value) 329 else: 330 raise Py4JError( Py4JJavaError: An error occurred while calling o50.partitions. : org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: gs://qwiklabs-gcp-01-2954a7652416/kddcup.data_10_percent.gz at org.apache.hadoop.mapred.LocatedFileStatusFetcher.getFileStatuses(LocatedFileStatusFetcher.java:155) at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:244) at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:322) at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:204) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:273) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:269) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.rdd.RDD.partitions(RDD.scala:269)

Shashishekar H. · Відгук надано майже 6 років тому

Veria H. · Відгук надано майже 6 років тому

Denise N. · Відгук надано майже 6 років тому

Andrew M. · Відгук надано майже 6 років тому

Yang Y. · Відгук надано майже 6 років тому

excellent

Andriy P. · Відгук надано майже 6 років тому

Vikrant N. · Відгук надано майже 6 років тому

Raghunath K. · Відгук надано майже 6 років тому

good

Jegan B. · Відгук надано майже 6 років тому

Rafael S. · Відгук надано майже 6 років тому

Ihor H. · Відгук надано майже 6 років тому

Anderson C. · Відгук надано майже 6 років тому

Rafael V. · Відгук надано майже 6 років тому

muito bom

Michel B. · Відгук надано майже 6 років тому