语法错误,当我尝试

问题描述:

每次我尝试运行以下命令斯卡拉语法错误,当我尝试

val dataRDD = sc.textFile("hdfs://quickstart.cloudera:8020/user/cloudera/data/data.txt") 
    dataRDD.collect().foreach(println) 
    //or 
    dataRDD.count() 

我得到异常以下通过VM Cloudera的火花运行斯卡拉命令 -

exitCodeException exitCode=1: File "/etc/hadoop/conf.cloudera.yarn/topology.py", line 43 print default_rack^ 
SyntaxError: Missing parentheses in call to 'print' 

-I我在Cloudera VM上运行Spark 1.6.0。 其他人面临这样的问题?可能是什么原因?我知道这是由于'topology.py'文件试图打印时没有“(”,这是python 3所必需的。但是,为什么这个脚本在我没有运行python/pyspark的时候被执行。 这只是通过Cloudera VM发生,当我在其他示例数据之外运行vm时,这些命令起作用!

+0

也看到了这一点。虽然没有答案。 – Mark

我知道这可能太晚了,但我以任何方式发布答案,以防其他用户面临相同问题。

以上是已知问题和解决方法是如下:

解决方法:添加YARN网关的作用,每个尚不具有至少一根纱线角色(任何类型的)主机YARN g ^您需要在您面临此问题的节点/主机上添加路由。