语法错误,当我尝试
问题描述:
每次我尝试运行以下命令斯卡拉语法错误,当我尝试
val dataRDD = sc.textFile("hdfs://quickstart.cloudera:8020/user/cloudera/data/data.txt")
dataRDD.collect().foreach(println)
//or
dataRDD.count()
我得到异常以下通过VM Cloudera的火花运行斯卡拉命令 -
exitCodeException exitCode=1: File "/etc/hadoop/conf.cloudera.yarn/topology.py", line 43 print default_rack^
SyntaxError: Missing parentheses in call to 'print'
-I我在Cloudera VM上运行Spark 1.6.0。 其他人面临这样的问题?可能是什么原因?我知道这是由于'topology.py'文件试图打印时没有“(”,这是python 3所必需的。但是,为什么这个脚本在我没有运行python/pyspark的时候被执行。 这只是通过Cloudera VM发生,当我在其他示例数据之外运行vm时,这些命令起作用!
答
我知道这可能太晚了,但我以任何方式发布答案,以防其他用户面临相同问题。
以上是已知问题和解决方法是如下:
解决方法:添加YARN网关的作用,每个尚不具有至少一根纱线角色(任何类型的)主机YARN g ^您需要在您面临此问题的节点/主机上添加路由。
也看到了这一点。虽然没有答案。 – Mark