Pyspark 导入第三方包报错
pyspark导入第三方包的方式
- 在spark-submit时添加参数 --py-files
spark-submit --py-files 文件1或py文件1,zip文件2或py文件2（多个文件用,分开） - 在sparkContext中使用addPyFile
sc.addPyFile(“xxxx.zip”)
或
spark.sparkContext.addFile(“xxx.zip”)
报错
ImportError: (‘No module named numpy’, <function subimport at 0xf45c80>, (‘numpy’,))
比如我要提交的时numpy包，首先通过将numpy包打包成.zip文件，然后用上述方法导入，但是依然报ImportError，找不到包。
原因：打包方式出错了。
zip文件的内容一打开必须形如上图，不能在这些文件的上一级再套一个文件夹