Spark-Submit通过命令行不强制执行UTF-8编码

Question

当我使用Spark的Java API从IDE运行我的Spark任务时，我以所需的编码格式（UTF-8）获取输出。但是，如果我从命令行启动'spark-submit'方法，输出会错过编码。

有没有一种方法可以在通过命令行界面使用时强制编码来'spark-submit'。

我正在使用Windows 10操作系统和Eclipse IDE。

您的帮助将非常感激。

谢谢。

Answer 1

像这样运行你的Spark工作： spark-submit --class com.something.class --name "someName" --conf "spark.driver.extraJavaOptions=-Dfile.encoding=utf-8"