Eclipse远程调试spark-submit
我想对使用Windows中的命令提示符提交给Spark的应用程序执行远程调试。你可以帮我吗?Eclipse远程调试spark-submit
任何我可以提供Spark启动远程调试端口的地方。
您可以随时使用Spark
和Java/scala
做Remote Debugging
。如果你想检查与dataset
与localmode
然后你可以使用步调试器。看看Java Debugger
以及它是如何工作的。
,如果你想使用Spark
具体调试在Remotemode
然后检查该链接已与循序渐进的过程非常好的例子。
为了调试驱动,你可以添加以下到您命令。然后将远程调试器设置为连接到您启动驱动程序的节点。
--driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005
您可以根据自己的需要定制port
。 在这种情况下,请在侦听模式下启动您的调试器,然后启动您的Spark程序并等待执行程序附加到您的调试器。将执行程序的数量设置为1或多个执行程序都将尝试连接到您的debugger
,这可能会导致问题,这一点很重要。检查上面的例子获取更多细节。
如果您正在使用jetbrains那么你可以用这个例子中,你要调试手段Spark remote debugging
感谢Indrajit,** - driver-java-options -agentlib:jdwp = transport = dt_socket,server = y,suspend = y,addr ess = 5005 **为我工作。 – Vawani
?你想一步步检查流程吗? –
我想用eclipse做一个远程DEBUG – Vawani