使用SparkSession在Java或Scala中创建DSEGraphFrame
问题描述:
我想要在java或scala中获取DSE图的DSEGraphFrame。我现在用的是blog documentation,如下使用SparkSession在Java或Scala中创建DSEGraphFrame
//load a graph in Java
DseGraphFrame graph = DseGraphFrameBuilder.dseGraph("test", spark);
// load a graph in scala
val graph = spark.dseGraph("test_graph")
它们都需要一个火花会话(Scala中是隐含的)。我的问题是你如何创建SparkSession spark
?我试图通过已经建立自己的,但建筑商无法解析主:
val spark = SparkSession
.builder
.master("dse://<ip_address>")
.appName("DseGraphFrames")
.getOrCreate()
我得到执行'WARN 2017年8月11日16时25分58秒org.apache.spark.deploy.SparkNodeConfiguration:无法从DSE'获取动态配置和工作从未执行,它从不开始。 –
这意味着该节点不是启用分析功能,或者存在其他一些网络或身份验证问题 – RussS
启用了分析功能,并且我的身份验证应该正常,因为我可以运行Gremlin OLAP查询 –