sortByKey不适用于Dstream
问题描述:
我正在使用Dstream(Spark Streaming)的Transform API对数据进行排序。 我正在使用netcat从TCP套接字读取数据。 继使用的代码行: myDStream.transform(rdd => rdd.sortByKey())sortByKey不适用于Dstream
无法找到函数sortByKey。任何人都可以请帮助这一步中的问题是什么?
答
如果您使用netcat
作为输入,您可能会使用socketTextStream
,它返回ReceiverInputDStream[String]
。在这种情况下transform
将采取功能:
(RDD[String]) => RDD[U]
只有RDD[(T, U)]
,其中T
有相应Orderign
可以sortedByKey
。其他RDD
你可以使用sortBy
:
myDSTream.transform(rdd => rdd.sortBy(x => x))
我没有得到,我刚刚开始学习火花流。你能否提出更详尽的阐述? –