火花数据帧的转换
问题描述:
我有一个DataFrame
这里是架构。的element
数是未知的,但一些元素(例如element1
和element3
)的必须存在性和唯一性火花数据帧的转换
root
|-- context: struct (nullable = true)
|---|-- key: string (nullable = true)
| |-- data: struct (nullable = true)
| | |-- dimensions: array (nullable = true)
| | | |-- element: struct (containsNull = true)
| | | | |-- element1: string (nullable = true)
| | | | |-- element2: string (nullable = true)
| | | | |-- element3: string (nullable = true)
| | | | |-- *** : string (nullable = true)
| | | | |-- elementN: string (nullable = true)
我怎样才能把它转换为模式也是这样吗?
root
|-- context: struct (nullable = true)
|---|-- key: string (nullable = true)
|---|-- element1: string (nullable = true)
|---|-- element3: string (nullable = true)
非常感谢。
答
您可以试试explode
功能。这些是以下链接,请通过它们。
Extract columns in nested Spark DataFrame
Extract value from structure within an array of arrays in spark using scala