sparkR - 铸造日期格式

Question

如何为Spark数据框以特定格式投射字符串？ 2.2或更高版本

df = data.frame(dt1 = c("22DEC16", "12JUN16"), x = c(10,20)) 
df = df %>% mutate(dt2 = as.Date(dt1, "%d%b%y")) 

> df 
    dt1  x  dt2 
1 22DEC16 10 2016-12-22 
2 12JUN16 20 2016-06-12 

Answer 1

火花：

在dplyr，我会做这个

library(magrittr) 

df <- createDataFrame(data.frame(dt=c("22DEC16", "12JUN16"))) 

df %>% withColumn("parsed", to_date(.$dt, "ddMMMyy")) %>% head() 

 dt  parsed 
1 22DEC16 2016-12-22 
2 12JUN16 2016-06-12 

星火2.2之前：

df %>% 
    withColumn(
    "parsed", 
    unix_timestamp(.$dt, "ddMMMyy") %>% cast("timestamp") %>% cast("date")) %>% 
    head() 

 dt  parsed 
1 22DEC16 2016-12-22 
2 12JUN16 2016-06-12 

有了这个解决方案，你应该注意可能的时区不一致。