如何将sql表转换为pyspark/python数据结构并返回到databricks笔记本中的sql
问题描述:
我正在数据库上运行sql笔记本。我想分析一张有5亿条记录的表格。我可以对数据运行简单的sql查询。但是,我需要从日期更改日期列类型。如何将sql表转换为pyspark/python数据结构并返回到databricks笔记本中的sql
不幸的是,update/alter语句似乎并没有被sparkSQL支持,所以看起来我无法修改表中的数据。
什么是一行代码,可以让我在下一个单元格中将SQL表转换为python数据结构(在pyspark中)? 然后我可以修改该文件并将其返回给SQL。
答
dataFrame = sqlContext.sql('select * from myTable')
嗨,我的问题没有任何反馈downvoted。我可以要求一些反馈吗?这样我可以改进问题并获得我需要的帮助? – Semihcan