问题: 如何将table转换为CSV,或者text文本?
描述:

pythonspark

 如何将table转换为CSV,或者text文本?
我用的是python,saprk
解决方案1:

table得到对应的DataFrame以后,可以另存为csv
val df = spark.sql("select * from table")
df.coalesce(1).write.format("csv").save("/csv_data")
coalesce(1)是把数据合并到1个文件输出,format()指定输出格式为csv,最后的save()指定保存的路径。
如果要在第一行输出csv的header,可以write.format("csv").options("header","true").save("/csv_data")
代码顺手写的,没查函数,可能有函数名不对或者参数不对的,楼主自己去看看spark的文档吧,官网文档就行了,很靠谱 

上一篇hadoop fs -put 上传不上去 文件大小显示为0
下一篇map 与 mapValues方法的一个疑惑
明星图片
相关文章
《 如何将table转换为CSV,或者text文本?》由码蚁之家搜集整理于网络,
联系邮箱:mxgf168#qq.com(#改为@)