运维开发网
广告位招商联系QQ:123077622
 
广告位招商联系QQ:123077622

如何在Scala中将DataFrame模式写入文件

运维开发网 https://www.qedev.com 2020-07-28 17:45 出处:网络 作者:运维开发网整理
我有一个DataFrame从一个巨大的json文件加载并从中获取模式.架构基本上大约1000列.我希望将printSchema的相同输出保存在文件而不是控制台中. 有任何想法吗? 如果您在本地环境中工作,则可以执行以下操作: val filePath = "/path/to/file/schema_file" new PrintWriter(filePath) { write(df.schema.
我有一个DataFrame从一个巨大的json文件加载并从中获取模式.架构基本上大约1000列.我希望将printSchema的相同输出保存在文件而不是控制台中.

有任何想法吗?

如果您在本地环境中工作,则可以执行以下操作:

val filePath = "/path/to/file/schema_file"
new PrintWriter(filePath) { write(df.schema.treeString); close }

如果您使用的是HDFS,则需要提供URI.

扫码领视频副本.gif

0

精彩评论

暂无评论...
验证码 换一张
取 消