运维开发网

SparkSQL——Parquet文件操作

运维开发网 https://www.qedev.com 2020-04-27 13:33 出处:网络 作者:运维开发网整理
实例代码 package com.spark import org.apache.spark.sql.SparkSession /** * Parquet文件操作 */ object ParquetAPP { def main(args: Array[String]): Unit = { val spark=SparkSession.builder().appName(

实例代码

package com.spark

import org.apache.spark.sql.SparkSession

/**
  * Parquet文件操作
  */
object ParquetAPP {

  def main(args: Array[String]): Unit = {

    val spark=SparkSession.builder().appName("DataFrameApp").master("local[2]").getOrCreate()
    /**
      * spark.read.format("Parquet").load()标准写法
      */
    val userDF=spark.read.format("Parquet").load("path")

    userDF.printSchema()
    userDF.show()

    userDF.select("name").write.format("json").save("path")


    spark.read.load("path").show()
    spark.stop()
  }
}
0

精彩评论

暂无评论...
验证码 换一张
取 消