我是靠谱客的博主 笨笨萝莉,这篇文章主要介绍从csv文件创建dataFrame,现在分享给大家,希望可以做个参考。

读取CSV文件创建dataFrame的写法:

val df1 = spark.read
.format("csv")
.option("header","true")
.option("inferSchema","true")
.load("src/test/resource/1.csv")

完整写法:

import org.apache.spark.{SparkConf,SparkContext}
import org.apache.spark.sql.SparkSession
object readDataFrame {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local").setAppName("readDataFrame")
val sc = new SparkContext(conf)
val spark = SparkSession.builder().appName("readDF").getOrCreate()
val df = spark.read.format("csv").option("header",true).load("src/test/resource/1.csv")
df.printSchema()
df.show()
}
}

 

最后

以上就是笨笨萝莉最近收集整理的关于从csv文件创建dataFrame的全部内容,更多相关从csv文件创建dataFrame内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(61)

评论列表共有 0 条评论

立即
投稿
返回
顶部