概述
读取CSV文件创建dataFrame的写法：
val df1 = spark.read
.format("csv")
.option("header","true")
.option("inferSchema","true")
.load("src/test/resource/1.csv")完整写法：
import org.apache.spark.{SparkConf,SparkContext}
import org.apache.spark.sql.SparkSession
object readDataFrame {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local").setAppName("readDataFrame")
val sc = new SparkContext(conf)
val spark = SparkSession.builder().appName("readDF").getOrCreate()
val df = spark.read.format("csv").option("header",true).load("src/test/resource/1.csv")
df.printSchema()
df.show()
}
}
最后
以上就是笨笨萝莉为你收集整理的从csv文件创建dataFrame的全部内容，希望文章能够帮你解决从csv文件创建dataFrame所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复