读取CSV文件创建dataFrame的写法：
val df1 = spark.read
.format("csv")
.option("header","true")
.option("inferSchema","true")
.load("src/test/resource/1.csv")完整写法：
import org.apache.spark.{SparkConf,SparkContext}
import org.apache.spark.sql.SparkSession
object readDataFrame {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local").setAppName("readDataFrame")
val sc = new SparkContext(conf)
val spark = SparkSession.builder().appName("readDF").getOrCreate()
val df = spark.read.format("csv").option("header",true).load("src/test/resource/1.csv")
df.printSchema()
df.show()
}
}
最后
以上就是笨笨萝莉最近收集整理的关于从csv文件创建dataFrame的全部内容，更多相关从csv文件创建dataFrame内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复