spark shell 删除失效_Spark编程笔记(4)-RDD数据读写

116 阅读 0 评论 77 点赞

我是靠谱客的博主沉静斑马，最近开发中收集的这篇文章主要介绍spark shell 删除失效_Spark编程笔记(4)-RDD数据读写，觉得挺不错的，现在分享给大家，希望可以做个参考。

前言

上一篇文章介绍了RDD编程中非常重要的键值对RDD编程方法。本小节按照原定计划，继续整理RDD编程章节中的后续内容。

⭐️前文提到，完整的RDD编程章节会分为4部分进行介绍：

截至目前，RDD编程基础和键值对RDD已经介绍过了。本节首先介绍数据读写相关的内容，然后再通过几个综合案例，深化对RDD编程的三篇文章的理解。

⭐️本文（RDD数据读写）目录如下：

前言
文件数据读写
读写HBase数据
RDD综合实例
总结

⭐️可以从本地文件系统中读取数据。

1）从文件中读取数据创建RDD 。

>>>

因为Spark采用了惰性机制，在执行转换操作的时候，即使输入了错误的语句，假设word123.txt不存在，spark-shell也不会马上报错。

>>> textFile = sc.
... textFile("file:///usr/local/spark/mycode/wordcount/word123.txt")

2）把RDD写入到文本文件中。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。