欢呼口红

文章
4
资源
0
加入时间
2年10月21天

Spark checkpoint容错机制

Spark checkpoint容错机制1. checkpoint概念Spark 在生产环境下经常会面临transformation的RDD非常多(例如一个Job中包含1万个RDD)或者具体transformation的RDD本身计算特别复杂或者耗时(例如计算时长超过1个小时),这个时候就要考虑对计算结果数据持久化保存;Spark是擅长多步骤迭代的,同时擅长基于Job的复用,这个时候如果能够对曾