Spark存储机制源码剖析
一、Shuffle结果的写入和读取通过之前的文章Spark源码解读之Shuffle原理剖析与源码分析我们知道,一个Shuffle操作被DAGScheduler划分为两个stage,第一个stage是ShuffleMapTask,第二个是ResultTask。ShuffleMapTask会产生临时计算结果,这些数据会被ResultTask作为输入而读取。那么ShuffleMapTask的计算结果...
Lua math.fmod使用时的小数问题
lua math fmod使用注意小数:
--Returns the remainder of the division of x by y
function math