淡然山水

文章
9
资源
0
加入时间
2年10月17天

一篇文章搞清spark内存管理

文章目录1.堆内存和堆外内存1.1 堆内存1.2 堆外内存2. 内存空间分配2.1 早期的静态内存管理2.2 统一内存管理机制3. 存储内存(Storage)缓存RDD怎么存储4. 执行内存(Execution)怎么管理​ 在执行Spark的应用程序时,Spark集群会启动Driver和Executor两种JVM进程,前者为主控进程,后者负责执行具体的计算任务。由于Driver的内存管理相对简...