【FAST’20】Quiver:深度学习的知情存储缓存摘要引言2 背景3 DLT的IO特性4 Quiver设计5 缓存管理6 实现7 评估8 相关工作9 总结
文章目录摘要引言摘要我们介绍了Quiver，一种在GPU集群中用于深度学习训练(DLT)工作的知情存储缓存。Quiver在缓存层中采用了特定领域的智能，与通用存储缓存相比，它实现了更高的效率。首先，Quiver使用一个安全的基于哈希的寻址来透明地在操作同一个数据集的多个作业甚至多个用户上重用缓存的数据。其次，通过与深度学习框架(如PyTorch)共同设计，Quiver采用了可替换的缓存命中技术，从缓存的现有内容中获取更多的值，从而避免了当缓存容量远远小于工作集时的缓存抖动。第三，Quiver动态
