【王喆-推荐系统】评估篇-(task5)Replay和Interleaving评估学习总结
学习总结(1)推荐系统的评估体系由传统离线评估、离线 Replay、线上 Interleaving,以及线上 A/B 测试四个层级组成。这四个层级由下到上评估效率逐渐降低,但是评估的准确性逐渐升高,它们共同组成一个能够高效筛选候选模型的评估体系。(2)离线 Replay 实践和 Interleaving 方法。(3)离线 Replay 借鉴了 Netflix 时光机的经验,这个时光机的数据流体系通过融合日志流和场景信息数据,生成天级别的数据快照,并对外提供统一的 API,供模型训练和评估使用,使