java wal实现原理,IoTDB-WAL解析

96 阅读 0 评论 64 点赞

我是靠谱客的博主诚心樱桃，最近开发中收集的这篇文章主要介绍java wal实现原理,IoTDB-WAL解析，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

一、WAL 思想

先落盘再执行脚本，可以用来做崩溃恢复，保障数据不丢失

IoTDB 的wal 把非连续的写磁盘转换为连续追加写磁盘以提高性能，里面使用了双缓冲机制，一个buffer 用来写，另一个buffer 用来刷盘，这样不会说一个缓冲区满了就把系统阻塞住。

二、 WAL 总体记录原理

对于每一个 Memtable，都会记录一个 WAL 文件，当 Memtable 被 flush 完成时，WAL 会被删掉。

WAL 记录细节

在 org.apache.iotdb.db.writelog.manager 中，会不断在 nodeMap 中积累 WAL

WAL 刷磁盘有三种方式(同时启用)

1、在 org.apache.iotdb.db.writelog.node.ExclusiveWriteLogNode 中会根据配置中的 wal_buffer_size 二分之一分配作为 WAL 的logBufferWorking 可写缓存，另外二分之一作为刷盘缓存区，如在新增 WAL 过程中超过了logBufferWorking 大小则刷到磁盘中

2、在 org.apache.iotdb.db.writelog.node.ExclusiveWriteLogNode 中每次写入记录会判断当前 node 积累的 WAL 大小是否超过配置中的 flush_wal_threshold，如超过则刷到磁盘中

3、在 org.apache.iotdb.db.writelog.manager.MultiFileLogNodeManager 启动时会生成一个定时线程，每隔 force_wal_period_in_ms 时间间隔定时调用线程将内存中的 nodeMap 刷到磁盘中

三、wal 文件规范

1、wal 文件保存路径</