RocksDB---一个事实可以取代Redis和DynamoDB的NoSql数据库

87 阅读 0 评论 58 点赞

我是靠谱客的博主难过大叔，最近开发中收集的这篇文章主要介绍RocksDB---一个事实可以取代Redis和DynamoDB的NoSql数据库，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

不得不说的RocksDB

标题看起来是比较大了，因为无论Redis还是DynamoDB都堪称是各自领域的翘楚，已经非常好了。

RocksDB： https://github.com/facebook/rocksdb/

RocksDB是使用C++编写的嵌入式kv存储引擎，其键值均允许使用二进制流。由Facebook基于levelDB开发，提供向后兼容的levelDB API。

RocksDB针对Flash存储进行优化，延迟极小。RocksDB使用LSM存储引擎，纯C++编写。Java版本RocksJava正在开发中。参见RocksJavaBasic。

RocksDB依靠大量灵活的配置，使之能针对不同的生产环境进行调优，包括直接使用内存，使用Flash，使用硬盘或者HDFS。支持使用不同的压缩算法，并且有一套完整的工具供生产和调试使用。

为需要存储TB级别数据到本地FLASH或者RAM的应用服务器设计
针对存储在高速设备的中小键值进行优化——你可以存储在flash或者直接存储在内存
性能碎CPU数量线性提升，对多核系统友好

其实，国内对于RocksDB使用的厂家可能并不多，倒是可能对levelDB更加了解一些，但是事实是RocksDB已经把levelDB的功能甩开几条街，具体如下：

Performance

Multithread compaction
Multithread memtable inserts
Reduced DB mutex holding
Optimized level-based compaction style and universal compaction style
Prefix bloom filter
Memtable bloom filter
Single bloom filter covering the whole SST file
Write lock optimization
Improved Iter::Prev() performance
Fewer comparator calls during SkipList searches
Allocate memtable memory using huge page.

Features

Column Families
Transactions and WriteBatchWithIndex
Backup and Checkpoints
Merge Operators
Compaction Filters
RocksDB Java
Manual Compactions Run in Parallel with Automatic Compactions
Persistent Cache
Bulk loading
Forward Iterators/ Tailing iterator
Single delete
Delete files in range
Pin iterator key/value

Alternative Data Structures And Formats

Plain Table format for memory-only use cases
Vector-based and hash-based memtable format
Clock-based cache (coming soon)
Pluggable information log
Annotate transaction log write with blob (for replication)

Tunability

Rate limiting
Tunable Slowdown and Stop threshold
Option to keep all files open
Option to keep all index and bloom filter blocks in block cache
Multiple WAL recovery modes
Fadvise hints for readahead and to avoid caching in OS page cache
Option to pin indexes and bloom filters of L0 files in memory
More Compression Types: zlib, lz4, zstd
Compression Dictionary
Checksum Type: xxhash
Different level size multiplier and compression type for each level.

Manageability

Statistics
Thread-local profiling
More commands in command-line tools
User-defined table properties
Event listeners
More DB Properties
Dynamic option changes
Get options from a string or map
Persistent options to option files

当然以上还紧紧是截止到2006年的数据，国内不太熟悉主要可能还是因为源自国外Facebook，主要是英文文档导致的。

特性

适用于多cpu场景

商业服务器一般会有很多cpu核，要开发一个随着CPU 核数吞吐量也随之增大的数据库是很困难的，更别提是线性的递增关系。但是，RocksDB是可以高效地运行在多核服务器上。一个优点是RocksDB提供的语义比传统的DBMS更简单。例如：RocksDB支持MVCC，但是仅限于只读的transaction。另一个优点是数据库在逻辑上分片为read-only path和read-write path。这两种方法可以降低锁竞争，而降低锁竞争是支持高并发负载的前提条件。

2、高校利用storage(更高的IOPS、高效的压缩、更少的写磨损)

现在的存储设备都可以支持到每秒10w的随机读，如果有10块存储卡的话就可以支持每秒100w的随机读。RocksDB可以在这种快速存储上高效运行且不会成为性能瓶颈。
和实时更新的B-tree相比，RocksDB有更好的压缩和更小的写放大。RocksDB由于压缩更优，所以占用更少的storage；由于更小的写放大，flash 设备可以更持久。

3、弹性架构，支持扩展

RocksDB支持扩展。比如，我们可以新增一个merge operator，这样就可以使用write-only来替代read-modify-write。然而，read和Write是会增加存储的读写IOPS。在写频繁的负载下，这种措施可以降低IOPS。

4、支持IO-bound、in-memory、write-once

IO-bound workload是指数据库大小远大于内存且频繁地访问storage。in-memory workload是指数据库数据都在内存中且仍然使用storage来持久化存储DB。write-once workload是指大部分的key都只会写入一次或者insert且没有更新操作。现在RocksDB很好支持IO-bound，要想更好地支持in-memory，需要做一些工作。支持write-once的话，还有很多遗留问题待解决。

RocksDB不是一个分布式的DB，而是一个高效、高性能、单点的数据库引擎。RocksDB是一个持久化存储keys和values的c++ library。keys 和values可以是任意的字节流，且按照keys有序存储。后台的compaction会消除重复的和已删除的key。RocksDB的data以log-structured merge tree的形式存储。RocksDB支持原子的批量写入操作以及前向和后向遍历。
RocksDB采用“可插拔式”的架构，所以很容易替换其中的组件，允许用户很容易在不同的负载和硬件设备上进行调优。

1441593_10151976018697200_1580274673_n.png

比如，用户可以添加不同的压缩模块(snappy, zlib, bzip, etc)，且使用不同模块时不用修改源码。这可用于在不同负载下通过配置使用不同的压缩算法。同理，用户可以在compaction时加载个性化的compaction filter来处理keys，例如，可以实现DB的key的"expire-time"功能。RocksDB有可插拔式的API，所以应用可以设计个性化的数据结构来cache DB的写数据，典型应用就是prefix-hash，其中一部分key使用hash存储，剩下的key存储在B-tree。storage file的实现也可以定制开发，所以用户可以实现自己的storage file格式。
RocksDB支持两种compaction style（level style和universal style）。这两种style可做读放大、写放大、空间放大之间做tradeoff。compaction也支持多线程，所以打的DB可以支持高性能的compaction。
RocksDB也提供在线的增量备份接口，也支持bloom filters，这可以在range-scan时降低IOPS。
RocksDB可以充分挖掘使用flash的IOPS，在随机读、随机写和bulk load时性能优于LevelDB。在随机写和bulk load时，性能优于LevelDB 10倍，在随机读时性能优于LevelDB 30%。
LevelDB是单线程执行compaction，在特定的server workload下表现堪忧，但是RocksDB在IO-bound workload下性能明显优于LevelDB。在测试中发现，LevelDB发生频繁的write-stall，这严重影响了DB的99%延迟，另外也发现，把文件mmap到OS cache会引入读性能瓶颈。测试表明，应用不能充分使用flash的高性能，这是因为数据的带宽瓶颈引起了LevelDB的写放大。通过提高写速率和降低写放大，可以避免很多问题，同时提高RocksDB性能。
RocksDB的典型场景（低延时访问）:
1、需要存储用户的查阅历史记录和网站用户的应用
2、需要快速访问数据的垃圾检测应用
3、需要实时scan数据集的图搜索query
4、需要实时请求Hadoop的应用
5、支持大量写和删除操作的消息队列