Kafka中的日志管理与磁盘高效存储1. 日志存储:2. 日志清理:3. 磁盘存储:
5. 日志存储:5.2.3 消息压缩:常见的压缩算法是数据量越大压缩效果越好,一条消息通常不会太大,这就导致压缩效果并不是太好。而kafka实现的压缩方式是将多条消息一起压缩,这样可以保证较好的压缩效果。在一般情况下,生产者发送的压缩数据在broker中也是保持压缩状态进行存储的,消费者从服务端获取的也是压缩的消息,消费者在处理消息之前才会解压消息,这样保持了端到端的压缩。(生产者复杂压缩,将压缩后的消息发到broker上;消费者负责解压,从broker上获得压缩消息本地解压)Kafka日志中使