ClickHouse源码阅读(0000 1101) —— ClickHouse是如何读写数据的（readVarUInt和writeVarUInt方法解析）

62 阅读 0 评论 41 点赞

我是靠谱客的博主开心钢笔，最近开发中收集的这篇文章主要介绍ClickHouse源码阅读(0000 1101) —— ClickHouse是如何读写数据的（readVarUInt和writeVarUInt方法解析），觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

先说写数据的方法，再说读数据的方法，知道怎么写，才知道怎么读。

写数据：写一个数值型的数字：

再Client端向Server端发起连接时，会写一个客户端的版本信息，客户端是怎么写的呢？源码如下：

        writeVarUInt(ClickHouseRevision::get(), *out);         //将"54420"写到out中(最终会用x94a93表示数字54420)

即把ClickHouseRevision::get()的结果54420写到out中。

/**举例:
   "54420"这个数字, 二进制形式是1101 0100 1001 0100,
   i = 0, x = 1101 0100 1001 0100, byte = 0001 0100, x > 0x7F, byte = 1001 0100 = x94
   i = 1, x = 0000 0001 1010 1001, byte = 0010 1001, x > 0x7F, byte = 1010 1001 = xa9
   i = 2, x = 0000 0000 0000 0011, byte = 0000 0011, x <= 0x7F, byte = 0000 0011 = x03
   所以对于数字"54420", 会转化成 x94xa9x03 进行传输 (1001 0100 1010 1001 0000 0011)
*/
inline void writeVarUInt(UInt64 x, WriteBuffer & ostr)
{
    for (size_t i = 0; i < 9; ++i)
    {
        uint8_t byte = x & 0x7F;
        if (x > 0x7F)//x > 0x7F 表示x的位数多于7位, 需要标记一下(将第8位置为1), 然后再进行后面的无符号右移7位
            byte |= 0x80;

        ostr.nextIfAtEnd();//检查working_buffer是否被写满了, 如果写满了则执行next()把数据写到下一层目标(写完则pos位置回到begin处); 如果没写满, 则在pos的位置写入数据
        *ostr.position() = byte;
        ++ostr.position();

        x >>= 7;//x右移7位
        if (!x)
            return;
    }
}

服务端是怎么读的呢？源码如下：

        readVarUInt(client_revision, *in);

即把版本信息从in中读取出来，保存到client_revision中。

inline void readVarUInt(UInt64 & x, ReadBuffer & istr)
{
    if (istr.buffer().end() - istr.position() >= 9)//working_buffer中剩余的未读取的内容大于9个字节 (一般istr.position()=0吧, 即working_buffer的中待读取的内容大于9个字节)
        return readVarUIntImpl<true>(x, istr);
    return readVarUIntImpl<false>(x, istr);
}

/** 举例, 接收到 x94xa9x03 (1001 0100 1010 1001 0000 0011) 后是如何读取的呢？
    fast = true
    i = 0, x = 0, byte = 1001 0100, (byte & 0x7F) << (7 * 0) = 1001 0100, x = 1001 0100
    i = 1, x = 1001 0100, byte = 1010 1001, (byte & 0x7F) << (7 * 1) = 0101 0100 1000 0000, x = 0101 0100 1001 0100
    i = 2, x = 0101 0100 1001 0100, byte = 0000 0011, (byte & 0x7F) << (7 * 1) = 1100 0000 0000 0000, x = 1101 0100 1001 0100
    
    x = 1101 0100 1001 0100 = 54420
*/
template <bool fast>
inline void readVarUIntImpl(UInt64 & x, ReadBuffer & istr)
{
    x = 0;
    for (size_t i = 0; i < 9; ++i)
    {
        if constexpr (!fast)
            if (istr.eof())
                throwReadAfterEOF();

        UInt64 byte = *istr.position();//UInt64是8字节(64位)
        ++istr.position();
        x |= (byte & 0x7F) << (7 * i);//先计算括号里面的, 再计算<<, 最后计算|=

        if (!(byte & 0x80))//每个字节的最高位是标志位, 表示是否还需要继续循环读取数据. 否则数据读取结束, 跳出循环.
            return;
    }
}