模型量化将模型的参数离散化，原本32bit的浮点数被映射到8bit的整数上，模型的大小压缩4倍左右；将计算层的输入进行离散化，原本32bit浮点数的乘加操作变为8bit的整数乘加操作，减少了模型推理的计算量，在cpu上能够有2到3倍的速度提升，在DSP上能够有10倍左右的速度提升。 对于量化效果的提升，华为海思部门给出了更改caffe框架、使用量化库进行网络finetune的方法。鉴于caffe训练框架更新维护不够，pytorch框架使用较多的情况，笔者写了基于pytorch...
人工智能
2023-08-30
54 点赞
0 评论
81 浏览
