9月9日消息，腾讯混元团队正式发布并开源Hy4 preview轻量量化版本。由于原始BF16权重文件达到1.5TB，不少开发者反映本地部署门槛偏高，团队通过自主研发的压缩方案将体积缩减至约214GB，显著降低了运行硬件要求。
此次压缩主要依赖两项自研技术：Sherry稀疏三值量化算法和MIX-STQ1_0混合精度策略。
Sherry稀疏三值量化以每4个权重为一组，将数值映射为{-1、0、1}，每组固定保留一个零值。计算后平均每个权重仅占1.25比特，加上附加信息约1.31bpw。该方案已在llama.cpp中实现STQ1_0推理内核，运行速度接近IQ1_M，并优于IQ1_S。
MIX-STQ1_0混合精度策略不再对所有网络层采用统一比特数，而是通过校准数据判断各层敏感程度：敏感层采用IQ2_XXS，不敏感层使用更激进的STQ1_0。这样在平均比特开销不增加的前提下降低量化误差，并比UD-IQ1_M方案节省超过5GB存储空间。
（举报）
发表评论取消回复