Unsloth发布Dynamic v2.0量化方法，并开源DeepSeek-R1/-V3-0324 的新量化版本!

Unsloth 最近发布了 Dynamic v2.0 量化版本，该版本在 MMLU 和 KL Divergence 的成绩上均优于之前的量化版本。

在5-shot MMLU和KL散度测试中创下新纪录！这意味着你现在可以运行和微调量化后的LLM，同时保持最大程度的准确性。

需要注意的是，这些结论是基于 5-shot 的实验结果，并且每个实验运行 5 次以获取最优值，因此量化版本的稳定性仍需考虑。

此外，Unsloth 未来将继续使用 Dynamic v2.0 进行新版本的量化更新。同时，Unsloth 也修复了 llama.cpp 中与 llama-4 相关的 RoPE 实现问题，并推出了 DeepSeek-R1 和 DeepSeek-V3-0324 的新量化版本。

DeepSeek-V3-0324 在几个关键方面比其前身 DeepSeek-V3 有了显著的改进。

增强表现：

前端 Web 开发：提高了代码的可执行性以及更美观的网页和游戏前端。

中文写作能力：

• 与 R1 写作风格保持一致，更好的中长格式写作质量。

• 改进的多轮交互式重写，优化翻译质量和信件写作。

• 中文搜索功能：增强的报告分析请求，具有更详细的输出

• 函数调用改进：提高了函数调用的准确性，修复了以前 V3 版本中的问题

• Dynamic v2.0的核心创新点：

• （1）全新层选择算法：不再仅修改部分层，而是动态调整每一层的量化类型。

• （2）模型专属量化方案：为每个模型定制专属量化方案，例如Gemma 3和Llama 4的量化层差异明显。

• （3）高质量校准数据集：使用30万到150万token的高质量、手工策划的数据集，大大提升对话性能。

• 开源地址：https://huggingface.co/unsloth/DeepSeek-R1-GGUF-UD

• https://huggingface.co/unsloth/DeepSeek-V3-0324-GGUF-UD