国产GPU加速来袭！摩尔线程开源vLLM-MUSA
摩尔线程推出了基于其全功能GPU的开源大语言模型推理框架vLLM的MUSA移植版本。
vLLM是一个广受欢迎的开源大模型推理框架，它提供了创新的内存管理、快速模型执行和分布式推理支持，显著提高了大语言模型的推理性能。
摩尔线程将vLLM移植到其GPU后端，使其完全开源，允许开发者升级和二次开发。
得益于摩尔线程MUSA架构的先进性和软件栈与CUDA的良好兼容性，用户可以通过MUSIFY自动代码转换工具轻松地将现有CUDA代码迁移到MUSA平台。
此外，CUDA相关库的调用可以快速替换为MUSA加速库，例如muDNN、MCCL和muBLAS。
摩尔线程通过MUSA软件栈对CUDA软件栈接口进行兼容，从而显著提高了应用移植效率，缩短了开发周期。
摩尔线程vLLM-MUSA开源地址：
https://github.com/MooreThreads/vLLM_musa
（举报）
发表评论取消回复