阿里魔搭社区开源推理引擎 DashInfer ModelScope推出了预训练大语言模型推理引擎DashInfer，支持C和Python语言接口，可在多种CPU架构上高效推理大模型。DashInfer采用CRuntime编写，支持连续批处理和多NUMA推理 语言模型 2024年06月10日 129 点赞 110 评论 74 浏览
