手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍 苹果一出手，在手机等移动设备上部署大模型不可避免地成为行业关注焦点。目前在移动设备上运行的模型相对较小，并且消耗大量内存，这在很大程度上限制了其应用场景。如果Po PowerInfer-2 2024年06月19日 129 点赞 110 评论 79 浏览
