如果你是在 Mac 上进行本地大模型开发的极客,那么绝对不容错过。

3 月 31 日,本地大模型运行方案最高翻倍,M5 表现惊艳

根据官方披露的数据,集成 MLX 框架后的特供: 对于配备 M5 系列芯片的最新机型,由于苹果在硬件中加入了全新的 GPU Neural Accelerator(神经加速器),其受惠程度最为显著,推理体验已接近“即时响应”。

内存管理优化:长对话不再“卡壳”

除了纯粹的速度提升,本次更新还深度优化了内存管理策略:

  • 高效调度: 新版本能更灵活地利用 Mac 的系统统一内存(Unified Memory),即便在长时间、大上下文的会话中,也能保持流畅的交互。

  • 专业建议: 官方建议用户在配备 32GB 或更高内存 的 Mac 上运行,以换取最理想的推理表现。

首发阵营:阿里 Qwen 3.5 率先支持

在预览阶段,这一基于 MLX 加速的版本(Ollama 0.19 预览版)主要针对 阿里旗下的首选机型”的宝座,也让开发者看到了软硬一体化带来的极致红利。

点赞(2)

评论列表共有 0 条评论

立即
投稿
返回
顶部