深度学习框架的发展核心是跟随着深度学习领域的发展而前进的

62 阅读 0 评论 41 点赞

我是靠谱客的博主激昂水蜜桃，最近开发中收集的这篇文章主要介绍深度学习框架的发展核心是跟随着深度学习领域的发展而前进的，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

　　深度学习框架的发展核心是跟随着深度学习领域的发展而前进的。
　　开源深度学习框架旷视天元 MegEngine 研发负责人许欣然在接受 InfoQ 采访时，分享了过去这一年他所观察到的深度学习的新进展：
　　（1）以 ViT、Swin 为代表的 Transformer 类模型开始向 NLP 以外的领域进军，在更多场景中展现威力，让“大”模型的趋势愈演愈烈。
　　相应的，深度学习框架也在训练大模型方面进展颇多（如 DeepSpeed+ZeRO），多种混合并行方案层出不穷。无论是深度学习框架还是硬件厂商，都在思考 Transformer 是否是会长期固定的计算 pattern。
　　（2）A100 这类显卡的诞生，催生了一股从动态图回到静态图的趋势。本身对动态图更友好的框架也纷纷尝试通过编译的方式提升效率，比如 PyTorch 的 LazyTensor、Jax 的 XLA。很多国产框架也在尝试通过动静结合的方式提升效率，比如旷视天元 MegEngine 推出的 Tensor Interpreter、MindSpore 的 Python 代码转静态图的方案等。
　　此外，MLIR 和 TVM 这两个深度学习编译器领域的灯塔都在快速增长，如何靠机器做好编译也正成为各个深度学习框架研发的主要方向。同时随着深度学习方法的持续发展，也诞生了更多的新兴框架，如图神经网络领域的 DGL。
　　技术自立之路
　　近两年，国产深度学习框架陆续开源且发展迅速，逐渐在开源框架市场占有一席之地。
　　在技术研发方面，国产框架不再是技术的“跟随者”的角色，研发出了很多领先的创新点，比如 MegEngine 的 DTR 技术、OneFlow 的 SBP 并行方案和 MindSpore 的 AKG 等等。此外，在功能、代码质量和文档等方面都达到了很高的水准。
　　在开源生态建设方面，各家也都持续投入，通过开源社区扶植、产学研合作等方式，助力国产开源生态的发展和人才培养。
　　业界现有的主流深度学习框架多来自国外大厂，目前，国内企业自研的深度学习框架还没有哪一款进阶成为国际主流的学习框架。
　　许欣然坦言，国产深度学习框架在生态建设上还有很长的路要走，既需要持续投入、不断完善生态建设，也需要找到差异化的技术竞争点，充分结合我国国情和国产硬件，发挥好自身的技术优势和更好的生态洞察力。