深度学习框架的发展核心是跟随着深度学习领域的发展而前进的
深度学习框架的发展核心是跟随着深度学习领域的发展而前进的。 开源深度学习框架旷视天元 MegEngine 研发负责人许欣然在接受 InfoQ 采访时，分享了过去这一年他所观察到的深度学习的新进展： （1）以 ViT、Swin 为代表的 Transformer 类模型开始向 NLP 以外的领域进军，在更多场景中展现威力，让“大”模型的趋势愈演愈烈。 相应的，深度学习框架也在训练大模型方面进展颇多（如 DeepSpeed+ZeRO），多种混合并行方案层出不穷。无论是深度学习框架还是硬件厂商
