随着大模型参数量的不断增长, 显存成为瓶颈, 本文分析了显存占用的类型及大小, 同时讲述了业界提出的多种优化策略

随着大模型参数量以及训练数据量的不断增长, 显存根本不够用, 另外也为了加速计算, 出现了多种并行策略, 如TP, PP, DP, SP, EP等