本议题重点围绕:加速训练效率可以采用哪些技术手段?以及存储技术对加载数据减少GPU等待时间、降低训练耗时等方面的作用?
收起1、使用GPU进行并行计算,利用GPU多核优势加速矩阵操作,大幅提升训练速度。
2、开启数据并行训练,利用多张GPU通过数据切分方式进行模型训练,实现几何级别的加速。
3、使用分布式训练框架如Horovod、Tensorflow 分布式等,支持多个服务器多个GPU并行训练,线性地缩短训练时间。
4、对模型结构和算法进行优化,如采用更轻量级的模型结构,使用最新优化算法等手段降低运算复杂度。
5、增量式训练、权重修剪等手段重用上一次训练结果,降低新一轮训练的 cost。
6、使用弹性布局的分布式存储系统,能够以最高sthroughput加载训练数据,减少GPU等待时间。
7、可利用缓存技术,将热点数据缓存在内存中,十分高速获取训练样本,缩短读取时间。