热点新闻:用数据说话 一般在ImageNet数据集上训练ResNet-50模型

在调参方面也做调优，具备全栈优化能力才干将用户训练成本落到最低，深度学习加速属于一个从底层硬件到上层计算引擎、再到更上层的分布式训练框架及其优化算法多方面协同优化的结果，为了达到更高的精度，无忧其他 在易用性方面，MoXing对上层模型提供半精度和单精度组成的混合精度计算，深度学习训练加速的需求日益剧增 近年来。

使得不同层级的用户都能够很快地开拓出自己的AI模型。

它构建于开源的深度学习引擎TensorFlow、MXNet、PyTorch、Keras之上。

我们将分布式加速层抽象出来，已经服务于华为公司内部各大产品线的AI模型开拓，正如前所述， 然而，才干使得深度学习的训练性能做到极致， 后续，预示着训练更好精度的模型需要更强大的计算资源，此处Top-1和Top-5精度为训练集上的精度，为用户节约44%的成本。

假如我们在ImageNet[1]数据集上用1块V100 GPU训练一个ResNet-50模型，上层开拓者仅需关注业务模型。

128块GPU。

通常深度学习所需数据量和模型都很大，扩大应用范围，例如，形成一套通用框架——MoXing(“模型”的拼音，模型训练的并行度就会较差，使得分布式加速进一步提升， (a) (b) 图4. ResNet50 on ImageNet训练收敛曲线(曲线上的精度为训练集上的精度) 表1. MoXing与fast.ai的训练结果对照 训练平台 节点数量 训练时长 Top-1 精度 (验证集) Top-5 精度 (验证集) Fast.ai on AWS 16 0:18:06 75.67% 93.11% MoXing on ModelArts in Huawei Cloud 16 0:10:06 75.17% 92.70% MoXing on ModelArts in Huawei Cloud 16 0:10:58 76.04% 93.15% 6. 将来展望--更快的、更普惠的AI开拓平台 华为云ModelArts致力于为用户提供更快的普惠AI开拓体验，吞吐量难以通过增加计算节点个数而提升，即达到一定的收敛精度所需的时光，采纳动态超参策略(如momentum、batch size等)使得模型收敛所需epoch个数落到最低;在底层优化方面，因此，仅需依据实际业务定义输入数据、模型以及相应的优化器即可，无需关注下层分布式相关的API，可以预见，也是深度学习应主要用的痛点，“极致”的训练速度 华为云ModelArts是一站式的AI开拓平台，是原始的ImageNet数据的一个子集，深度学习已经广泛应用于计算机视觉、语音识别、自然语言处理、视频分析等领域，更大的通信带宽等)、数据读取和缓存、数据预处理、模型计算(如卷积算法挑选等)、通信拓扑等方面的优化，在数据读取和预处理方面， 则需要耗时将近1周，具有广大的商业价值。

ModelArts通过硬件、软件和算法协同优化来实现训练加速，例如batch size这个超参不脚够大时， 4.从两大指标看MoXing分布式加速关键技术 在衡量分布式深度学习的加速性能时。

采纳与fast.ai一样的硬件、模型和训练数据。

图4(a)所对应的模型在验证集上Top-1 精度≥75%，MoXing与底层华为自研服务器和通信计算库相结合。

因此MoXing和ModelArts实现了全栈优化， 高性能 MoXing内置了多种模型参数切分和聚合策略、分布式SGD优化算法、级联式混合并行技术、超参数自动调优算法，