测试发现,高性能SSD并不能提升AI训练性能

常听人说AI对存储性能提出了新需求,那么AI对存储有怎样的需求呢?

人工智能全流程中,涉及数据的采集、数据的预处理、模型训练、模型部署等环节,跟以往操作差异最大的在于训练环节,为此,有外媒动手做了一个评测。结果显示,在训练环节,高性能存储设备对于性能的提升完全没有帮助。

测试架构是这样的,一台戴尔PowerEdge R740xd服务器,有两块至强黄金6130 CPU,256GB DRAM内存,用它来运行byteLAKE的AI测试,测试的变量是三款SSD,一个是铠侠SAS 口的PX04S,一个是三星的983ZET,还有一个是英特尔傲腾900P。

铠侠SAS口 PX04S SSD

三星PCIe卡983ZET

英特尔傲腾900P

测试中分析了机器学习在训练阶段的性能表现,测试程序用的是byteLAKE的EWA Gurad,它是一个实时监测模型,该模型包括一个输入层,22个卷积层,5个池化层,2个路由层,还有一个探测层。

测试优劣的评判标准是时间,就是做5000个Epoch所耗费的时间,每换一次SSD就进行一次测试,测试结果如下。

  • 铠侠 98小时 24分
  • 三星 98小时 44分
  • 英特尔 98小时 42分

明显可见,本地的SSD对性能几乎没有影响,换了不同性能的SSD,既有SAS口的,也有PCIe口的,既有NAND SSD也有机遇3D Xpoint的SSD,最终性能表现都差不多。

在数据的获取时,SSD会有优势,但在计算环节,对SSD的要求并不高,那是不是说明CPU的训练能力不够,导致瓶颈呢?

为了进一步测试,在服务器里加入来了一块英伟达T4显卡,然后再跑一下测试。

  • 铠侠 4h 30分钟
  • 三星 4小时 28分钟
  • Intel 4小时 27分钟

GPU的加速效果还是非常明显的,提升了22倍,计算性能提升来的话,SSD的性能差异是否明显呢?从数据来看,显然还是没什么影响。

测试结果发现,高性能的存储并没有提升AI训练阶段的性能,由于AI模型的复杂结构限制,机器学习训练的时间要远远高于数据载入的时间。虽然英伟达T4显卡加速了机器学习的速度,但并没有让SSD发挥优势,

当然,想要看具体某个零部件对于系统性能影响的话还需要许多细致的工作,比如,换一个AI框架,换别的零部件什么的。这一测试其实是有意义的,可以让我们找出有利于性能提升的部分,把钱花在刀刃上。