在计算机视觉与模式识别大会(CVPR) 上,NVIDIA率先展示了Apex技术的早期版本——这是一款帮助用户利用NVIDIA Volta GPU实现深度学习训练性能最大化的开源式PyTorch扩展。
在转换网络、情感分析和图像分类中的先进混合精度训练的启发下,NVIDIA PyTorch开发者创造出了一些新工具,并将这些方法提供给所有级别的PyTorch用户。
Apex技术中的混合精度工具包能够在提高训练速度的同时,保持单精度训练的准确性和稳定性。
具体来说,Apex技术可自动执行对FP16 矩阵或FP32矩阵的维护操作、自动处理主参数转换并且引入了自动损失缩放功能,在更改不超过4行现有代码的情况下即可使用。
安装要求具备CUDA 9、PyTorch 0.4或更高版本以及Python 3。模块和工具包仍在开发进程中,这里提供了展示案例。GitHub