CVPR | 引入Apex技术:PyTorch扩展其工具包,实现Tensor Core的强大性能

在计算机视觉与模式识别大会(CVPR) 上,NVIDIA率先展示了Apex技术的早期版本——这是一款帮助用户利用NVIDIA Volta GPU实现深度学习训练性能最大化的开源式PyTorch扩展。

转换网络情感分析图像分类中的先进混合精度训练的启发下,NVIDIA PyTorch开发者创造出了一些新工具,并将这些方法提供给所有级别的PyTorch用户。

Apex技术中的混合精度工具包能够在提高训练速度的同时,保持单精度训练的准确性和稳定性。

具体来说,Apex技术可自动执行对FP16 矩阵或FP32矩阵的维护操作、自动处理主参数转换并且引入了自动损失缩放功能,在更改不超过4行现有代码的情况下即可使用。

安装要求具备CUDA 9、PyTorch 0.4或更高版本以及Python 3。模块和工具包仍在开发进程中,这里提供了展示案例。GitHub