让机器具备自然语言的阅读理解与问答能力,是当前人工智能的核心难题之一,也是微软、CMU、斯坦福大学等机构的顶级人工智能专家、学者正在从事的尖端科研项目。而在刚刚闭幕的2018 ASC世界大学生超算竞赛(ASC18)中,上海科技大学5位平均年龄20出头的年轻大学生,在大赛指定的微软机器阅读理解赛题中,针对模型算法和训练性能提出了自己独特的创新及改进,8小时内完成大规模数据集的并行模型训练,并实现46.46的高预测精度,接近世界前沿先进水平,获得唯一的e Prize计算挑战奖。
上海科技大学获得ASC18超算竞赛e Prize计算挑战奖
e Prize计算挑战奖是ASC竞赛独有的奖项,旨在打造青年人才的戈登·贝尔奖(Gordon Bell Prize),鼓励青年人才勇于解决超算应用难题敢于挑战计算性能极限,激励青年人才利用超级计算机推动科学与工程领域实现应用突破。奖项命名来源于,e是科学中最重要的自然常数,同时也代表着人类下一个超级计算机性能的挑战目标——百亿亿次(exascale)。
ASC18的e Prize计算挑战奖赛题是由微软提供的人工智能机器阅读理解,这道赛题要求参赛队使用自己搭建的超算系统运用CNTK深度学习框架,独立开发机器阅读理解和问答的算法模型,使用最新超算技术结合MS MARCO数据集进行训练,最终实现让机器准确地回答问题。
MS MARCO是由微软开发的机器阅读理解与问答的数据库,这个数据集是基于bing和Cortana上收集的真实数据构建的,包括100,000个问题,100万个段落,以及超过20万个文件的链接。此次ASC18总决赛使用的数据集包括近10万个人工标注的问题及其答案,基准代码使用单节点单块NVIDIA Tesla P100 GPU训练耗时接近一天,基准预测精度值为30(ROUGE-L=30)。而在决赛中,每支队伍的训练时间不会超过12小时,要想在如此短的时间内得到更高的ROUGE-L值,不仅要在训练集群上优化代码性能以更快的找到最佳参数,还需要对算法模型进行创新和改进来达到更好的预测精度。
首次入围总决赛的上海科技大学展现出令评审专家为之惊叹的AI模型设计与优化能力,在数据、算法和训练方法上都实现了相当有效的改进。在数据上,队员们对组委会提供的训练数据集予以扩充,以获得更多的训练样本;在算法上,队员们使用多任务同时训练的方式对答案进行重新排序,并集成多个优秀的模型。最终,上海科技大学代表队使用浪潮AI超算服务器NF5280M5搭配Tesla V100 GPU加速器构建了先进的异构加速超算系统,在8个小时内完成10万样本级别的大规模数据集的并行模型训练,并实现46.46的高预测精度,接近当今世界上最先进的算法能达到的水平,以满分成绩获得e Prize计算挑战奖。
微软相关负责人认为,就本科生的知识结构和优化能力而言,能在不到8小时内训练出如此高精度的模型,这是非常了不起的成绩,体现出上海科技大学的队员们非凡的创造力、对AI模型的深刻理解以及与之相匹配的实际动手能力。
此外,总冠军得主清华大学和获得最高计算性能奖的台湾清华大学也在该赛题上表现出色,预测精度值均超过40。其中,清华大学在训练和数据处理上,性能相比基准代码实现了3-30倍的提升。
在人工智能机器阅读理解赛题上,从初赛的小试牛刀到决赛的惊艳成绩,背后蕴藏着数个月来大学生们研读最新论文,实现算法以及性能优化的艰辛努力。在赛后交流中,绝大多数参赛队员们表示都是第一次接触到深度学习赛题,很多队伍参考了诸如S-NET和QANet等最新学术成果。通过ASC竞赛,参赛学生得以更加深入的理解HPC与AI如何更好的进行融合,这不仅对他们未来的职业规划和发展带来深远影响,也将有助于缓解当前AI人才短缺的局面,为AI真正渗透到生产、生活以及社会各个方面奠定发展的根基。
ASC 世界大学生超级计算机竞赛(ASC Student Supercomputer Challenge)由中国发起组织,并得到亚洲及欧美相关专家和机构支持,旨在通过大赛平台推动各国及地区间超算青年人才交流和培养,提升超算应用水平和研发能力,发挥超算的科技驱动力,促进科技与产业创新。大赛迄今已连续举行7届,共吸引了全球超过5500名大学生参赛,是目前全球规模最大、参与人数最多的大学生超算赛事。ASC18由亚洲超算协会、浪潮集团和南昌大学联合举办,共有全球300余支高校代表队报名。