超越谷歌、微软、Facebook,阿里AI登顶GLUE榜单

3月3日消息,在全球自然语言处理领域顶级赛事GLUE Benchmark中,阿里巴巴达摩院以平均分90.3分的成绩夺冠,刷新自然语言理解技术世界纪录,与阿里同场竞技的还有来自Google、微软、Facebook、斯坦福大学等企业和高校的团队。

比赛结果,GLUE Benchmark官网截图

自然语言理解是人工智能的核心技术之一,GLUE Benchmark(通用语言理解评估基准)比赛排名是衡量自然语言理解技术水平的重要指标。比赛设置了自然语言推断、语义相似度、问答匹配、情感分析等9项任务,最后按平均分综合排名。达摩院NLP团队取得了CoLA、MRPC、QQP、WNLI等4个任务的最佳效果,以平均分90.3分位列第一,阿里AI的表现已经显著超越人类水平(87.1分)。

在自然语言理解领域,阿里AI实力雄厚。早在2018年初,阿里AI就在机器阅读理解顶级赛事SQuAD中打破世界纪录,首次超越人类成绩;在2019年阿里AI也曾登顶GLUE榜单,并于2019年6月在常识QA领域的权威数据集CommonsenseQA中夺冠,还刷新了MS MARCO文本阅读理解挑战赛的纪录,在开放域问答任务上超越人类阅读水平。

达摩院AI团队在自然语言理解相关比赛的历史成绩

自然语言理解技术的目的是让机器理解人类语言,在人工智能研究者的努力下,人类为机器研发的”基础语言模型”正不断演进。Google于2018年底推出的BERT模型是业界广泛使用的自然语言预训练模型,达摩院NLP团队在BERT的基础上提出优化模型StructBERT,能让机器更好地掌握人类语法,加深对自然语言的理解。

使用StructBERT模型好比给机器内置一个”语法识别器”,使机器在面对语序错乱或不符合语法习惯的词句时,仍能准确理解并给出正确的表达和回应,大大提高机器对词语、句子以及语言整体的理解力。其相关成果已被国际人工智能领域顶级会议ICLR-2020收录。

据悉,这一技术已广泛使用于阿里旗下阿里小蜜、蚂蚁金服、优酷等业务。阿里达摩院的语言模型和阅读理解技术也被用于行业赋能,推进AI技术在医疗、电力、金融等行业的落地。