神经网络结构搜索技术竞赛大幕启动 高手过招就等你

CVPR作为计算机视觉领域和模式识别领域的世界级学术顶会,不仅是展示前沿科技成果的学术会议,也是探索学术应用的一大平台。今年,百度联合澳大利亚悉尼科技大学和美国北卡罗来纳大学举办CVPR 2021 NAS workshop,同时于3月1日正式启动CVPR 2021 NAS国际竞赛,面向全球开发者开放报名通道。

人脸识别、语音识别、机器翻译……每一项人工智能应用的背后都离不开AI技术算法模型,而神经网络结构对最终模型的效果起着至关重要的作用。为降低传统神经网络结构对人工经验和背景知识的依赖,近年来神经网络结构搜索(NAS)技术成为学术界和工业界研究的热点。为了解决神经网络结构搜索的搜索效率和效果问题,此次竞赛以轻量级神经网络结构搜索技术为研究课题,为全球挑战者切磋交流、打造前沿AI模型结构搜索技术提供了绝佳机会。

双赛道并行 探索NAS技术革新之道

早期的神经网络结构搜索通过将每个神经网络在训练数据上都训练到收敛,然后评估其效果,会耗费大量的算力资源,阻碍了在实际业务中的应用。因此,业界开始逐渐研究使用基于可微分框架和超网络的轻量级搜索算法,但相关方法在灵活性和搜索效果上存在一定问题。

从实际技术研究中的关键问题出发,本次大赛特意设置了双赛道:超网络一致性赛道和模型性能预测赛道。参赛者可以任意选择或同时参加两个赛道。获胜的队伍会被邀请在CVPRNASworkshop上宣讲队伍的技术方案。

赛道一:超网络一致性track

由于算法的高效性,OneshotNAS逐渐成为研究人员的研究热点。通过参数共享的方式,研究人员不再需要独立训练并评估每个子网络的性能而是只需要训练一个大的超网络,然后通过继承超网络参数的方式快速评估每个子网络的性能,从而可以非常高效的进行模型结构自动搜索。然而,独立训练子网络的性能、性能排序与子网络继承超网络参数性能、性能排序之间有很大的偏差,从而导致搜索得到结构性能差无法使用。本赛道旨在解决超网络的一致性问题。基于超网络性能与独立训练子网络性能最一致的队伍将获得冠军。

赛道二:模型性能预测track

在不训练的情况下,准确的预测任意模型结构性能非常重要。基于此,不仅可以深度的分析模型结构的性能优劣,同时还能够预测出满足任意硬件延时约束下的最优的模型结构。本赛事提供了部分(小样本)模型结构与模型精度之间对应关系的bench mark,参赛选手既可以通过黑盒的方式直接进行训练,也可以使用白盒的方式进行参数估计。最终预测泛化性能最好的模型队伍将获得冠军。

技术、平台、免费算力 百度全方位助力AI竞技

此次百度联合悉尼科技大学和美国北卡罗来纳大学等高校举办CVPR 2021 NAS workshop,并在CVPR 2021举办的NAS国际竞赛是第一届轻量级神经网络自动搜索竞赛。

作为人工智能技术领域的领军者与深耕者,百度在NAS领域拥有强大的技术优势和深厚技术积累。目前,百度在NAS领域已原创性地提出了GP-NAS(CVPR)和SA-NAS(IJCV)等多个AutoDL算法,并使用研发的AutoDL技术先后七次在CVPR与ECCV等国际比赛中夺得世界第一。

百度在NAS领域还孵化了模型压缩工具PaddleSlim。这是基于飞桨PaddlePaddle打造的开源模型压缩工具库,囊括了深度学习模型压缩领域常用的量化、剪枝、蒸馏、模型结构搜索等方法,并且打造了CV和NLP领域的模型压缩方案。

通过此次竞赛,百度期望与全球开发者就NAS技术展开广泛交流与学习,积极分享技术成果与心得。

百度飞桨作为中国首个自主研发、功能完备、开源开放的产业级深度学习平台,为本次竞赛参赛者提供了平台和GPU算力等技术支持,助力AI人才破除参赛桎梏。除了“以赛促学”、通过竞赛挖掘AI人才外,百度以飞桨为创新基座构建起涵盖学习、实践、比赛、认证、就业在内的全周期服务体系,已培养AI人才超100万。未来5年,百度还将培养超过500万人工智能技术与产业人才。

此次竞赛不仅为各赛道的优胜者准备了共计10000美金的奖励,还将在workshop中邀请多位重量级嘉宾进行分享演讲。竞赛于3月1日正式开启报名通道,想进一步了解CVPR2021 NAS国际竞赛详情和报名方式,可进入workshop比赛页面(https://www.cvpr21-nas.com/competition)查看详细内容。