汇量科技陈绪:如何基于AWS构建一站式机器学习平台

近日,亚马逊年度盛会——AWS re:Invent在线召开,AWS re:Invent创始于2012年,已成为全球云计算领域风向标,今年是AWS re:Invent有史以来首次在线举办。汇量科技资深算法架构师陈绪应邀出席大会,与AWS资深解决方案架构师、区域经理张孝峰展开深度对话,分享了汇量科技是如何基于AWS构建一站式机器学习平台MindAlpha来满足日均千亿次预测并推动业务飞速发展的。即日起至12月18日,用户均可通过AWS re:Invent 活动官方页面观看该分享内容。

汇量科技成立于2013年,主要面向开发者提供全面的、一站式的移动广告服务和数据统计分析服务,旗下包含AI驱动的程序化互动式广告平台Mintegral、移动效果营销平台Nativex以及游戏玩家数据分析平台GameAnalytics等。其中,Mintegral在AppsFlyer于今年3月31日最新发布的《广告平台综合表现报告》中获得全球广告综合实力榜第六、量级榜第十、增长榜第二的排名,移动营销获客效果获得行业与全球客户的认可,可以说在服务开发者出海这一领域汇量科技已处于行业龙头地位。

从创立之初,汇量科技便选择将业务部署在AWS全云架构之上,与AWS一起成长,并逐步通过AWS的基础设施将业务遍布全球。陈绪介绍,AWS完善而强大的云服务体系、低延迟全球跨地域数据梳理的特性以及AWS维护的开源Apache MXNet深度学习框架,是汇量科技选择AWS的主要原因。过往使用AWS产品服务的经验也表明,对于初创公司来说,AWS能够帮助企业在早期节省大量架设硬件服务器成本。

目前,汇量科技已服务超过200个国家和地区,在遍布全球的业务需求下,汇量科技不仅要做到端到端的毫秒级延迟还需要实时捕捉用户的兴趣变化,这是非常苛刻的,需要有非常强大的算法支持。陈绪表示,整个过程中汇量科技主要面临“行业特性对实时性的要求”及“数据稀疏性与复杂性”两大挑战。

因此,汇量科技将AWS的多种技术服务与自身独特的算法结合,构建了一站式机器学习平台MindAlpha,支撑了日均千亿次模型预测和百亿特征大规模的深度神经网络训练,涵盖从特征工程数据流、模型训练到线上预测的全部算法流程,使得算法开发迭代效率得到极大提升。整个平台支撑了汇量科技从广告召回、竞价、排序到反作弊等各类算法业务,非常有效地降低了成本,提高了效率。

MindAlpha等一系列技术创新不断推动汇量科技业务增长的同时,也使其获得了AWS的高度评价与认可,去年7月,汇量科技便已加入AWS APN(AWS合作伙伴网络),与AWS合作搭建云上中台,走出了“技术外溢”的关键一步。

面向未来与AWS的合作,汇量科技将从四方面展开:首先将继续深度优化 AWS 云原生的大数据分析和机器学习的在离线系统,进一步提高系统的性能和效率;其二,进一步尝试使用ARM、ASIC 等新一代芯片等硬件,通过硬件的更新提升计算能力;其三,希望和 SageMaker 集成,提供更大规模的算法服务;最后,一站式机器学习平台MindAlpha也将作为Marketplace 产品在AWS上对外发布,进一步服务AWS庞大的用户群体。

内容观看链接:https://virtual.awsevents.com/media/1_nwcbud67