双十一网购狂欢节余音未了,引起众人瞩目的除了阿里巴巴风卷残云般在电商领域攻城略地,屡创交易新高,更让人津津乐道还是这场网购盛宴台前幕后的种种技术支撑与各类数据沉淀。在关于这场网购盛筵的后续研讨中,后端技术、基础平台、大数据等一时成为最热门的话题。
从电商平台到数据分享平台
阿里巴巴的电商资源和多年来积累下的数据是一笔不可估量的财富,通过云计算实现的大数据挖掘和分析,将会为用户和商家带来不言而喻的实际收益。也是出于这些原因,阿里巴巴提出数据分享平台的战略,以图开发大数据的宝藏。
早在2008年,阿里云就开始构建云计算平台,在经历过数年的磨练之后,阿里云的飞天开放平台日渐成熟,其中大数据处理与弹性计算、大规模数据存储与服务一样,成为三大云计算服务之一。
随着云计算平台的成熟,阿里巴巴不断对电商平台进行升级优化,在大数据领域试水,已经初具数据分享平台的轮廓。
大规模计算能力发挥大数据威力
大数据超越了传统的存储方式和数据库管理工具的功能范围,必须用到大规模存储与计算、搜索、分析等一系列与云计算相关的技术,才能挖掘出巨大商业价值。在2012阿里云开发者大会上,大数据分会场格外爆满,如何基于云计算平台使大数据发挥其价值,成为全场的焦点。
阿里云的技术专家们向开发者和用户们展示了云计算平台的核心服务,开放存储服务OSS、关系型数据库RDS、开放结构化数据服务OTS,为企业庞大的数据存储提供了一站式服务。
在海量存储的数据基础上,数据处理需要非常庞大的计算资源,对数据进行挖掘和分析,甚至几万台服务器都无法满足需要。为了满足需求,基于飞天开放平台的开放数据处理服务ODPS应运而生。阿里巴巴集团数据平台总监张东晖介绍,淘宝、天猫、支付宝有海量的交易数据,阿里巴巴坐在大数据的金山上,但怎么把数据淘金还需要做到三件事情:好的商业模型、优秀的数据团队以及先进的工具,ODPS的离线处理就是这样一个淘金的工具。ODPS可以提供低成本、集群的调度,数据可以安全准确地,针对不同的服务类型分离匹配。基于强大的离线数据处理能力,ODPS支撑了淘宝数据魔方、阿里金融的业务。
阿里金融高级专家年劲飞的介绍,让听众直观的感受到了大数据的威力。阿里金融是完全构建在互联网的基础上,通过数据分析,以自主服务模式为主的,面对小微企业的信贷工厂。阿里金融根据淘宝商家的历史成交记录,通过模型算法评估风险,并给予相应的授信,给优质的淘宝店提供最便捷的短贷服务,解决电商卖家的资金需求。至今为止,阿里金融累计提供了170万笔小微贷款,总额达260亿元,对淘宝平台上的电商良性运转做出了巨大的贡献。
大数据积累的财富才刚刚显示出了它的冰山一角,为客户带去大数据深埋的价值。
大规模计算能力的更多应用
在大数据时代,用户对数据有更多实时性的需求,需要通过搜索精确的完成企业与消费者的有效沟通。阿里云高级搜索专家韩定一认为,为了满足大数据时代的搜寻需求,需要强大的计算能力,满足搜索行为的大规模与时效性,并且通过计算提供精准覆盖。阿里云基于飞天开放平台,提供云搜索、云推荐、广告管家等服务,为网站提供更加精准的营销服务,能够使网站获得5%到10%的流量提升,同时通过精准营销帮助广告主节省成本的同时,帮助网站提高收益。
除了为大数据服务,飞天开放平台的大规模计算能力,还拓展衍生了更多应用。EasyHadoop开源社区基于云计算平台的强大计算能力构建 Hadoop百亿级大数据分析系统,上海天律的马克威电商数据分析服务也运行在云计算之上。而阿里云自身提供的云渲染服务,则瞄准了一个有巨大需求的成熟行业:动画渲染。云渲染的强大计算能力,能大大缩短动画公司渲染所用的时间,同时提供弹性的资源,帮助动画公司降低成本,充分体现了云计算的优势。
“阿里云是一个数据处理公司,不是以计算为中心的,而是以数据为中心的,阿里云也有志成为一家真正的云计算公司。”阿里云计算总裁王坚博士曾在一次采访中,强调阿里云以数据为中心提供全面的基础的云计算服务,帮助更多小而美的企业创新、成长、实现价值。