在笔者看来,很多硬件厂商所谓的大数据解决方案,不过是x86服务器+Hadoop发行版的简单叠加产物。这种方法是通过软硬件集成,一定程度上简化用户的工作。但尽管如此,这样的解决方案距离实际的大数据应用还有很长一段距离,还有很多工作要做。而联想大数据解决方案与之相比要更加灵活实用。
先解决数据来源问题
大数据应用首先要面对的是数据源问题。很多时候,企业只是着眼传统的企业数据,被视之为核心数据,不肯与外界分享。实际上,这还不是真正意义上的大数据,除了传统企业数据之外,还要把机器大数据、社交媒体数据,所谓价值密度低的非结构化数据全部纳入进来,这才构成真正意义的大数据应用。
联想集团副总裁、联想研究院云计算与智能计算实验室主任黄莹博士表示,社交数据才能够真正体现企业最终用户价值,建立与用户的真正连接,从而企业的业务决策提供有价值的依据。传统的企业数据,实际上是数据仓库、BI应用的翻版,不能够体现大数据应用的价值。
为了帮助传统行业/企业获取广义大数据,在联想大数据解决方案中提供了“爬虫”这样的工具,实现了分布式爬虫调度与管理、可以实现多账户和多IP轮换,借助自然语言分析技术,可以实现数据的清洗和筛选。
以广义大数据为依托,业务部门很容易了解用户评价,并判断和细分产品评论的对象;通过舆情分析,可以对于事件和新闻进行信息分类和情感分析;也可以实现内部文档自动的归类和分析。
通过对于机器大数据的深度分析和学习,用户就可以账务分析应用的实时流量,洞察故障隐患,并给出网络优化的建议。
帮助自身 成就客户
联想大数据解决方案实际上是源于自身实践应用,是经验的积累和结晶。
据联想集团研究院大数据总监郭炜先生介绍,联想微机和智能手机事业部率先应用了大数据解决方案。其业务都是构建在大数据平台基础上。
“可以说在两年之前,在推广大数据时,还需要跟业务部门介绍大数据是干什么用的。但从去年开始,业务部门开始尝试,试水性的应用,但到今年,对大数据已经没有怀疑,已经成为了不可或缺的工具。”
大数据和实际业务结合的非常快。以往是前沿技术创新推动应用发展,如今是业务对于技术提出不断的需求,促进技术的发展和提高。以实时技术分析为例,在应用需求的拉动下,取得快速发展和进步。
黄莹博士表示,如果说大数据以前是阳春白雪,现在因为业务推动,现有的技术手段已经不够满足需求发展了,需要不断创新来追赶业务发展的节奏,这也是大数据发展比较健康的标志。
联想是一家技术底蕴深厚的公司,能够把握Hadoop底层源码,通过与服务器、微机、可穿戴设备等硬件设备迭代融合,可以为用户提供完整成熟的大数据解决方案。联想也希望将自己的企业实践和经验与更多的行业/企业用户分享。
大数据平台的方向
在联想看来,80%的大数据处理是不需要编写大数据程序实现的。用户可以自建大数据集群,也可以使用云端的大数据处理和分析能力。大数据应用就像使用自来水一样的方便。
目前联想业务部门所使用的大数据平台的节点数量已经超过了1000台的水平,所积累的数据量已经超过了PB级,为业务提供了大量数据基础,成为了业务部门不可或缺的工具。可以说,大数据分析已经成为业务不可分割的组成部分,而这不是单纯ROI可以概括和评估的。
很多人熟悉联想的硬件,实际上,联想也是OpenStack、Hadoop等开源社区的成员,充分利用社区力量,保证推陈出新,这已经成为联想企业级战略的重要内容。
“充分利用开源,提供行业/企业级应用所需要的服务保障。这是我们的优势。” 黄莹说。
小结
实实在在,扎扎实实,这是联想的文化,也是企业的宗旨。体现在大数据上,就是从实际需要出发,解决用户的实际问题。
联想不仅是大数据方案的推动者,更是大数据应用的实践者,所谓神农尝百草,这样功德,是用户的福音,也是联想企业级业务应用的基础和未来。