华为的大数据宣言:智慧与融合
阿明 发表于:13年07月11日 16:57 [原创] DOIT.com.cn
DOSTOR存储在线 原创报道:当前,大数据时代已经来临,用户面临着来自大数据存储等若干方面的问题和挑战,为此,如何更有利地满足用户在大数据环境下的新需求,并更好地将厂商自身的技术、产品、方案包括服务融合在一起,以更为智慧的方式提供给不同的用户。华为存储产品线Marketing部长经宁在肯定大数据给IT带来的新机会的同时,也指出华为融合架构以及相关解决方案给用户带来的新价值。
事实上,大数据已经成为一个国家战略,无论美国政府、还是英国政府还是联合国,大数据已经成为一个重要战略和重要的研究方向。中科院发布新的战略报告,把大数据作为中国七个重要的研究领域。
可见,一方面大数据已成国家战略,另一方面,大数据已经在各个行业、各个区域得到了广泛应用。在经宁看来,大数据不仅是信息挖掘,而且大数据存储就是一个非常重要的应用环境。比如在卫星测绘、石油勘测、金融、互联网等各个行业,大数据获得广泛应用。华为认为,电信行业也在不断驱动,大数据更多应用在电信业务。当前其应用范围比较窄,主要用于内部系统、运营结构化话单的分析。然而,这也在发生转变,大数据已经从电信内部应用开始向更高系统转变,从以往单一结构化数据,向多类型数据分析转变,从流量分析向内容分析转变。
现在,电信运营商正使用大数据分析,对既有业务进行深层挖掘,如中国联通提供智慧营销就是典型例子。藉此,运营商尝试把自己掌握的数据作为新的资源开放出去,以此创造新业务,创造一个开放系统。再者如中国移动、江苏移动提供的定位广告业务,借助自身掌握的海量数据,向企业客户提供各种有价值的分析数据
另外,运营商也在对自己内部的数据进行整合,通过构建大数据平台,一方面可以降低数据存储的成本,另一方面也可以提高统一决策的效率和准确度。因此,“在大数据时代,实际上为IT创造了一个新机会,从一个IT的简单成本中心开始向利润中心、运营中心转移,非常明显,大数据给IT在定位上带来很大变化。”经宁进一步分析认为,大数据在营销、定位、角色方面带来了时代巨变。一是因数据增长推进IT从集中式架构向分布式架构演进;二是以计算为中心的架构开始逐步走向以数据为中心的架构;三是从典型水平式组成的层次化架构,开始向上下整合、纵向拉动的架构转化。
华为在与众多客户直接面对面交流过程中,发现了这三个巨大变化,从中也找到了自身在变化中的定位与发展方向。
首先,在大数据时代,用户数据猛增,带来最直接的结果就是:以往传统集中式架构,已经很难满足用户对大容量、高性能计算的要求。传统架构往往在性能、容量、扩展性方面有限。道理很简单,因为在这些方面的限制,用户很有可能因现有一套系统不够使用,会再建一套新系统,在建立多套系统后,势必会造成数据孤岛,形成管理复杂性,多套系统负载、压力不均衡,数据计算需要在不同系统之间做迁移,造成管理非常复杂,无论针对成本、复杂性、时间等,都显得非常麻烦。但是,通过分布式的架构,用户可以实现容量线性扩展,这已经逐渐成为一种主流趋势。在分布式架构中,用户即以实现数据高效使用和管理的简化。
其次,从技术中心转向以数据为中心过程中,数据需要被处理和加工。不过,以往的处理和加工是什么样子?从外界存储取出来数据,被应用程序或其他系统程序所读取并计算处理,处理完毕将其放入程序里面,整个业务流明显有多个处理环节,要不断地存储、读取、计算、再存储,其系统的大量时间花费在数据的迁移上,一旦数据量增加,从数据向计算迁移的环节就肯定“费时费力”。
但在大数据环境下,华为存储以数据为中心,不再以存储为中心,使得用户清楚知道数据具体分布在哪里,就近使用需要部署计算单元的应用程序。就如“将代码推向我们的数据,通过这种方式可以大大减少大容量数据迁移的麻烦。”但,这种方式也会带来挑战,需要用户要很清楚知道数据布局、分布怎样,否则无法实现围绕数据单元做文章。
最后,传统架构方式都是层次化的,采用封闭的硬件、封闭的操作系统,底层是存储,再往上是网络,网络上面部署服务器,服务器上面是操作系统、中间件,每层都是高度隔离。但是,华为现在强调将应用程序推向数据,推向存储,在这种情况之下必然要求大家非常清楚计算和存储之间的关系。那确实不只是一个水平的、相互隔离的状态,必然需要清楚上下两层之间的关系,从而就要求把上下两层,甚至多层打通,打通后,华为将代码就近部署。
对此,华为认为这样的发展趋势会导致存储行业从相对封闭的硬件走向通用的硬件,如X86硬件,或其他硬件,并采用标准化的操作系统。为此,华为将更多Hoodop 开源的应用纵向整合,形成多个因素包括开发环境的整合。相关资料显示,华为在印度建立了一个专门研究Hoodop的百人团队,并且也给hoodp贡献不小的成绩。
与此同时,华为在研发方面大力投入,并成立2012实验室,并对前端技术投入研发。在研发硬实力的奠定下,这些年华为在存储得到了比较快的发展。2013年华为存储产品线整体理念围绕“存以致用,融以致远。”在架构方面强调融合架构作用,通过融合架构实现计算与存储融合,可以带来更高管理效率、更高存储效能,大大降低用户在管理上的开销。
为此,华为在大数据领域推出两个关键技术:“三位一体”和全分布式技术。“三位一体”就是将存储系统与存储分析、数据挖掘分析、计算系统整合为一套产品,不再是多个产品的集合,从而实现存储、分析、归档三个方面的自动化,免除了三者之间的装载与迁移麻烦,同时实现全生命周期的数据管理,用户可以选择部分活跃数据归档,根据计算需要自动实现数据的调度。
华为在大数据领域有着突出的典型案例。比如欧洲的CERN和深圳大运会解决方案。华为三位一体的大数据解决方案,轻松应对数据的增长,在三位一体架构下,提升用户系统读取性能,并做大量数据做分析服务,实现端到端的可管理性,保证高标准严要求的处理手段,满足这类对大数据应用广泛的客户对系统高效运行的需求。(阿明)