戴尔许良谋:大数据时代横向扩展难题

云计算的概念争议已成往事,公共云、私有云、行业云正在部署中探索最佳模式,但企业业务和信息化的发展又带来了新的问题,2012年大数据风险的呼声甚嚣尘上,又让企业无所适从。近日,IT专家网邀请了戴尔技术专家、亚太区存储技术总监许良谋,共同探讨了在云计算和大数据时代,企业IT基础架构应当如何变革,才能优化IT投资,获取技术进步的价值,以应对未来的商业挑战。

许良谋在访谈中表示,建设高性能的基础架构,包括存储在内的scale-out(横向扩展)是未来的趋势。横向扩展的普及,许良谋认为,不是要用集群的技术来做,而是要用真正类似前端主机的scale-out,并且要从数据有效处理和使用的方式出发,才不至于让横向扩展框架形同虚设。

许良谋强调,冷数据和热数据不是绝对的,是有其自身周期的,因而大数据时代的数据流动,应当是双向的,即冷热数据自动升降。

戴尔技术专家、亚太区存储技术总监许良谋

Scale-out是大势所趋

目前最普遍的Scale-up架构存储系统,企业只能利用单台安装了存储系统的控制器来扩展存储容量,受限于单台控制器的硬件规格。

相比之下,Scale-out存储系统无此限制,每台安装存储系统的控制器将如同数据中心存储网络的模块化组件,通过外部网络互相链接,可视为单一 套存储系统来集中控管。更重要的是,当未来企业要扩展存储容量时,只要采购存储控制器的数量,就能继续扩展同一套存储系统的容量。不少分析认 为,Scale-out是未来主流的存储架构。

许良谋认为,如果网络、虚拟化和云平台都能够做横向扩展,存储也应该能做横向扩展,因为必须要三层都横向扩展,才真正具有横向扩展的能力,不然还是一个传统的三角形,底层还是向上扩展,性能没办法提升。

他表示,其实戴尔横向扩展解决方案引入中国四年多以来,中国客户都很喜欢。

克服scale-out的难题

趋势不等于水到渠成,IT架构真正有效的横向扩展之路, 不可能是一帆风顺的。许良谋表示,横向扩展其实和云计算类似,首先不能用集群的方式。主机方面,最初有用集群的技术解决类似横向扩展的问题,但集群技术有 太多的内耗,节点越多内耗就越多,因此Google、百度和腾讯都没有用集群的技术做主机的横向扩展,这些经验也对存储厂商带来启发。

其次,许良谋认为,比scale-out或scale-up框架更重要的,是企业分为冷温热的数据到底想怎么去有效地处理。如果框架不能真正解决客户使用数据的方式,无论向上向横其实都是形同虚设。

许良谋分享了一些比较关键的技巧,建议用有些类似分层存储的方式,按照冷热温的数据的使用率,把它们放在最正确最适当的地方,热门的数据可以放在某一些主机的内存,或者是把这些常备用的这些数据能够自动地去判断放到固态盘上。

戴尔的特色

戴尔的横向扩展解决方案,强调数据流动的自动化和冷热数据的管理。许良谋表示,因为在企业里数据是“流动”的,一直在被不同的应用,不同的业务所牵 连和使用,而且使用方式是常变的,所以戴尔的方式就是,如果能够的话第一一定要把它做到自动化。戴尔存储平台能够自动把这个热量统计,然后把一些热度放在 一些比较快速的阵列或者盘去降温或者提速。

戴尔在做横向扩展和流动数据也关心冷和热的方面。戴尔平台能够把大量的冷数据找出来并做自动的升降,比方说从最快速度慢慢沉降到比较慢,然后以类似归档方式处理,如果冷数据又回到活跃期,它又能够自动升到比较快速的盘。

对于戴尔横向扩展解决方案和企业现有存储系统的结合,许良谋表示,可以通过存储虚拟化来管理,不会浪费企业现有的IT资源,也不必关心细节。目前,很多虚拟化技术已经内建存储虚拟化的功能。