感受富士通的大数据
DOIT原创 崔昊 发表于:13年06月19日 10:28 [原创] DOIT.com.cn
感受富士通的大数据
正如文章开头所说,这是一个“充斥着云计算与大数据的时代”,Big Data的热潮持续发酵,对于IT厂商来说,如何将开源的大数据处理平台,转移到企业级的应用环境,提供厂商级别的支持服务,将大数据在网站,社交媒体的批处理向实时和近实时大数据处理的企业应用拓展。
周一平就此表示,无论是大数据还是云计算,实际上后端的硬件平台变化并不大,更大的价值在于软件平台与解决方案能力上,他透露,富士通很快就会在数据库一体机、大数据系统上有新的发布,这些系统都属于业界当下流行的Appliance——集成系统——范畴,不过在目前,富士通在大数据业务上的积累同样丰富,已经树立了富士通在“Big Data方面的标杆”。
首当其冲的自然是富士通的ETERNUS存储系统,以ETERNUS DX400 S2、ETERNUS DX8700 S2为代表的富士通中高端存储系统,以ETERNUS DX80 S2/DX90 S2、ETERNUS DX60 S2为代表的中小企业及入门级存储系统、以ETERNUS CS800 S3、ETERNUS CS High End V5为代表的数据保护系统,以及ETERNUS SF存储软件等产品,组成了富士通的企业级存储产品线,其产品涵盖低中高端主存储系统、数据保护、存储管理软件、磁带以及SAN交换领域。
既有针对具体实施环境的文件存储和虚拟存储平台,也有基于数据块存储和数据备份与存档平台。完整的数据存储系统,可为大数据的商业分析提供强大支撑,完全兼容Hadoop、HANA、NoSQL等商业数据分析应用场景。
在ETERNUS DX8700 S2等富士通中高端存储产品中,除了提供2-8个单元的横向扩展能力,高达3072个磁盘的容量以及不中断容量升级、统一存储接口等功能之外,使用SAS、近线SAS和SSD驱动器选项的多层存储优化、自加密硬盘(SED)、基于硬件的远程复制,都为富士通企业存储系统的用户提供了相对前沿的企业级技术体验。
与此同时,富士通也在加强磁盘备份系统的市场进度,作为一款针对备份至磁盘而进行优化的、支持重复数据删除的数据保护设备,ETERNUS CS800 S3是一个将重复数据删除,复制技术和远程复制技术集成于一个易于使用的设备,周一平表示,这一产品面向企业级的数据,而富士通也不会放弃ETERNUS CS High End V5这样的大型数据中心级数据保护系统,他认为,在大数据时代,大量数据的汇总的数据保护,以及具有现实意义的金融、广电行业的带库大集中项目中,ETERNUS CS High End V5这样的产品仍然具有很强的需求。
在大数据业务方面,正如上述文章所说,富士通大数据并行处理解决方案Interstage Big Data Parallel Processing (BDPP)将富士通集群技术同开源的Hadoop分布式处理完美的整合,针对企业级应用中大数据实时和近实时的处理要求,富士通将其集群技术中的分布式文件系统P-DFS同Hadoop Map/Reduce服务器集群进行整合,在保留原有的POSIX标准文件存取接口,开发了Hadoop专用的HDFS 文件存取接口,使得传统的业务应用无需通过Hadoop特殊的API存取将被处理的数据。Hadoop MAP / Reduce 服务器群的每一个节点,则可以通过富士通P-DFS HDFS接口,存取驻存在共享的ETERNUS磁盘阵列上的数据。正是这种共享的存储系统架构和分布式的文件系统,避免了数据在采集,整合,处理阶段无谓的上传,下传,这在大数据环境下,其节省的时间是相当可观的。同时大数据在处理的过程中,始终驻存在企业级的存储系统上(ETERNUS),结合存储系统自带的快照和镜像功能,大数据的可靠性得以提升至企业级安全水平。