应用曙光XData大数据一体机

随着网络数据量的迅速增长，如何从互联网时代庞大的“数据宝藏”中获得价值和洞察力成为企业普遍关心的问题。为了更好地对企业产生的“大数据”进行管理，使之转化为生产力，中国某银行携手中科曙光，采用曙光XData大数据一体机系统，支撑中国农行历史数据查询和分析业务，让“大数据”成为推动中国农行业务持续不断创新的基础。

数据爆炸式增长 如何利用成当务之急

中国某银行在很早之前就部署了各种IT应用系统，给业务发展提供强大的信息化手段。而随着农行业务的快速发展和公司治理要求的不断提高，各类应用系统产生的数据量急速增加。据初步统计，目前农行各应用系统每年产生的非结构化数据已经超过1PB(1024TB)，结构化数据也以百TB计，加之已归档的历史数据，总数据量已经需要以PB为单位计算。

在数据出现爆炸式增长的背景下，如何处理、保存这些海量的数据，并抽丝剥茧发现数据所蕴藏的价值，就成为首要面对的问题。由于关系型数据库架构在面临大数据处理时先天性不足的原因，亟待新的方法和技术来解决这些问题，以满足新的需求，推动业务持续快速地发展。

中国某银行相关负责人表示：“在近些年，启用了手机银行、电子支付、云计算等诸多数据密集型业务，这让数据资源的‘储量’越来越丰富，数据也越来越成为我们最有价值的资产之一。但同时，这些数据极为巨大，数据类型异常复杂，特别是非结构化和半结构数据量远远超过结构化数据，采用传统的方式很难从中发现蕴含的商业价值。因此，迫切需要一套挖掘效果好的大数据解决方案，为金融业务发展提供数据支撑。”

应用曙光XData大数据一体机系统推进业务持续创新

2012年7月起，在信息技术管理部的推动下，软件开发中心技术引入业内广受关注的“大数据”技术，并对相关的技术及其在银行内应用可行性进行了充分的研究，明确了大数据处理技术在农业银行的应用场景。基于对大数据处理技术的研究与应用工作，以及对文件管理、历史数据查询以及数据分析类应用进行原型研究的基础上，正式完成在大数据处理和应用方面的技术初步落地。

整套解决方案以曙光XData大数据一体机系统作为支撑，XData 大数据一体机由 1个管理节点， 2个namenode，42个datanode组成，存储接近600TB容量数据，随着业务数据量的增加，系统通过简单扩展硬件的方式保证符合业务对容量和性能的要求。

曙光存储产品总监惠润海表示：“由于业务复杂，数据格式多变，非结构数据如票据影像大量存在，对这些数据进行统一存储分析管理成为一项重要的需求。曙光大数据解决方案立足于基础平台建设，通过SQL连接器和常用BI报表工具进行集成。此外，系统还可以迅速完成结构化数据急速导入，完全融入数据生命周期管理。”在解决方案部署之后，实现了以下部署效果：

Ø 高可靠性：系统全年7×24小时无间断服务。

Ø 高可用性：服务器故障情况下，系统仍能稳定工作，并保证数据完整性和可用性。

Ø 灵活扩展：通过增加存储设备，容量可以平滑的扩展，性能可以同比提高。当性能(并发访问、IO带宽)不足时，简单通过扩展硬件即可同比地扩展系统的总体性能。

Ø 高性能：提供每秒数十万的记录导入速度，百亿级规模记录随机点查询秒级返回。

Ø 低成本：在大规模部署时，该系统有总体价格优势。

Ø 易开发：系统对外呈现单一入口，并提供类JDBC和SQL访问接口，便于业务的开发及移植。

Ø 易管理：提供图形化管理界面，方便用户对系统进行管理和监控。

在应用了曙光XData大数据一体机系统之后，满足了系统对于并发用户数和性能的要求，能够支撑银行历史数据查询和分析业务，为下一步的业务拓展奠定了基础。相关负责人指出：“在曙光的帮助下，我们建立了相对完善的大数据系统，并解决了部署、业务移植开发等技术难题，跨过了应用门槛。为公司盘活数据资产、抢占新技术的制高点提供了支撑，推动了业务创新和持续不断的发展。”