异地双中心轻松秒级切换

张志强,2009年加入新时代证券有限责任公司(以下简称新时代证券)IT部门成为IT负责人。在IT行业打拼了十几年,并且辗转在甲方和乙方等不同对立面的职位工作,也让他深谙IT之道:企业要想在业务上突飞猛进,IT是最基本的保障。

在张志强上任一年之后的2010年3月,让他引以为豪的项目"异地双备份中心"项目在新时代证券落地。据张志强介绍,这个项目是目前国内证券行业,唯一一家实现同步工作互相备份的数据中心。

敢于第一个吃螃蟹的新时代证券

那么,敢于在证券行业里第一个吃"异地双备份中心"这个螃蟹的公司到底是什么样呢?新时代证券公司目前有两家分公司,北京和上海各有一家,上海的分公司属于后期收购的上海远东证券公司改造而成。新时代证券公司在全国100多家证券公司,排名大约在50名,全国50多家营业部,拥有50多万客户,目前员工大约500人,其中包括约30人的IT团队。

与传统证券公司的数据中心一样,以前新时代证券公司的数据中心也是遵循"两地三中心"的模式,地处在不同地震带上的两个数据中心,一个数据中心承担主运行系统,另外一个作为备份,一旦主系统存在问题,那么在短时间内启动维持正常业务运营。这种设计架构,在传统IT理念里认为,是比较稳妥的,对 IT负责热来说也是无需承担任何的风险。

但是,张志强却不这么认为。多年IT行业经验告诉它,当长期运行的主数据中心一旦出现严重故障,需要将生产系统切换到备用数据中心的时候,总是会出现这样或那样的问题,切换的成功率比较低。即使切换成功了,IT系统也会出现很多意想不到的故障。这是为什么呢?张志强总结其中的原因称,因为备用的数据中心不常用,所以在维护上就很难与主数据中心相比,就好像你经常使用的工具箱被拿走,突然换一个你不常用的工具箱,里面肯定有一些用找不到或者用着不顺手的工具。

从张志强进新时代证券公司不久,张志强就看到了这些问题,并且开始着手准备。经过一系列的研讨、部署以及测试之后,一直到2010年3月份,这个"异地双备份中心"的项目才算是真正的落地运行。这让张志强的原本有一些忐忑的心情终于落地。张志强进一步道出心情忐忑的原因,国内企业CIO不容易当,很多企业的IT部门,都处于一个从属的地位,没有问题,谁也想不到你,出了问题都是你的问题。

同时,张志强也坦言,这次"异地双备份中心"项目创新在技术上并无太大难度,难点在于IT架构理念的创新,IT负责人是否愿意承担责任和风险。记者认为,这也许是很多比新时代证券还要庞大很多的证券公司,没有考虑"异地双备份中心"的原因之一。

的确,记者也在采访过程中,听到一些企业CIO抱怨,虽然建设了容灾备份系统,但是几乎都不敢做一次灾备演练。因为他们担心,一旦业务切不过去不能正常运行,对一些重要行业来说简直是灭顶之灾。

张志强提到前段时间,国内某证券公司出现的一次IT系统故障,长时间造成用户无法交易,给证券用户造成无法估量的损失,同时对于证券公司的生存和发展都存在巨大的威胁。

但是,如果企业将拥有的两个数据中心都盘活,让两个数据中心拥有的系统和IT资源,在业务上互相备份保持同步运行,某一个生产系统上出现故障,在几秒内将数据同步到另外一个系统上运行。

虽然这种IT架构以前业界也曾经讨论过,但是真正将双数据中心同步运行的理念落地的又有几个呢?在张志强看来,对于证券行业的公司来说,这也算是一次IT架构上的提升,思想上的提升了。

新至强E5处理器 以一当十

在IT负责人这个职位上,有两种态度可以选择,一种是勇于在IT上尝试更先进的理念,在稳定性、安全性以及易用性上不断创新,但IT负责人必须承担项目可能失败的风险。另外一种态度则相对相安无事,只需做好日常的IT维护即可,无过便是功。在这两种态度面前,张志强毫不犹豫地选择了前者。

2009年,刚入新时代证券公司不久的张志强经过长时间的调研和思考,最终决定迈出这个项目的第一步。

张志强选择了上海和北京两个地方作为两个备份中心,上海的数据中心租用了上证通的高保障级别的数据中心,其标准是高于国内机房平均水平之上;另外一个数据中心则安置在了自己办公大楼上。对于两个数据中心,为何一个租用,一个自建呢?张志强的解释是,租用是为了节省成本,毕竟购买一些设备的费用不低(百万级别),而自建数据中的目的是,需要培养自己的IT团队,可以进一步掌握它们的运行状况,第一时间做出处理,而且经常看到自己的IT系统。

对于证券公司IT投入的多少,中国证券行业协会早有文件规定,推荐投入的比例是公司利润的6%为最佳。而对于新时代证券公司来说,当然要求每一笔钱都要花在刀刃上。张志强是一个喜欢动脑子的人,他总是在琢磨如何能够花钱又少,又能将事情办到最好。例如,在"异地双备份中心"项目中,除了购买服务器等IT设备外,新时代证券也没有再多增加额外的花费,就连IT人员也没有增加一个。另外,原来新时代证券的网络上是一个运行商走两根专线,到现在两个运行商分别都走一根线,成本没有增加,反而增加了一道安全保障。

如此为公司精打细算的张志强,在当初选择服务器的时候,也经过了一番慎重地考虑。张志强希望服务器的处理器能够在解决IO瓶颈问题上能够更给力一些,最好是以一当十未来还能在虚拟化和云计算上发挥作用。当了解到全新架构的至强E5处理器刚刚发布的时候,张志强开始重点关注。张志强欣喜地发现,新至强E5处理的环形总线设计以及集成到处理器中的IO控制器,在最大程度上帮助他化解证券企业IO瓶颈问题,同时,新至强E5还能支持从虚拟化到云计算的应用。

另外,张志强颇感意外的是,在同等性能下,新至强E5处理器的能耗还能至少降低50%,这又能为公司节省了一笔开支。"性能和扩展性都非常棒,价格与其他相差无几,"张志强表示,"了解到这些情况之后,我很快就确定了自己的选择,采购了一批装配了新至强E5的服务器。"

选择好了机房、IT设备以及两套完全一样的软件系统之后,同时,张志强向公司总部申请了两套基本相当的IT运维人员的分别配备到两地的数据中心,基本上就是原来的24个IT运维人员对半分。

一开始,张志强也担心"异地双备份中心"给公司的运维增加很大的难度。但是,在后期运维过程中,并没有见到太大的压力,反而因为张志强的这种创新的IT架构理念,让新时代证券公司的IT部分运维人员更轻松了。传统的数据中心以主数据中心为主,基本上备份数据中心里做的演练和运维很少。但是,张志强的双备份中心投入使用之后,至少三个月互换一次主动权。一个例子,假如一个身处北京的新时代证券客户在互联网上发出一个交易申请,那么,要看这个时间段,是哪个数据中心是主系统在工作,如果是北京就直接转到北京的数据中心进行处理交易,如果是上海就转发至上海数据中心进行处理。

在证券用户提交申请的过程中,如果主数据中心出现故障,那么,IT系统将自己切换到另外一个数据中心的主系统上,对于用户来说感受到的也就是几秒钟的延迟。原本出现了问题,是否应该切换数据中心,需要一线员工一层层地向上汇报,上层领导也不能清楚其中原因,所以很长的时间内,都是在了解情况和分析是否应该切换系统而争论,因为切换有风险,可能遇到更多未知的问题。现在"异地双备份中心"的成功实施,让一线技术人员没有太多顾虑,因为两地的数据中心都是同步运行的,每时每刻,两地的数据中心的数据都进行同步,可以说两地的数据中心是一模一样的运行环境和运行的状况,包括证券行业的四大模块,如,集中交易系统、交易所的报盘机、主数据库系统等。

张志强笑称:"真是一模一样,就连数据中心的布局,机柜摆放的位置,以及机柜的数量都是一样的,就好像一个人有了两颗心脏在同时跳动一样。"

回顾"异地双备份中心"项目,张志强仍然强调一点,这是一次数据中心安全级别的提升,更是一次公司管理结构上的创新。