数据中心的小问题同样重要

数据中心是很多复杂的高度相互关联的系统,需要许多不同的子系统功能都维持正常,才能确保设施可以提供服务。不幸的是,往往一个看似微小的错误往往会导致整个系统瘫痪。最近,维基百科的宕机是因为数据中心的光纤被意外切断,Twitter之前在奥运会期间的中断,是由于数据中心主系统和备份系统同时出现故障。

从中我们可以吸取的教训是,不仅仅是飓风、地震、公共设施中断、恶意攻击会造成数据中心宕机。任何事情,包括一个相对较小的网卡故障,也可能会破坏您的数据中心。

因此,我们对待较小的程序中断也需要像大型故障一样慎重。在这两种情况下,最关键的是做好充分的准备,以减少业务损失。以下有一些建议。

把安全作为首要任务。通常数据中心宕机是由一些很烦人的,但是对人身安全无害的事件所引起。但是当出现危险情况时(比如裸露的电导体),必须确保安全第一。不要以人民币的名义让您的员工处在危险中。另一方面,当然,你也要知道什么时候是过度保护了,避免一些不必要的安全措施。关键是要找到正确的平衡点,在尽量减少人员伤害的同时降低安全措施的成本。

未雨绸缪。这也许是最重要的一步。如果等到中断发生了,才制定行动计划,那你已经处在劣势了。提前确定应该联系谁(应该谁在现场)。制定流程来确认和解决这个问题。一份服务提供商的名单是需要准备的,因为你可能需要联系他们以寻求帮助,比如冷却装置等系统出现故障。也许最重要的是,有条有理地整理所有这些信息,方便让需要它的人能及时获取。通过提前规划,你可以更迅速地让数据中心和业务再次运行。

备份您的数据。对于大多数人来说,在大部分的时间里,保险费是讨厌的费用,看起来没有任何回报。但是,当灾难袭来时,购买的保险就派上了用场。备份你的重要数据也是一样的道理。在你没有丢失数据之前,这似乎是在浪费时间。但是你必须定期在正常运作期间进行备份,否则当中断已经发生时,就来不及了。

部署数据中心基础设施管理/监控(DCIM)解决方案。迅速解决宕机事故的关键是搞清楚问题出在哪里。手电筒和万用表可能不会奏效,你需要(最好)能集中访问您系统的信息和状态,以发现故障区域。一个DCIM解决方案可以在宕机事故发生之前,帮助确定这些麻烦的区域。

跟踪您的数据中心服务的使用率。高峰使用时间对系统会造成压力,而这可能是发现潜在问题的最佳时间。你应该在这段时间内为宕机做好最佳准备。这时最有可能发生断路器翻转或者冷却装置失效。这也是客户最需要你的时候。

结论:小故障和大故障都要做同样的准备。小故障可能对业务产生比较小的影响,但是仍然必须解决掉它,以免它以滚雪球的形式造成更大的问题。小故障可能是大问题的征兆。