2015年5月28日,黑色星期四,沪指一日连续下破整数关口,上证指数收盘下跌6.5%,深成指下跌6.19%,创业板下跌5.39%,创4个月来单日最大跌幅,全国股民人均赔两万!正当股民们心灰意冷,打算出去看看世界的时候,携程挂了!
从11:09分开始,到晚上22:45分恢复,此次携程网站崩溃时间共持续了近12个小时。事后携程的官网解释:经携程技术排查,确认此次事件是由于员工错误操作导致。由于携程涉及的业务、应用及服务繁多,验证应用与服务之间的功能是否正常运行,花了较长时间。
从携程的声明来看,导致此次事件的直接原因是员工误操作造成,但有一个现象非常形象地描述了目前IT运维的真实状况:
系统出现故障后
1、业务使用者最先发现应用受到影响,开始抓狂和投诉。
2、继而运营监控的各种大屏幕会出现流量的异样图、系统告警图。
3、最后轮到攻城狮们手忙脚乱进行troubleshooting,挨个设备的各种telnet/ssh抓取信息。
4、可以定位故障的,对症解决;不明所以的,尝试重新启动设备或者切换备份方案。
5、提交故障报告、问责、致歉、危机公关等等
目前的IT运维系统,可以查看链路状态,监控设备资源利用率,故障告警,但从业务的角度来说,还缺乏一种手段对这些数据进行系统性的分析,呈现出更明确更有意义的结论,以便在突发事件时,启动预案、快速定位和给出指导性建议。
携程事件再次向我们表明了新常态下,系统可靠性的重要作用,据统计,这次宕机给携程网造成的直接损失超过数百万美元,股价暴跌11%。云计算、大数据、互联网+ 的空前繁荣,让IT运维面临前所未有的挑战,如何及时全面的掌握网络、主机、数据库、存储、桌面等各类资源的运行情况?如何使我们的运维工作未雨绸缪,做到防患于未然呢?
【IT运维人员八种痛】
东华网智认为,互联网+时代,系统化的运维管理对企业有着不可估量的作用,规模化的IT系统和复杂的业务系统稳定运行是信息部门的重要职责,如果发生故障不能及时准备定位,引发业务中断,给企业带来的损失是巨大的,同时,企业IT治理、流程规范、智能巡检将有效减少违规操作、消弭隐患,降低故障发生机率。换言之,企业需要一套清晰、智能化的运维管理系统来帮助IT人员提高对整个业务系统的把控能力,而东华网智正是致力于精细化IT服务管理,帮助企业建立健全IT运维管理体系,实现IT“监.管.控”一体化,全面提升IT服务质量。
【东华IT服务综合管理解决方案技术架构】
“监”之综合监控
对IT基础架构和业务系统的实时监控,能够帮助管理人员准确定位故障,及时处理问题,并在警戒阈值达到前,将系统隐患扼杀于摇篮。东华IT综合监控范围涵盖机房动力环境、网络设备、服务器、数据库、中间件、虚拟化资源、桌面终端、通用服务等IT资源的运行状态及性能,支持SNMP、telnet、SSH、WMI、JMX、JDBC等远程非代理监测和Agent代理监测,根据管理规模不同支持分布式采集和集中管理模式,提供7X24不间断监测服务。系统将复杂的技术指标、监控状态等以图形化方式展现给客户,支持机房、办公区域、场所的3D可视化展现,大大提高用户的操作便捷性及工作效率。
“管”之性能管理
系统不宕机、应用可访问只是保障业务连续性的入门级要求,在“永远在线”的互联网+时代,最终用户的应用体验成为关键要素。东华网智强调“业务服务视角”,分段监测业务系统的每个过程环节,快速解析应用问题并将问题范围定位到具体的应用组件,帮助运维者实现对业务应用问题的监测、定位和诊断,达到先于用户发现问题,提前建立紧急预案,保障业务可用性,提高用户体验。
“控”之流程把控
携程宕机的问题最终定位为“员工误操作”,实际是流程管控和权限设置不当,“人为因素”在很多IT事故中不是小概率事件,必须要依赖必要的IT手段将流程僵化再优化,将人为因素将至最低,操作是否合规,变更是否合理,访问是否越权,数据是否备份,一切全部由流程铁律进行约束。东华网智IT运维管理系统的目的正是通过建立一套标准的运维服务流程,围绕事件管理、问题管理、变更管理、配置管理、发布管理、服务级别管理等ITIL最佳实践,帮助用户实现IT运维服务的流程化、规范化管理,最终让IT的“精确化”制约人力的“随机化”。
5.28携程的重大故障虽然是一次灾难,但也为所有的企业敲响了警钟,安全生产重于泰山,一个误操作带来的可能就是毁灭性的损失。在互联网企业各项业务都依赖IT系统的今天,做好IT系统的运维管理工作无疑是保障业务正常运行的核心所在。
专业的事一定要交给专业的系统来做,让5.28事件不再重演,让企业长青!