您的位置: 网界网 > 软件 > 正文

互联网企业事故频发显双活容灾的必要性

2015年07月15日 20:39:08 | 作者:厂商投稿 | 来源:it168网站

摘要:5月27日、28日,支付宝和携程双双出现用户无法正常使用的问题,尽管事故原因并不相同,却也为互联网企业的运行安全敲响了警钟。之前并不怎么被人提起的容灾能力建设,也重新回到人们的视野。

标签
互联网
双活容灾
系统架构

5月27日、28日,支付宝和携程双双出现用户无法正常使用的问题,尽管事故原因并不相同,却也为互联网企业的运行安全敲响了警钟。之前并不怎么被人提起的容灾能力建设,也重新回到人们的视野。

连续两天两起事故

“说起来也真是够寸的,平时很少发生的事故这回一下就是两起,而且连续两天发生,应该是很小概率的情况。”一位互联网业内人士感慨道,他所说的小概率事件,就是上周支付宝和携程连续发生的严重事故。

5月27日下午,支付宝出现大规模瘫痪,国内很多支付宝用户在PC端和移动端均无法转账付款,这一事故持续了差不多两小时。支付宝方面对外表示,造成此次事故的原因,是由于市政施工使得杭州市萧山区某地光缆被挖断,进而导致支付宝一个主要机房受影响。

无独有偶,第二天,携程又出事了。从当天中午开始,携程官方网站及APP出现了无法正常使用的情况,更为严重的是,这一事故持续了12个小时才被修复,这也引发了外界对携程的种种猜测。最终携程方面给出的解释是,由于员工错误操作,删除了生产服务器上的执行代码。

中国领先的容灾提供商浪擎科技的技术专家表示,像支付宝和携程这么严重的事故确实很少见,连续两天发生更是罕见。该专家介绍,互联网企业发生事故,可以分为机器级和机房级两类,前者主要原因是系统架构不是很好,遇到访问量过多会带来“宕机”;后者则主要是外部攻击造成的,会造成机房的瘫痪。“机器级的故障主要是实力较弱的互联网企业会遇到,像支付宝、携程这样的大企业,这一类问题应该不会发生在他们身上了。能够给这样的企业带来威胁的,一般就是机房级的故障了。”

机房级事故之前也是偶有发生。例如,2013年7月,由于上海一条光缆被挖断,就导致微信在很多地区无法正常使用,时间长达7小时;2014年10月,也是因为上海机房出现故障,导致微信全国大面积故障2小时。

容灾建设不容忽视

“虽然这一次的两起事故看似很偶然,可也能反映出互联网企业在容灾能力上的漏洞,而漏洞的存在,又使得事故迟早会发生。”浪擎技术专家表示:双活容灾是指企业对于可能发生的系统故障的防范性准备,比较准确的解释是“建立两套或多套功能相同的应用系统,当一处系统停止工作时,整个应用系统可以切换到另一处,使得该系统功能可以继续正常工作。”

事故背后的容灾漏洞

“这次的两件事原因完全不同,支付宝的事故可以说是天灾,携程就完全是人祸了。”支付宝的事故偶然因素更大,提前预防的难度也更大,而携程的事故则完全是内部问题。不过,这两起事故都反映出两家企业在容灾工作上的不足和漏洞。

支付宝机房建设或存在不足

支付宝此次的事故,根源是机房光缆被挖断,从这个角度讲,有一定“不可抗力”的因素,但是也不能说支付宝本身就不存在任何问题。

浪擎技术专家认为,支付宝对外宣称自己的容灾方式是“异地双活”,但是从实际处理来看,用户受到影响的时间还是长达2小时,如果是真正做到了“异地双活”,就不应该有这2个小时的服务中断,由此可以推断,支付宝的容灾系统可能并没有真正做到异地双活。不过他也表示,支付宝与其他互联网企业不同,它的业务是交易类的,实时的数据交互量非常庞大,想要做到异地双活,技术难度非常大。“说实话,以阿里的实力,如果支付宝都做不到,那其他互联网企业就更不用说了。”

这位技术专家还指出,从支付宝的故障进行倒推,其在机房的建设上也可能存在着不足。按照施工规范,连接两个机房之间起码要有两条独立的链路(+本站微信networkworldweixin),而且两条链路要走不同的路线,当其中的一条被挖断时,就不会影响到两个机房间的数据传输。

携程缺乏应急预案和演练

对于携程遇到的事故,浪擎技术专家认为,其原因更多的是携程本身应对的问题,如果应对得当,事故影响是可以降低的。

从携程此次事故的细节判断,携程给出的解释似乎不大能站得住脚。“单纯的误操作很难带来这么大的影响,它说是一些执行代码被误删除了,可线上和源头同时被删除的可能性是非常低的。”携程出问题的真正原因应该是遭遇到了网络攻击,或者是在应对攻击时维护人员出现了重大失误,或者是纯粹的外界攻击对它造成了破坏,“不管怎么说,我觉得网络攻击都是造成其严重事故的主因。”

网络公司如果发现及时应对得当,是可以抵御或者降低危害的,可携程的问题说明,他们或者没有及时发现恶意攻击,或者是安全防护人员能力较差,才会造成如此后果。

浪擎技术也认为,从携程的应对来看,其明显缺乏对此类情况的处置预案,似乎没有做过相应的演练,否则按照预案与日常演练进行处理,不会用12个小时才恢复正常。“对紧急情况缺乏预案和演练的互联网企业应该不在少数。”

想要避免出现严重的安全事故,企业对容灾的重视程度和相关制度的合规非常重要。在一些大型互联网公司,主要业务部门必须有灾备方案,还必须接受对灾备预案和演练情况的审核。此外,公司本身也有对于容灾的严格规定。“比如我们内部的容灾分为三个步骤,第一是明确哪些业务需要进行容灾;第二是按照业务的实际情况每半年或者一年进行一次容灾演练;第三就是当突发情况真的发生时,按照预案和演练进行操作就可以了。”

一些企业存在误解,认为容灾会增加成本,实际上如果容灾没有做好,出现事故,所带来的损失要远大于容灾的投入。

[责任编辑:软件频道 yu_xiang@cnw.com.cn]

我也说几句

热点排行