设备重启...引发全网重大故障

重启，是收集运维屡试不爽的三板斧之一。

但如今要注意了，这板斧也有可能变成年夜祸——把整网搞挂了。

2022年9月4日，日本第四年夜移动运营商乐天移动突发连续约2个半小时的收集重年夜事故，导致部门用户无法进行语音通话和数据通讯。

当天，乐天移动宣布通知布告称，故障缘故原由为“体系故障”，但未颁布影响规模。

9月5日，在事故产生一天后，乐天移动再次更新通知布告，表现这次事故缘故原由为“收集装备重启导致流量拥塞”，影响用户约130万户。

什么。装备重启竟导致整网流量拥塞。

通知布告一出，再次引起业界热议。

一连串问号

为什么要重启装备。

是为了修复故障照样工资误操作。

重启的到底是什么装备。

是焦点网装备，主干路由器装备，照样边沿节点装备。

也有业内子士提出质疑：

作为一张端到端全虚拟化的移动收集，一次正常的收集装备重启，不是可以将收集功效迁徙到其他通用服务器吗，为啥还导致了全网流量拥塞。

纵然呈现短暂的拥塞，对付虚拟化收集而言，不是可以经由过程横向扩大和增长服务器数目的方式来快速应对的吗。为啥故障连续了两个半小时。

关于这两点疑问，在上一篇文章中我们已经讲过，与传统移动运营商采纳软硬一体化的专用电信装备建设移动收集分歧，乐天移动收集是基于解耦的软件化功效、通用硬件和虚拟化根基举措措施构建的一张端到端全虚拟化移动收集。

而对付这张全IT化的移动收集，乐天移动多次传播鼓吹，因为可设置装备摆设冗余通用服务器、轻松创立软件副本、快速迁徙或安装新的虚拟机等，相对传统移动收集能更好避免收集重年夜故障。

三军覆没

作为一家2020年才周全商用收集的移动运营商，乐天移动当前拥有的用户数目约500万户，而这次故障影响的用户数为130万户，影响占比近3成，连续光阴约2个半小时，显然影响规模较年夜，应该属于重年夜收集事故。

对此，日本总务省表现，依据《电信营业法》，这次通讯故障为“重年夜收集事故”。

自此，自2018年以来，日本四年夜移动运营商接踵遭受收集重年夜事故，可谓三军覆没，无一幸免。

• 2018年12月6日，软银因“4G焦点网装备（MME）软件缺陷”，导致全网4G营业中止约4个半小时，造成约3000万移动用户无法使用语音和数据营业。

• 2021年10月14日，NTT DoCoMo在对存储物联网终端装备的用户/地位服务器进行割接进级时失败，回退操作后激发信令风暴导致收集年夜拥塞，并波及3/4/5G收集的焦点网网元，导致全网年夜量用户无法通话和上彀。

• 2022年7月4日，KDDI在调换主干路由器时失败，从新切换回旧的路由器后，激发年夜量终端向IMS收集突发海量信令，致使IMS焦点网拥塞，导致全网语音和数据营业故障连续跨越60个小时。

曩昔的日本通讯业，尤其在2/3G期间，一度是环球瞻仰的高地，而今进入5G期间，不仅5G成长后进于中、韩、美，并且重年夜收集事故频发，真是令人感慨。