昨天晚上,网易旗下游戏集体体验了一回惊魂时刻。
11月3日晚8点20分左右,大量玩家纷纷反应,网易游戏出现集体无法登陆的情况,《阴阳师》《光遇》《哈利波特魔法觉醒》等多款知名产品无一幸免。一时间,“网易游戏崩了”等多个话题登上微博热搜,各种离奇猜测纷纷出现,譬如“跑路了”“黑客攻击”等等。
GameLook觉得不合理,能把3亿用户体量的大厂攻击到无法登陆,这得是多厉害的黑客?
不是黑客是机房过热,干冰空降救场
为了辟谣,网易游戏里还没上线的女性向产品《绝对演绎》,有空第一时间出面代同僚发声,表示服务器集体崩溃原因其实很简单:“机房炸了,在修了!” 《绝对演绎》官博继续解释,具体原因是“机房过烫”。
随后,其他产品也纷纷发声,《第五人格》称“服务器出现异常”、《光遇》称“机房网络故障”登,基本坐实“机房炸了”的说法。
受影响较小、率先一批修复问题的《永劫无间》事后复盘透露,3日晚8点20分左右,《永劫无间》官网版出现无法登陆情况,随后机房传来温度过高的报警,部分服务器过热宕机。
迅速采取了重启大法将空调重启仍无济于事的情况下,某名“技术大哥”突发奇想,找来干冰放在服务器上,结果居然真的解决了问题。
小时候看过《西游记》的玩家都知道,干冰即固态二氧化碳,虽然一般用来制造烟雾氤氲的舞台效果,但其气化过程中也会带走大量热量,的确可以拿来救急降温。虽然不知道为什么会把干冰带在身边,但能起到作用还是万幸。
临近当天晚上10点,网易游戏服务器网络问题基本修复,玩家也迎来了一波补偿福利,包括《阴阳师》《永劫无间》《光遇》《逆水寒》等产品,均发放了问题补偿,大量玩家当场失忆,纷纷刷起了“我的问题”。事件最终皆大欢喜,没有造成严重损害。
罪魁祸首是谁?发展太快空调没跟上
虽然成功解决了问题,但机房为何过热,网易游戏并未公布原因,可能还在排查过程中。
一般而言,机房有温度、湿度、灰尘、电量供应四项需要保障的关键指标。其中,机房室内温度一般需要控制在22度左右,不应超过26度。
据统计,机房温度每超过基准温度10度,服务器可靠性就会降低25%。持续高热的情况下,不仅服务器无法工作,还有可能造成硬件设备寿命降低、数据丢失等严重问题。机房温度过高一般在炎热的夏季频发,但如今正值深秋,显然并非天气问题。
图片来源:pexels
中国西部信息中心IDC专家曾经指出,机房温度过热一般由以下几个原因产生:
- 负载不断增加,设计之初制冷量无法满足发展需要,热点不断出现;
- 制冷设备系统自身发热量过大,形成超负荷运转,诱发故障产生;
- 高温天气给城市供电系统造成巨大压力,可能出现突发的断电情况。
天气情况造成问题的可能性不大,此次网易游戏因机房过热集体“炸服”,原因很可能出现在业务不断壮大,服务器持续加装,但制冷量却没有相应的增加上,最终热点不断增加,积累爆发问题。
换句话说,网易游戏业务发展太快了,空调没跟上。
未来机房问题或更普遍,应提前做好应对
定位了问题其实就很好解决,比如可以采取重新规划机柜布置、增加定点制冷系统等方式解决,或者干脆增加新机房。
像《永劫无间》那样,将官网版和Steam版服务器分开,以及将登陆服务器和战斗服务器分开存放,也不失为一种分摊风险的好办法。
从成本收益来看,增加定点制冷系统可能是成本最低、见效最快,比如加装空调,或者干脆放台干冰机(不推荐,空气湿度提升会增加故障风险)。重新规划机柜布置的目的,在于形成良好的气流组织、缓解局部积热、提升空调效率,不过如果不增加进风口和出风口,效果也可能有限。
土豆服务器应该没这类烦恼
中国移动通信集团设计院的专家曾指出,如果单个机柜功率已经大于5kW,如果不在天花板和地板上增开通风口,效果都比较一般。
为了对抗机房过热,有的企业甚至想到了“水冷”的办法,比如早在2014年微软就开始着手“纳提克”项目,计划将机房建在海底。2018年,微软在苏格兰奥尼克北海水域部署了实验用的机房,包含864组服务器,2020年,服务器被成功取回,据说实验很成功。
当然,水下机房或许还比较遥远,但随着中国游戏企业快速发展,大型游戏厂商不断增多,机房过热很可能会成为一个十分普遍的问题,需要提前重视起来。它的确是一项幸福烦恼,但烦恼之所以幸福而非不幸,分界点在于不被它绊倒。
,