第378章 一級故障2

字數:4091   加入書籤

A+A-


    管理層們如蒙大赦般退開,陸澤繃緊的肩線肉眼可見地鬆弛了半分。
    陳默走到他身後,這個高級工程師再次緊張,後頸的絨毛都豎了起來。
    “集群狀態?”陳默問。
    “鎖…鎖服務主節點CPU100%,子節點拒絕握手。”陸澤聲音發顫,“仲裁日誌顯示同步延遲超閾值,觸發自鎖。”
    “還…還在查。”一滴汗砸在鍵盤上。
    陳默俯身,手指劃過屏幕調出網絡流量熱力圖。
    代表數據中心內部東西向流量的區域正燃燒著病態的深紫。“BGP協議流量激增三百倍,”他指尖敲在紫斑中心,“查這個異常節點,現在。”
    陸澤像抓住救命稻草,手指終於落向鍵盤。
    命令行的白光在他瞳孔裏跳動。
    五分鍾後,嘶啞的匯報響起:“是…是物料追溯子係統!它在瘋狂廣播路由更新!”
    一直沉默的徐雙龍猛地抬頭:“不可能!那模塊上周剛做完負載均衡切割!”
    “但路由表的確在爆炸性增長!”陸澤調出滾動的路由表日誌,屏幕被瘋狂的“UPDATE”指令淹沒。
    陳默眼神一凜:“切到備份區獨立鏈路,物理隔離故障節點。”
    徐雙龍撲向控製台執行指令。
    三分鍾後,主屏幕上代表網絡風暴的紫斑開始消退,但APS核心集群的綠色波浪線依舊是一條死寂的直線。
    “鎖服務還是沒活!”彭聰一拳砸在控製台上。
    “內存泄漏源沒掐斷。”陳默目光如掃描儀般掠過陸澤的屏幕,“dUmp出鎖服務進程堆棧,過濾‘MaterialTraCe’關鍵字。”
    陸澤依言操作。
    海量的內存地址與十六進製碼中,一行刺目的報錯被高亮捕獲:
    [FATAL] MaterialTraCe JVM OW  HaSOCk
    “哈希表死鎖?”徐雙龍失聲,“這模塊的代碼審計是我親自做的!負載測試時百萬級物料條目都…”
    他的話戛然而止。
    陳默已經調出某個開發項目數據庫切換日誌。
    一條記錄如冰錐刺入眼簾:
    20170627 23:58:11 物料主數據表完成從OraCle到GaUSSDB的在線遷移。
    死寂。
    隻有空調風口的嘶鳴在指揮廳回蕩。
    所有人都明白了。
    壓力測試清空了數據,卻沒重置物料表遷移後觸發的自增長索引閾值。
    當子係統的JVM試圖擴容HaShMap以容納新的物料ID段時,撞上了分布式鎖的同步機製,兩個核心模塊在內存的修羅場裏同歸於盡。
    “修複方案?”陳默的聲音聽不出波瀾。
    “重啟鎖服務集群,強製清除死鎖。”張銳語速急促,“但數據一致性會崩!排程引擎可能輸出衝突指令,引發產線混料!”
    “先恢複生產。”陳默斬釘截鐵,“數據修複窗口我向左董要。”
    他拿起專線電話。
    撥號音隻響半聲便被接通。
    “講。”左夢安的聲音依舊洪亮。
    “根因確認:公司內部的開發項目數據遷移觸發模塊級死鎖。需立即重啟APS鎖服務集群,代價是未來24小時排程數據存在衝突風險。”
    陳默語速平穩如彈道計算,“申請授權,並協調產線啟動人工幹預預案。”
    電話那頭沉默了五秒。
    五秒裏,指揮廳所有人屏住呼吸。
    “準。”左夢安吐出一個字,“數據爛賬我可以扛二十四小時。天亮前,我要產線動起來。”
    當重啟指令最終從陳默唇間吐出時,陸澤幾乎是撲在回車鍵上。
    指令化為光脈衝竄入地下光纜的深海,穿過城市地脈,撞進兩千公裏外鬆山湖數據中心的核心交換矩陣。
    主屏幕上,代表APS核心集群的灰色方塊開始閃爍。
    一秒,兩秒……第五秒,第一個方塊泛起微弱的綠意,接著是第二個,第三個!
    綠色波紋以燎原之勢蔓延,死寂的波浪線猛地抬頭,向上躥升!
    “主節點上線!”
    “數據同步鏈路重建中!”
    “匈牙利廠區SMT線體恢複指令流!”
    捷報在指揮廳炸開,壓抑太久的歡呼幾乎掀翻屋頂。
    徐雙龍癱坐在椅子上,指尖還在神經質地顫抖。
    彭聰抓起電話狂吼:“接供應鏈老趙!告訴他機器沒死透!”
    唯有陳默靜立如礁石。
    他注視著波浪線穩定攀升至安全閾值,目光卻穿過沸騰的人群,落在角落的陸澤身上。
    這個高級工程師正盯著自己剛剛按下重啟鍵的手指發呆,仿佛不認識這雙讓全球產線重新轟鳴的手。
    五年前那個冬夜,林有為也是這樣看著他的吧?陳默想。
    那時他修複ERP死鎖後,林總遞來一杯滾燙的普洱,什麽也沒說。
    此刻他走向陸澤,將一瓶擰開的冰水放在他顫抖的手邊。
    “代碼是人寫的,有漏洞不可避免。”陳默聲音不高,卻蓋過了所有嘈雜,“天亮前把根因分析報告放我桌上。我要知道為什麽遷移校驗流程沒覆蓋JVM堆棧閾值。”
    陸澤猛地抬頭,眼眶通紅:“陳總,我……”
    “華興的運維總監,”陳默打斷他,指了指自己胸口,“不是來聽‘我錯了’的。是來和你一起把漏洞焊死的。”
    他轉身走向指揮台,專線電話再次響起。
    窗外,蓉城的地平線已泛起蟹殼青,相信同樣經度下的鵬城也是。
    無數產線恢複運轉的確認信息在巨屏上流淌成綠色星河。
    陳默拿起話筒,向左夢安匯報進展的聲音平穩有力。
    沒有人看見他垂在身側的手已經握成拳狀。
    那裏仿佛還殘留著五年前防靜電地板的冰冷觸感,卻和此刻陸澤充滿汗水的微燙手心形成微妙的交融,像是兩個時空的顫抖在此刻重疊。
    技術的深淵從未改變,隻是當年那個被守護的年輕人,如今成了百萬行代碼長城上的守夜人。
    等陳默再看向窗外,天快終於亮了。