![]()
去年Q3,某金融科技公司的文檔處理系統(tǒng)在流量高峰時(shí)"活著",但業(yè)務(wù)團(tuán)隊(duì)已經(jīng)瘋了——審核隊(duì)列積壓了3400份文件,平均處理時(shí)長從4小時(shí)飆到11天,而監(jiān)控面板顯示所有服務(wù)綠燈。
這不是運(yùn)維事故。這是架構(gòu)設(shè)計(jì)在還債。
01 當(dāng)"系統(tǒng)沒崩"成為最危險(xiǎn)的信號(hào)
文檔管道的可靠性討論往往始于提取質(zhì)量:OCR準(zhǔn)不準(zhǔn)、字段識(shí)別率多少。但實(shí)戰(zhàn)中更隱蔽的殺手是背壓(backpressure,反向壓力)——文檔突發(fā)涌入時(shí),系統(tǒng)不會(huì)立即崩潰,而是像被慢慢注滿的水庫,在看不見的地方積蓄破壞力。
癥狀清單很典型:審查隊(duì)列不均勻膨脹、重試任務(wù)堆積、響應(yīng)延遲從毫秒滑向小時(shí)。TurboLens團(tuán)隊(duì)復(fù)盤過數(shù)十個(gè)案例,發(fā)現(xiàn)一個(gè)反直覺規(guī)律——最昂貴的故障往往發(fā)生在監(jiān)控顯示"正常"的階段。
問題被歸類為"運(yùn)維優(yōu)化"還是"架構(gòu)缺陷",決定了團(tuán)隊(duì)是打補(bǔ)丁還是動(dòng)手術(shù)。前者買止痛片,后者重建骨骼。
02 把"不確定"從病毒變成疫苗
脆弱的文檔架構(gòu)把所有文檔扔進(jìn)同一條傳送帶。清晰的架構(gòu)則在前端就完成分揀:明確可自動(dòng)處理的、需要人工復(fù)核的、格式損壞需退回的,各自進(jìn)入獨(dú)立隊(duì)列。
這種設(shè)計(jì)不消除模糊性,而是把模糊性裝進(jìn)容器。TurboLens的產(chǎn)品負(fù)責(zé)人打了個(gè)比方:「如果每個(gè)模糊文檔都像炸彈,你要做的不是拆彈速度比賽,而是在安檢口就把它分流到防爆箱。」
具體實(shí)現(xiàn)需要三層分離:
提取層只負(fù)責(zé)"讀到什么",分類層決定"這是什么",路由層處理"送去哪"。當(dāng)某類文檔堆積時(shí),你能定位是識(shí)別模型閾值問題、還是人工審核產(chǎn)能瓶頸,而不是在單體管道里玩打地鼠。
隊(duì)列設(shè)計(jì)因此成為架構(gòu)評(píng)審的一等公民,而非運(yùn)維周會(huì)的善后議題。
03 被低估的指標(biāo):隊(duì)列的"成分分析"
多數(shù)團(tuán)隊(duì)監(jiān)控隊(duì)列長度,就像醫(yī)生只看體溫不看血常規(guī)。更有價(jià)值的度量是隊(duì)列構(gòu)成:各類案例的比例分布、未解決時(shí)長的分位值、重試原因的聚類標(biāo)簽。
TurboLens在DocumentLens中實(shí)踐的一個(gè)習(xí)慣是,將「文檔模糊度」與「服務(wù)穩(wěn)定性」作為兩個(gè)獨(dú)立維度追蹤。前者是業(yè)務(wù)問題(這份發(fā)票缺角了),后者是工程問題(這個(gè)Pod內(nèi)存泄漏了)。混為一談會(huì)導(dǎo)致用擴(kuò)容解決業(yè)務(wù)規(guī)則漏洞,或用改代碼掩蓋上游數(shù)據(jù)質(zhì)量問題。
API優(yōu)先的文檔處理架構(gòu)正在朝這個(gè)方向演進(jìn):異常驅(qū)動(dòng)的工作流、隊(duì)列感知的可靠性設(shè)計(jì)、可組合的處理節(jié)點(diǎn)。這不是技術(shù)炫技,而是承認(rèn)一個(gè)現(xiàn)實(shí)——文檔管道的負(fù)載從來不是正態(tài)分布的,它服從"平時(shí)涓流、汛期海嘯"的冪律。
(披露:作者在TurboLens從事DocumentLens相關(guān)工作)
你現(xiàn)在的文檔系統(tǒng),能在監(jiān)控全綠的情況下,提前多久發(fā)現(xiàn)隊(duì)列正在"慢性中毒"?
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.