WADP：讓存儲架構變成AI時代的“流水線”

工業(yè)革命初期的英國，盡管有蒸汽機提供強大的動力，但紡織廠卻并沒有突破生產效率的瓶頸。因為工人們需要在不同車間之間來回奔波，紡紗車間將紗錠送到織布車間，織布車間再將半成品送到印染車間。每個車間都有自己的倉庫和運輸方式，整個生產過程被割裂成孤立的環(huán)節(jié)。

直到“流水線”模式的出現(xiàn)，將紡紗、織布、印染整合在一條流水線上，才真正釋放了工業(yè)革命的全部潛力。

今天，在AI數(shù)據(jù)中心當中，我們看到了相似的一幕：數(shù)據(jù)就像紡織廠的原材料，被分散存放在不同的存儲系統(tǒng)中。算力好比強大的蒸汽機，卻因為數(shù)據(jù)供給的不暢而無法全力運轉……

傳統(tǒng)存儲架構就如工業(yè)革命初期的紡織廠，每個存儲系統(tǒng)都是獨立的生產車間，協(xié)同效率低下。高效的AI訓練需要像生產線一樣連續(xù)不斷的數(shù)據(jù)流，但現(xiàn)實是數(shù)據(jù)要在SAN、NAS、對象存儲等不同系統(tǒng)間反復搬運和轉換。

有一家2016年成立的創(chuàng)業(yè)公司VAST Data，用統(tǒng)一的數(shù)據(jù)平臺打通所有數(shù)據(jù)環(huán)節(jié)，讓數(shù)據(jù)能夠像流水線上的原料一樣連續(xù)流動，并因此收獲了高達300億美元的估值。

而在中國，有相似愿景和技術能力的華瑞指數(shù)云（ExponTech），正在用新一代統(tǒng)一AI數(shù)據(jù)平臺WADP（WiDE AI Data Platform）講述著相似的創(chuàng)新故事。

01

不要讓存儲架構

成為AI時代的效率瓶頸

我們常說，工業(yè)革命最深刻的變革不是蒸汽機本身，而是生產方式的重構。

同樣，今天AI時代面臨的挑戰(zhàn)不完全在于算力不足，而在于如何讓數(shù)據(jù)像流水線上的原料一樣，持續(xù)不斷地供給計算引擎。

在傳統(tǒng)模式下，每個AI應用都像獨立的手工作坊。比如CV模型需要專門的視覺數(shù)據(jù)存儲，NLP系統(tǒng)需要特定的文本數(shù)據(jù)倉庫……這種模式導致數(shù)據(jù)被反復復制、格式轉換，就像工業(yè)革命前每個作坊都要自己準備原材料一樣低效。

華瑞指數(shù)云CTO曹羽中認為，“AI大模型的發(fā)展，勢必導致存儲核心需求的變化。”總結起來就是連續(xù)性、一致性和協(xié)同性的三點變化。

首先，大模型訓練需要持續(xù)數(shù)周甚至數(shù)月不間斷的數(shù)據(jù)供給，任何存儲中斷都會造成昂貴的算力閑置，這要求存儲系統(tǒng)必須具備工業(yè)級可靠性來確保業(yè)務連續(xù)性；

其次，多模態(tài)學習需要同時處理文本、圖像、音頻等不同格式的數(shù)據(jù)，要求存儲系統(tǒng)提供統(tǒng)一的數(shù)據(jù)視圖，就像流水線需要標準化接口一樣。

最后，AI推理需要實時訪問最新業(yè)務數(shù)據(jù)，這要求存儲系統(tǒng)能夠實現(xiàn)訓練推理數(shù)據(jù)與業(yè)務數(shù)據(jù)的無縫協(xié)同。

“在這種局面下，打補丁式的優(yōu)化已無法滿足Agent時代‘存力’的顛覆性需求，需要適配‘GPU + NVMe全閃+ RDMA網絡’新硬件環(huán)境的新技術棧。”曹羽中說。

在硅谷與一些國外大型AI客戶的面對面交流中，曹羽中得到了確定性的答案，“客戶對AI時代的存儲系統(tǒng)選擇，并不是因為性能、成本、可靠性等傳統(tǒng)因素，而是一套軟件即可解決所有存儲問題的‘頂級體驗’。”就像是工業(yè)革命當中，工廠主選擇流水線不是為了某個工序更快，而是為了整體生產效率提升。

的確，企業(yè)不需要另一個更快的存儲陣列，而是需要一套能夠統(tǒng)一管理所有數(shù)據(jù)的智能平臺。以一套系統(tǒng)替代多套系統(tǒng)，數(shù)據(jù)無需遷移，管理復雜度大幅降低。在AI時代，當數(shù)據(jù)成為核心生產資料時，任何形式的數(shù)據(jù)孤島都是不可接受的。

02

WADP的“流水線”

讓數(shù)據(jù)與算力無縫協(xié)同

正是沿著這樣的思路，新一代統(tǒng)一AI數(shù)據(jù)平臺WADP，本著“高效融合存儲與管理海量多源數(shù)據(jù)，實現(xiàn)AI算力與數(shù)據(jù)存力的無縫協(xié)同，讓企業(yè)真正步入‘數(shù)據(jù)隨用隨取’的AI應用新時代”的理念誕生了。

簡單的說，WADP基于全自研的分布式存儲引擎與分布式KV元數(shù)據(jù)引擎構建，運行于標準服務器硬件，也可以廣泛適配各類通用硬件。它首次將企業(yè)核心生產系統(tǒng)（如關鍵數(shù)據(jù)庫）與AI數(shù)據(jù)管道（訓練、推理、向量檢索等）統(tǒng)一承載于同一平臺，實現(xiàn)對傳統(tǒng)存儲陣列、文件系統(tǒng)及大數(shù)據(jù)存儲的現(xiàn)代化融合替代，為企業(yè)構建面向未來的AI數(shù)據(jù)基礎設施。

曹羽中說，這其實是一種“One Platform, All Workloads”的理念，既通過一個平臺，來實現(xiàn)AI場景全棧存儲需求。

WADP最核心的突破在于實現(xiàn)了“存算協(xié)同，以存代算”。與傳統(tǒng)存儲系統(tǒng)被動響應讀寫請求不同，WADP主動參與計算過程，通過智能數(shù)據(jù)調度，來釋放AI算力。

在訓練推理加速場景，WADP通過云原生CSI接口與訓推調度平臺深度對接，構建了高帶寬、低時延的數(shù)據(jù)供給通道，通過無損快照技術實現(xiàn)訓練數(shù)據(jù)集的版本化管理，并通過高性能共享數(shù)據(jù)卷實現(xiàn)AI模型的秒級加載，將傳統(tǒng)的數(shù)十分鐘模型分發(fā)時間壓縮至秒級，大提升推理部署效率。

特別值得一提的是Checkpoint處理能力，能夠在訓練過程中快速保存模型狀態(tài)，將原本需要數(shù)分鐘的檢查點寫入過程壓縮到秒級完成。

在KVCache場景，WADP通過WQS（WiDE Query Storage）實現(xiàn)分布式KV接口，無縫對接vLLM，Mooncake,等主流推理框架。其技術價值在于：構建了接近HBM性能但提供無限容量的全局共享KV緩存池，將GPU顯存中的鍵值映射卸載到大容量外置存儲中。這項突破解決了大模型推理的的上下文長度限制，能夠長期持久化保存推理過程中運算出來的KV值，這些KV值可以在整個推理集群全局復用，把大量的推理算力的重復計算轉化為存儲IO訪問。傳統(tǒng)方案因顯存不足必須限制上下文長度，而WQS提供的近乎無限的緩存空間使得模型處理長上下文成為可能。

RAG場景的優(yōu)化，則體現(xiàn)了WADP的統(tǒng)一架構優(yōu)勢。平臺同時承載結構化數(shù)據(jù)、非結構化數(shù)據(jù)和向量數(shù)據(jù)，實現(xiàn)了AI RAG場景需要的全部數(shù)據(jù)在一 體化的平臺底座上完成檢索。這不僅簡化了架構復雜度，更將響應速度提升數(shù)倍，讓企業(yè)知識與 AI 能力真正實現(xiàn) “無縫對話”。

03

從性能領先到技術創(chuàng)新

以存儲重構激活 AI 生產力

也許有人會有這樣的疑問：存儲架構的統(tǒng)一，是否意味著會犧牲性能？答案顯然是否定的。

在性能方面，WADP同樣展現(xiàn)出了卓越的實力，在 SPC-1 評測中，WADP用標準服務器硬件實現(xiàn)了數(shù)千萬IOPS的性能和200us的平穩(wěn)低時延，創(chuàng)造了SPC-1的新世界記錄，打破了高端存儲陣列在企業(yè)核心業(yè)務場景的壟斷地位，充分證明了其在處理企業(yè)關鍵業(yè)務數(shù)據(jù)時的高性能和穩(wěn)定性。

更令人印象深刻的是在面向AI場景的MLPerf存儲測試中的表現(xiàn)，華瑞指數(shù)云WADP軟件搭配極其精簡的硬件配置（一個僅帶DPU和硬盤的盤框）達到了與高端存儲陣列相當?shù)男阅埽源俗C明其技術架構的優(yōu)越性。

在卓越性能表現(xiàn)的背后，蘊藏著多項WADP的創(chuàng)新技術。

如自研高性能動態(tài)EC（Erasure Code）算法，N份數(shù)據(jù)與M份校驗數(shù)據(jù)存儲，保證任意M份數(shù)據(jù)失效數(shù)據(jù)不丟失。支持最小2+1，最大22+2不同比例EC，空間利用率最大可達91.6%。

分布式文件系統(tǒng)WFS，基于統(tǒng)一的高性能WiDE引擎構建，提供POSIX兼容的分布式文件系統(tǒng)，支持NFS, SMB, CSI-NFS等接口類型；文件系統(tǒng)元數(shù)據(jù)基于全自研分布式KV系統(tǒng)構建，具備萬億級文件存儲能力和高性能的元數(shù)據(jù)操作，可以完備應對海量小文件的隨機訪問。

再有前文提到的WQS，面向大模型推理的多級KVCache 與數(shù)據(jù)服務層，即插即用接入vLLM，Mooncake等主流推理框架，為長上下文與高并發(fā)推理提供L2/L3 級KVCache 能力與統(tǒng)一數(shù)據(jù)接口。

優(yōu)秀的理念和不俗的技術創(chuàng)新能力，WADP似乎萬事俱備只欠東風。

而這場東風，也許正是中國信創(chuàng)產業(yè)進入深水區(qū)所能帶來的。企業(yè)需要的是能夠支撐數(shù)智化轉型的下一代基礎設施，而不僅僅是國產化替代。基于核心代碼全棧自研的WADP憑借其統(tǒng)一存儲架構，正契合這一歷史性機遇。

正如工業(yè)革命因流水線而真正釋放了蒸汽機的潛力，AI時代同樣需要一條貫通數(shù)據(jù)的“數(shù)字流水線”。華瑞指數(shù)云的WADP平臺正是這一理念的實踐者，它拆除了存儲系統(tǒng)的“車間隔墻”，讓數(shù)據(jù)像紡織廠的紗錠一樣，在計算引擎間無縫流動。當數(shù)據(jù)不再因搬運而停滯，算力才能像轟鳴的蒸汽機一般全速運轉。這場存儲架構的革新，或許正是AI生產力爆發(fā)的關鍵一環(huán)。