閃迪揭秘開源工具SPRandom 突破超大容量SSD測(cè)試瓶頸

【ZOL中關(guān)村在線原創(chuàng)新聞】近日，國際知名存儲(chǔ)品牌Sandisk閃迪正式推出創(chuàng)新開源工具SPRandom（SandiskPseudo-Random，閃迪偽隨機(jī)），采用偽隨機(jī)預(yù)處理方法并與I/O基準(zhǔn)測(cè)試工具fio深度整合，幫助解決了企業(yè)級(jí)SSD基準(zhǔn)測(cè)試中的預(yù)處理耗時(shí)難題，將超大容量SSD的預(yù)處理時(shí)間從數(shù)天、數(shù)周壓縮至數(shù)小時(shí)，重新定義了企業(yè)級(jí)SSD測(cè)試的行業(yè)范式，為全行業(yè)技術(shù)升級(jí)注入新動(dòng)力。

1 高容量SSD普及 傳統(tǒng)預(yù)處理流程遭遇瓶頸

存儲(chǔ)廠商向客戶交付企業(yè)級(jí)SSD之前，需要經(jīng)歷漫長的產(chǎn)品測(cè)試及認(rèn)證流程，其中一個(gè)環(huán)節(jié)便是SSD預(yù)處理（Preconditioning），通過模擬真實(shí)工作負(fù)載，讓SSD經(jīng)歷反復(fù)的數(shù)據(jù)保存、復(fù)制與刪除操作，直至能夠持續(xù)達(dá)到穩(wěn)態(tài)性能，確保后續(xù)測(cè)試數(shù)據(jù)的準(zhǔn)確性，為測(cè)試所要求的真實(shí)工作負(fù)載做好準(zhǔn)備。

行業(yè)內(nèi)通用的SSD傳統(tǒng)預(yù)處理通常采用兩階段方式：先進(jìn)行全盤順序?qū)懭敫采w所有地址，再進(jìn)行隨機(jī)寫入以重新分配SSD的預(yù)留空間（OP）（即SSD中用于數(shù)據(jù)傳輸?shù)念~外容量），最終實(shí)現(xiàn)SSD穩(wěn)態(tài)性能。這一流程在部署容量較低（16TB以下）的SSD時(shí)尚可使用，但隨著存儲(chǔ)容量需求的不斷攀升，預(yù)處理時(shí)間也隨之急劇增加。

雖然SSD容量在持續(xù)提升，但其最高寫入速度并未同步提高，這是導(dǎo)致預(yù)處理時(shí)間顯著增加的根本原因。閃迪公司企業(yè)級(jí)SSD架構(gòu)團(tuán)隊(duì)杰出工程師Steven Sprouse指出，“在研發(fā)過程中，‘運(yùn)行、報(bào)錯(cuò)、修復(fù)’循環(huán)時(shí)間是一項(xiàng)重要指標(biāo)。它決定了我們一天能運(yùn)行多少次測(cè)試，并找出及修復(fù)問題。”

在實(shí)際測(cè)試中，小容量SSD僅需數(shù)個(gè)小時(shí)即可完成單次循環(huán)，但對(duì)于當(dāng)前市場(chǎng)所需的超大容量SSD而言，常規(guī)的預(yù)處理耗時(shí)已達(dá)12小時(shí)，有時(shí)甚至需要24小時(shí)或更久，這正是SPRandom的研發(fā)初衷。

2 高效開源 重新定義SSD預(yù)處理流程

SPRandom的誕生，源于一場(chǎng)跨越十年的技術(shù)沉淀與團(tuán)隊(duì)協(xié)作。Steven Sprouse介紹，十多年前，一位數(shù)學(xué)背景深厚的閃迪工程師曾推導(dǎo)出描述SSD內(nèi)部預(yù)留空間（OP）分配機(jī)制的公式。由此，Steven Sprouse與其他幾位工程師萌生了利用該公式實(shí)現(xiàn)快速預(yù)處理的構(gòu)想，由于當(dāng)時(shí)SSD容量較小，預(yù)處理耗時(shí)仍相對(duì)較短，該方案并未被認(rèn)為有迫切實(shí)施的必要。直至超大容量SSD成為當(dāng)下行業(yè)趨勢(shì)，預(yù)處理瓶頸愈發(fā)突出，這一塵封的構(gòu)想終于落地為實(shí)用工具。

作為一款一體化偽隨機(jī)算法工具，SPRandom的核心突破是“用精準(zhǔn)算法替代暴力寫入”。它將SSD劃分為多個(gè)重疊區(qū)域，各區(qū)域重疊部分與數(shù)學(xué)公式預(yù)估的預(yù)留空間相對(duì)應(yīng)，同時(shí)確保每個(gè)地址按偽隨機(jī)序列至少完成一次寫入，僅需單次物理寫入，即可實(shí)現(xiàn)預(yù)處理的所有目標(biāo)——覆蓋全部邏輯地址、分配預(yù)留空間、讓SSD達(dá)到穩(wěn)態(tài)性能。這種創(chuàng)新方式大幅壓縮了預(yù)處理時(shí)間，32TB SSD的預(yù)處理可縮短至約6.2小時(shí)，64TB及以上產(chǎn)品也僅需數(shù)小時(shí)即可完成，提速幅度超過90%。

除了高效快捷，SPRandom的三大核心亮點(diǎn)更彰顯了其行業(yè)價(jià)值。一，提升可擴(kuò)展性，能隨著SSD容量增長靈活適配，徹底打破“容量越大、耗時(shí)越長”的魔咒；二，實(shí)現(xiàn)業(yè)界突破，其兼容性廣泛，作為開源工具，它不僅適用于閃迪自身產(chǎn)品，更可適配其他廠商的SSD，打破品牌壁壘；三，增強(qiáng)客戶價(jià)值，不僅能幫助企業(yè)客戶節(jié)省大量測(cè)試時(shí)間與成本，確保從使用第一天起就能獲得真實(shí)穩(wěn)態(tài)的性能數(shù)據(jù)，更能推動(dòng)全行業(yè)SSD基準(zhǔn)測(cè)試標(biāo)準(zhǔn)的優(yōu)化升級(jí)。

Steven Sprouse深耕存儲(chǔ)行業(yè)數(shù)十年，他堅(jiān)信工程師的核心價(jià)值不在于專利與個(gè)人聲望，而是通過與同仁協(xié)作，以卓越工程技術(shù)解決全行業(yè)共同面臨的挑戰(zhàn)，分享知識(shí)比獨(dú)占知識(shí)能創(chuàng)造更長遠(yuǎn)的價(jià)值。閃迪也希望通過開源SPRandom，成為行業(yè)生態(tài)的共建者而非旁觀者。Steven Sprouse說：“我們相信，從長遠(yuǎn)來看，這將有利于閃迪及全行業(yè)的發(fā)展。這是推動(dòng)更高容量SSD早日普及的一小步?！蹦壳癝PRandom已正式集成至開源fio平臺(tái)，便于行業(yè)內(nèi)廣泛應(yīng)用與深入優(yōu)化。

3 攜手行業(yè) 共創(chuàng)全球創(chuàng)新社區(qū)

“我們面臨著一系列能夠推動(dòng)行業(yè)變革的重大機(jī)遇。鼓勵(lì)全公司各級(jí)員工都著眼于更廣闊的行業(yè)生態(tài)系統(tǒng)，思考我們?cè)谶@片廣闊領(lǐng)域中的角色定位，這不僅對(duì)我們工程師而言是難得的機(jī)遇，對(duì)閃迪公司的長遠(yuǎn)發(fā)展同樣意義重大?！盨teven Sprouse說。

自成為獨(dú)立公司以來，閃迪始終鼓勵(lì)更多的工程師像Steven Sprouse一樣思考，立足行業(yè)生態(tài)，并參與全行業(yè)協(xié)作，而SPRandom正是這一理念的生動(dòng)實(shí)踐，它的發(fā)布不僅解決了超大容量SSD基準(zhǔn)測(cè)試中的核心瓶頸，還傳遞了閃迪開放協(xié)作的行業(yè)理念，更是閃迪引領(lǐng)行業(yè)從“各自為戰(zhàn)”走向“協(xié)同共贏”的重要體現(xiàn)。

隨著AI訓(xùn)練、數(shù)據(jù)密集型運(yùn)算等場(chǎng)景的快速發(fā)展，超大容量SSD的需求將持續(xù)攀升，SPRandom的普及有望進(jìn)一步縮短行業(yè)產(chǎn)品的采用與部署周期，推動(dòng)存儲(chǔ)行業(yè)向更高容量、更高效能、更標(biāo)準(zhǔn)化的方向發(fā)展，以更多創(chuàng)新技術(shù)賦能行業(yè)生態(tài)，共建高效、開放的存儲(chǔ)產(chǎn)業(yè)新未來。