近日,中國AI企業深度求索(DeepSeek)在人工智能領域掀起技術風暴。其研發的大語言模型在多項基準測試中表現驚艷,不僅比肩或超越歐美頂尖模型,更以低一個數量級的訓練成本實現這一突破。這場技術地震正在動搖AI發展范式——DeepSeek以超低成本實現超強性能的表現,直接挑戰了行業對“大算力=高性能”的傳統認知,甚至引發連鎖反應:以英偉達為代表的AI芯片巨頭股價應聲下跌,市場開始重新評估算力軍備競賽的商業邏輯。
值得關注的是,DeepSeek一方面將大模型代碼及訓練文檔全面開源,另一方面通過專利壁壘守護關鍵技術。從AI專利分析平臺Maxipat檢索可見,其核心技術專利并未直接歸屬運營主體,而是分散布局于北京深度求索人工智能基礎技術研究有限公司、杭州幻方系公司(幻方科技/幻方人工智能基礎研究院)及寧波積冪信息科技等關聯企業。最新披露的專利CN118246542A,“人工智能模型訓練數據集的構建方法”,正是通過獨創的數據序列索引技術,實現了訓練數據存儲與通信資源消耗量級下降,這或許正是其極致性價比的底層密碼。
從Maxipat的AI對話和解讀中可以獲知:
這項專利解決的技術問題是人工智能模型訓練中數據集處理效率低下和資源消耗較大的問題,特別是在大規模數據集訓練時,數據的混合、打亂及切分操作會導致存儲和通信資源的大量消耗。
核心技術方案是一種人工智能模型訓練數據集的構建方法,該方法包括將數據集劃分為若干大小相同的數據序列,以數據序列為單位建立索引,根據需求比例抽取樣本數據,將樣本數據以數據序列為單位混合并隨機打亂,將打亂后的樣本數據進行均勻切分得到若干個數據塊,每個數據塊包含若干個完整的數據序列,以及在每一步模型訓練的數據輸入時,通過索引批量讀取相應數據塊作為該步驟的模型訓練數據。
技術優勢在于,該方法通過將數據集切分為數據序列,并以數據序列為單位建立索引,實現了數據的按比例混合、打亂及切分操作,整個過程不會增加冗余數據存儲,從而有效減少了對存儲、通信資源的消耗,提高了數據處理的效率和模型訓練的性能。
![]()
Maxipat的AI對話和解讀
主要作用如下:
減少存儲與通信開銷:通過索引管理數據序列(而非物理修改數據),顯著降低冗余數據存儲需求,節省存儲硬件成本(如SSD、內存占用)。異步I/O和批量讀取優化了數據傳輸效率,減少網絡帶寬和存儲I/O的壓力,間接降低分布式訓練中的通信成本。
提升GPU利用率:高效的數據加載(如異步I/O)減少了GPU等待數據的空閑時間,使GPU更專注于計算任務,提高單位GPU的利用率。數據預處理(混合、打亂、切分)通過邏輯操作完成,無需額外計算資源,減少對CPU或輔助硬件的依賴,釋放資源供GPU使用。
縮短訓練周期:數據準備效率的提升(如快速采樣、動態調整比例)加速了迭代實驗過程,縮短整體訓練時間。在相同時間內,用更少的GPU即可完成原定任務,或更快釋放GPU資源供其他任務使用。
支持輕量化訓練流程:通過邏輯索引管理,無需大規模數據復制或重組,降低對高性能存儲設備的依賴,使訓練任務可在成本更低的硬件環境中運行。
![]()
除北京深度求索人工智能基礎技術研究有限公司外,杭州幻方人工智能基礎研究有限公司、寧波積冪信息科技有限公司、杭州幻方科技有限公司、上海積冪科技有限公司等關聯企業累計公開16項核心技術專利,其中多項聚焦于大模型訓練效率提升與系統穩定性優化。例如公開號CN112925640B,主題為一種集群訓練節點分配方法、電子設備,解決的技術問題是在集群訓練節點分配領域中存在的資源利用率低和訓練任務報錯率高的問題,特別是在大規模機器學習訓練任務中,如何高效地分配計算資源以減少任務的總體報錯率和故障率。CN118503194A,主題為一種多GPU集群網絡的RDMA并行數據傳輸方法,CN118075198A,主題為一種高速網絡拓撲結構路徑規劃的方法及設備,解決的技術問題是大規模集群和分布式訓練場景中網絡擁塞導致GPU算力失效的問題。
從deepseek披露的專利,我們通過Maxipat可以清晰梳理出其技術路線。
技術點1:網絡與硬件優化:
多平面RDMA通信(CN118612157A):跨節點GPU直連,減少CPU依賴。胖樹網絡拓撲拆分(CN118250215A):邏輯分塊優化路徑,降低擁塞。多GPU動態調度(CN114780203A):席位機制管理資源,避免沖突。網絡吞吐量提升,支持萬卡級集群訓練。硬件利用率提高,故障率降低大幅度降低。
技術點2:數據存儲與處理
分布式異步IO存取(CN117707416A):分片存儲+并行讀取,IO效率提升。無損壓縮技術(CN109787638B):動態壓縮策略,存儲成本減少。智能數據集構建(CN118246542A):數據序列索引抽樣,冗余數據趨零。實現PB級數據加載速度提升,支持千億參數模型訓練。
技術點3:分布式訓練框架
異構斷點續訓(CN117669701A):虛擬模型參數兼容不同并行策略。多GPU輪詢通信(CN118612158A):均衡網絡負載,帶寬利用率提高。動態任務調度(CN114138441B):優先級+用戶權益多維度分配算力。實現千億模型訓練效率提升,中斷恢復時間縮短至分鐘級。
技術點4:開發效率提升
云原生開發環境(CN115061725B):環境一鍵同步,開發到訓練無縫銜接。長鏈接容錯機制(CN116032999A):動態重連策略,通信穩定性99.99%。實現開發效率提升,支持AI+行業場景快速落地。
從底層網絡優化到上層應用落地,該公司通過高速通信、智能調度、高效數據工程、彈性訓練框架,構建了面向大語言模型的“端到端”技術體系,實現低成本、高可靠、超大規模的大語言模型的基礎設施能力。
所以冰凍三尺非一日之寒,Deepseek取得今天的成就并不是一蹴而就,而是長期的專注的研發的體現,相比對于很多大廠,Deepseek雖然是小公司,但對大語言模型的投入和技術研發的深度并不遜色。
Maxipat致力于作為成為科技創新和知識產權工作的AI加速器,主要包括輔助創新:提高研發的科技創新效率,通過problem-solution算法深層關聯到的真實技術方案,能夠跨領域進行技術方案的深層挖掘和關聯;智能報告:將專利搜索和報告制作借助AI實現智能化,包括智能查新、無效、FTO、Landscaping報告,采用GT搜索算法(graph transformer),系統真正做到理解概念后再搜索。目前開放注冊中。Maxipat: AI輔助科技創新和知識產權工作的平臺
感興趣的朋友可以通過以下三種方式填寫申請信息:
1. 請發郵件到郵箱:info@maxipat.com
2. 點擊文末閱讀全文;
3. 掃描以下二維碼
感興趣的朋友可以加筆者微信patentlight
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.