【金猿技術展】一種基于數據文件的分布式多副本高性能高可用方案

天謀科技技術

該技術由天謀科技投遞并參與金猿組委會×數據猿×上海大數據聯盟共同推出的《2025大數據產業年度創新技術》榜單/獎項評選。

本公開提出了一種基于數據文件的分布式多副本高性能高可用方案，包括：獲取用戶的寫入請求，并通過分布式集群中的領導者共識層執行寫入請求；監聽存儲引擎中生成的數據文件；基于數據文件生成加載事項，并將加載事項異步發送給跟隨者進行加載數據文件，領導者繼續執行下一寫入請求；在跟隨者通過直接加載技術完成數據加載后，通過異步回調的方式將加載結果更新至分布式集群的共識數據中。相較于當前主流的共識協議，本公開采取異步復制機制，返回用戶寫入成功不依賴副本同步的結果，無需額外等待，本公開還利用高壓縮比的數據文件進行狀態同步，在確保系統資源利用效率的同時，有效降低了副本同步的性能瓶頸，具備性能隨副本數線性擴展的優勢。

關鍵突破性技術說明

在分布式系統中，多副本數據同步與一致性機制是保障高可用與容錯能力的關鍵環節。現有主流一致性協議（如Raft）通常依賴多數派寫確認（quorum write）與日志復制來完成副本間同步，從而保證一致性。但在高頻寫入、數據規模持續增長的場景下，這類機制往往會帶來額外網絡往返時延（RTT）與同步開銷，并且隨著副本數量增加，同步成本與資源消耗會進一步上升，從而限制系統吞吐與擴展能力。

本專利提出的“一種基于數據文件的分布式多副本高性能高可用方案”，核心思路是在保持分布式集群由領導者（Leader）協調寫入與共識數據管理的前提下，將副本同步的關鍵載體從“逐條操作日志”轉為“存儲引擎生成的數據文件”，并通過異步復制與直接加載機制降低副本同步對寫入路徑的阻塞與資源消耗。

圖1是本公開一個實施方式的一種基于數據文件的分布式多副本高性能高可用方案的示意圖

圖2是本公開一個實施方式的另一種基于數據文件的分布式多副本高性能高可用方案的示意圖

圖3是本公開一個實施方式的另一種基于數據文件的分布式多副本高性能高可用方案的示意圖

圖4是本公開一個實施方式的另一種基于數據文件的分布式多副本高性能高可用方案的示意圖

圖5為本公開一種基于數據文件的分布式多副本高性能高可用方案的架構圖

圖6是本公開一個實施方式的一種基于數據文件的分布式多副本高性能高可用裝置的示意圖

圖7是本公開一個實施方式的一種電子設備的示意圖

具體而言，本方案包括以下關鍵步驟：獲取用戶寫入請求并由分布式集群中的領導者共識層執行；當領導者完成寫入后，監聽存儲引擎生成的最新數據文件；基于該最新數據文件生成“加載事項”，并將加載事項以異步方式發送給跟隨者（Follower）進行加載，同時領導者繼續處理下一寫入請求；待跟隨者通過直接加載技術完成數據文件加載后，通過異步回調的方式將加載結果更新至分布式集群的共識數據中。

與依賴quorum write的同步確認機制相比，本方案的關鍵突破在于：領導者在異步發送加載事項后無需等待副本同步完成即可繼續處理寫入請求，從而使“寫入成功返回”不再直接依賴多數副本寫確認帶來的額外等待，減少寫入路徑中的同步阻塞因素。

第二個關鍵突破在于利用高壓縮比的數據文件進行狀態同步。專利中指出，傳統日志復制在副本追趕（catch up）時需要逐條重放日志并經歷WAL與memtable等多層寫入步驟，從而增加網絡與存算資源消耗；而本方案在副本同步過程中以數據文件作為同步對象，并結合直接加載技術，能夠在減少網絡帶寬消耗的同時，省略跟隨者側多層寫入重放步驟，從而降低追趕開銷。

第三個關鍵突破在于其可擴展性收益。本專利論述了在多副本組架構下，由于副本同步帶來的額外資源消耗相對較小且不會隨副本數量顯著提升，系統具備“性能隨副本數線性擴展”的優勢；并給出了實驗性描述：在生產環境常用的2副本情況下，本方案能夠實現逼近單節點單副本的2倍性能。

此外，本方案還考慮了共識任務重啟等工程場景：在共識任務重啟時，可獲取存儲引擎中的歷史數據文件，確定跟隨者尚未加載的最新數據文件，并將對應加載事項重新發送給跟隨者進行加載，以保證數據一致性與系統穩定性。

綜上，本專利的突破性技術點可概括為：以數據文件為核心同步載體的異步復制機制、直接加載技術與異步回調更新機制相結合，在保證系統高可用與一致性維護的同時，減少同步確認等待與追趕重放開銷，緩解傳統日志復制一致性方案在多副本與高頻寫入場景下的性能瓶頸，并提升系統橫向擴展能力。

專利技術應用產品/服務

本專利所提出的基于數據文件的分布式多副本高性能高可用方案，已在天謀科技自主研發的工業物聯網時序數據庫管理系統（TimechoDB）等產品中得到工程化落地應用，成為其分布式集群高可用與高吞吐寫入能力的核心支撐技術之一。該技術主要應用于面向工業物聯網場景的大規模時序數據管理平臺，在能源電力、鋼鐵冶煉、石油化工、交通運輸等行業的生產系統中投入使用。

通過引入文件級異步復制機制，相關產品在多副本部署條件下顯著降低了寫入延遲和副本同步成本，使系統能夠在高采樣頻率、高并發寫入場景中保持穩定性能。同時，該技術有效簡化了副本追趕與故障恢復流程，提升了系統在節點重啟、網絡波動等復雜工況下的可用性和運維效率，為企業級工業數據平臺提供了可靠的數據基礎設施保障。

開發團隊

·帶隊負責人姓名：喬嘉林

喬嘉林博士，天謀科技聯合創始人兼CTO，高級工程師，清華大學水木學者，北京市海英人才，大數據系統軟件國家工程研究中心存儲部副組長，國際 Apache軟件基金會委員，Apache IoTDB項目管理委員會委員，Apache TsFile項目主席。曾獲北京市科技進步一等獎。

作為研發骨干研制工業物聯網時序數據庫Apache IoTDB，在國際數據庫權威榜單TPCx-IoT、benchANT中均排名第一，研究成果廣泛應用于規模以上工業龍頭企業超過1000家，在鋼鐵冶煉、石油化工、飛機制造、能源電力、智慧電廠、城市交通運輸等行業得到應用。其中，作為IoTDB負責人推動了IoTDB在長安汽車云平臺、中車四方軌道交通運維平臺、湖南中煙智能制造、四維智聯駕駛行為分析平臺上線。

參與國家、省部、企業項目十余項。作為課題/子課題負責人，參與多項國家重點研發計劃、工信部高質量發展專項、重慶市重大專項等多項。作為項目骨干參與國家重點研發計劃、國家自然科學基金委員會重大項目多項，主持清華大學軟件學院自主創新項目1項。獲中國發明專利授權近20項，美國發明專利授權3項。

入選2025年胡潤U30、2024年中關村U30、2023年中國電子信息行業聯合會優秀軟件工程師、2022年中國開源創新大賽核心貢獻者、2022年中國開源云聯盟杰出開源貢獻者、2022年中國開源先鋒33人。

團隊其他重要成員姓名：王建民，黃向東，譚新宇，田原，彭俊植，谷新豪

·隸屬機構

天謀科技（北京）有限公司（簡稱“天謀科技”）成立于2021年10月，是一家專注于時序數據庫管理系統及相關技術服務的科技企業。公司聚焦大數據底層系統軟件研發，核心團隊長期從事分布式數據庫與時序數據管理技術研究，當前員工規模約60人，研發人員占比超過70%。

圍繞工業領域數字化轉型過程中產生的海量時序數據管理需求，天謀科技針對數據體量大、采樣頻率高、數據亂序到達、寫入并發度高以及存儲與運維成本敏感等共性問題，持續開展數據庫內核與分布式系統層面的技術創新，構建高性能、高可靠、可擴展的時序數據管理能力。

公司產品主要服務于工業大數據智能化場景，在狀態監控、故障預測、工藝優化與設備數字畫像等應用中提供底層數據管理支撐。據不完全統計，相關技術與產品已在能源電力、鋼鐵冶煉、石油化工、航空制造、城市交通等多個行業的眾多企業中應用，并逐步擴展至金融等對時序數據處理性能與可靠性要求較高的領域。

相關評價

該技術能夠支撐工業企業在復雜生產環境中更高效地完成數據匯聚與管理，為智能運維、AI分析和業務優化提供可靠的數據基礎。這項技術不僅工程價值高，也在實際產業場景中展現出良好的可擴展性，為工業數智化提供了解決方案和重要支撐。

——博原資本管理合伙人 朱璘

該技術為天謀科技的企業級時序數據管理系統的持續演進提供了技術保障，有助于支撐工業數字化和工業智能化業務的長期發展，具備清晰的技術價值和產業前景。

——誠美資本合伙人 王飛雪