別問樹模型了!死磕結(jié)構(gòu)化數(shù)據(jù),清華團隊把大模型表格理解推到極限

機器之心原創(chuàng)

作者：張倩、Panda

科幻作家劉慈欣在小說《超新星紀元》中描述了一個令人難忘的場景——幾個十幾歲的孩子被帶到一個小山環(huán)繞的地方，他們的面前是一條單軌鐵路，上面停著十一列載貨火車，每列車有二十節(jié)車皮。這些車首尾相接成一個巨大的弧形，根本看不到盡頭。這些車中，其中一列裝的是味精，另外十列裝的是鹽。

「這么多的味精和鹽夠我們國家所有的公民吃多長時間？」帶孩子們來的大人向他們提問。「一年？」「五年？」「十年？」沒有一個孩子答對。最后的答案讓他們目瞪口呆：「只夠一天」。

這個場景之所以令人難忘，是因為它以一種非常具象的方式向我們展示了這個世界的運轉(zhuǎn)多么難以被普通人準確感知。它的背后是海量的精確數(shù)字：負責供應鹽和味精的部門需要算出每個周期要生產(chǎn)多少才能滿足需求；負責生產(chǎn)的工廠要監(jiān)控機器運轉(zhuǎn)情況，從一堆精確卻晦澀難懂的數(shù)字、代碼中讀出問題；而給機器供電的電力系統(tǒng)也要監(jiān)測和變壓器相關(guān)的一切數(shù)據(jù)，避免非計劃停機帶來高昂的搶修成本和難以估量的用戶損失。

這個世界，就是以這樣一種精確的方式運轉(zhuǎn)著。那些數(shù)字就像我們每天呼吸的空氣，你可能感覺不到它們的存在，但一旦它們出了問題，你的感知將會非常強烈。

也正因如此，這些數(shù)據(jù)的處理至關(guān)重要。由于這些數(shù)據(jù)往往以固定的行列格式組織，數(shù)據(jù)之間的結(jié)構(gòu)關(guān)系是預先定義好的，因此也被稱為「結(jié)構(gòu)化數(shù)據(jù)」。可以說，我們在工業(yè)化社會體驗到的幾乎所有便利，背后都依賴著這些結(jié)構(gòu)化數(shù)據(jù)的理解、處理與預測。

然而，在 AI 席卷一切的今天，處理這些最基礎(chǔ)的數(shù)據(jù)，卻成了最大的痛點。

我們寄希望于看似無所不能的 LLM 大模型。但現(xiàn)實很骨感：LLM 擅長寫詩與編程，但卻很難讀懂一張簡單的電子表格，因為 LLM 的建模方式（涉及到文本的模糊性）與結(jié)構(gòu)化數(shù)據(jù)所要求的精確性存在巨大 gap，一直達不到生產(chǎn)要求。

這一現(xiàn)狀也導致，整個行業(yè)都還在用已經(jīng)存在了十幾年的專用模型，每遇到一個新的數(shù)據(jù)集或者一個新任務可能就要重新訓練一個。這就好比為了喝一杯新口味的咖啡，你必須重新造一臺咖啡機。這種低效的生產(chǎn)方式與始終追求高效率、強泛化能力的 LLM 領(lǐng)域形成了鮮明對比，也成了阻礙產(chǎn)業(yè)發(fā)展的一大瓶頸。

這也是為什么，前段時間清華大學與穩(wěn)準智能聯(lián)合發(fā)布的LimiX 系列模型讓人眼前一亮。作為他們提出的「LDM（結(jié)構(gòu)化數(shù)據(jù)大模型）」的重要成員，LimiX 做到了 LLM 沒有做到的事情，把結(jié)構(gòu)化數(shù)據(jù)的處理帶入了大模型時代。這會改變整個工業(yè) AI 的游戲規(guī)則，成為 LLM、具身智能之外通往 AGI 的另一大關(guān)鍵路徑。

第一次，在結(jié)構(gòu)化數(shù)據(jù)上

做到了「通用」！

為什么說 LimiX 的出現(xiàn)有著劃時代的意義？

本質(zhì)是因為，它第一次在結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域把「通用」這件事做成了！

參加過 Kaggle 的同學都知道，結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域有很多任務，比如分類、回歸、缺失值填補、高維表征抽取、分布外泛化預測……比如根據(jù)年齡、艙位等級等乘客特征預測泰坦尼克號乘客是否幸存（分類），基于鉆石的克拉重量、切工、顏色、凈度等屬性預測鉆石售價的連續(xù)值（回歸）等。當然，現(xiàn)實世界的問題遠比這些復雜。

在過去的十幾年里，解決這些問題主要依靠梯度提升樹模型（比如 2014 年發(fā)布的 XGBoost、2017 年發(fā)布的 CatBoost 等）或 AutoML 集成模型（比如亞馬遜在 2020 年提出的 AutoGluon）。就像我們前面所說的，這些模型都是專有模型，每次遇到新任務或新數(shù)據(jù)集都要重新訓練。這和早就實現(xiàn)一個模型通吃各種任務的NLP領(lǐng)域相比，簡直落后了不止一個版本！

當然，這些年，有不少研究者嘗試將深度學習甚至基礎(chǔ)模型思想引入結(jié)構(gòu)化處理領(lǐng)域，像德國 Prior Labs 團隊提出的 TabPFN、法國 INRIA 團隊提出的 TabICL、加拿大 Layer 6 AI 團隊提出的 TabDPT 等都是這一方向的代表。但這些工作都有個特點：它們本質(zhì)上還是針對不同的任務分別去做專門的預訓練，并沒有做到真正的通用，而且對于高質(zhì)量的缺失值填補等任務，很多方法還無法解決。

LimiX 模型（今年8月份發(fā)布的 LimiX-16M， LDM 系列的首款模型）是一個打破僵局的存在。它在性能上碾壓前述基礎(chǔ)模型，超越 XGBoost、CatBoost、AutoGluon 這樣的傳統(tǒng)專用模型更是不在話下

• LimiX官網(wǎng)：https://www.limix.ai/
• 技術(shù)報告：https://arxiv.org/pdf/2509.03505
• HuggingFace鏈接：https://huggingface.co/stableai-org

更重要的是，它第一次做到了真正的通用，也就是一個模型，在不進行二次訓練的情況下，就能用于分類、回歸、缺失值填補、高維表征抽取、因果推斷等多達 10 類任務。

簡單來說，LimiX 不再像傳統(tǒng)模型那樣死記硬背某個特定表格的規(guī)則，而是通過學習海量數(shù)據(jù)，能夠自主發(fā)現(xiàn)樣本之間和變量之間的關(guān)系并適應不同類型的任務。這使得 LimiX 擁有了類似 GPT 的能力：一個模型，通吃所有任務。對于LLM領(lǐng)域的研究者來說，這個劇情應該很熟悉了，當年語言模型的突破，就是從「橫掃xx項NLP記錄」開始的。

同時，LimiX 在 benchmark 上的一路領(lǐng)先，也讓我們看到了一些優(yōu)秀 LLM 的來時路。

比如在一場分類任務的對決中，LimiX-16M 在 58.6% 的數(shù)據(jù)集上都取得了最優(yōu)結(jié)果，斷崖式領(lǐng)先。如果再加上其輕量級版本 LimiX-2M 的成績，整個 LimiX 家族的勝率甚至可以達到 68.9%。

類似的情況也出現(xiàn)在回歸任務的 PK 中。同樣的，LimiX 的兩個模型包攬了前兩名，合在一起勝率能達到 62%。和其他模型相比，LimiX-16M 同樣是斷崖式領(lǐng)先。

此外，對于近期 Prior Labs 團隊的挑戰(zhàn)者 TabPFN 2.5，LimiX 成功守擂。可以看到，在涉及分類、回歸的六項評測中，LimiX-16M 依然保持著絕對優(yōu)勢。

LimiX 還是一個數(shù)據(jù)填補神器：在現(xiàn)實數(shù)據(jù)中，經(jīng)常會有「缺胳膊少腿」的空值。其它預測模型無法直接解決這個任務，而 LimiX 可以像填空一樣，精準預測并補全這些缺失值，且無需額外訓練。在所有缺失值插補算法中，LimiX 以絕對優(yōu)勢拿下了 SOTA。

不止是跑分王

現(xiàn)實也能打

有人可能說，跑分好看的模型多了，現(xiàn)實中不還是沒一個能打的。

LimiX 還真不是這種情況。它具備驚人的穩(wěn)健性，使其足以落地實際工業(yè)場景。我們了解到，LimiX 已經(jīng)在一些實際工廠中化身「打工人」了。工廠的任務可不像 Kaggle 賽題那樣經(jīng)過簡化處理，隨便拿出來一個都千頭萬緒。

就拿最容易理解的食品生產(chǎn)為例。我們知道，很多食品在出廠之前要經(jīng)過烘干，如果哪個參數(shù)沒調(diào)好，我們買到手的食品就會出現(xiàn)提前變質(zhì)等問題。以往，食品廠都是依賴事后檢測，也就是先烘干，再測含水量，不合格就返工或報廢。但如果能提前預測，成本不就打下來了？

這正是 LimiX 發(fā)揮作用的環(huán)節(jié)，它可以精準建模氣流流速、燃燒器溫度、設(shè)備蒸汽比例等工藝參數(shù)與產(chǎn)品含水量的復雜關(guān)系，使得預測值與真實值平均偏差不到9%，而且模型能解釋92%的結(jié)果變化，可靠性極強。

類似的案例還有很多，比如在電力現(xiàn)貨市場預測電價時，LimiX 可以將企業(yè)內(nèi)部最優(yōu)模型的誤差從 46.93% MAPE 大幅降低到 25.27% MAPE；而在變壓器運行狀態(tài)診斷中，它能將運行狀態(tài)診斷錯誤率降低 93.5%（相較于傳統(tǒng)預測模型 XGBoost）。

所以，無論從跑分還是實際落地情況來看，LimiX 都是一個充滿變革意味的模型。而且，這個模型不僅企業(yè)能用，普通研究者也能上手，因為LimiX 團隊最近開源了一個輕量級版本——LimiX-2M。

LimiX-2M

極小模型定義結(jié)構(gòu)化數(shù)據(jù)理解極限

2M模型就能做結(jié)構(gòu)化數(shù)據(jù)處理？

是的，LimiX-2M 雖然體積小，但性能卻著實驚人：力壓 TabPFN-v2 和 TabICL，超越集成學習框架 AutoGluon，僅次于其大哥 LimiX-16M

更重要的是，它很小，你甚至能在智能戒指上運行它

具體來說，它能通過分析戒指傳感器收集到的結(jié)構(gòu)化位置信息，識別出佩戴者的手勢。這種應用具有非常巨大的想象空間。舉個例子，通過與智能家居系統(tǒng)連接，我們可以手勢控制家里的各式電器，比如像滅霸一樣打個響指，就能開關(guān)家里的所有電燈。

當然，在比邊緣設(shè)備性能更強的設(shè)備上，這個小模型的速度也會快得多。

舉個例子，如果是處理 958 條、60 維特征的 IMU 數(shù)據(jù)，在2 核 CPU、4G 內(nèi)存的低算力環(huán)境（差不多就是個樹莓派的配置）下，LimiX-2M 單樣本 375 毫秒, 總耗時為 359 秒。相較之下，TabPFN-2.5 的總耗時為 1830 秒，比 LimiX-2M 慢 5 倍。而如果你有一臺 RTX 5090，則單樣本平均耗時僅 0.206 毫秒，總耗時也只有 197 毫秒，真的可以說是眨眼之間就完成了！

LimiX-2M 不止性能與速度兼?zhèn)洌乙材茌p松地低成本微調(diào)——你只需家用顯卡就能有效微調(diào)它！推理快、門檻低的特點使 LimiX-2M 成為助力研究和應用落地的不二之選：即使是只有一張 4090 顯卡的小型科研團隊或創(chuàng)業(yè)公司，也可以在自己的場景中使用、微調(diào) LimiX-2M，從而開展此前根本無法進行的前沿AI實驗。

在量子化學領(lǐng)域，如何去評估小有機分子的一組量子力學性質(zhì)（包括激發(fā)能、振子強度和躍遷概率等）對探索分子特性非常重要。但是目前，這些性質(zhì)只能通過高精度的量子化學方法（如 TDDFT 或 CC2）計算得出，量子力學性質(zhì)計算成本高昂且耗時。

通過使用 LimiX-2M 對各類量子力學性質(zhì)進行預測，預測的擬合優(yōu)度最高可達 0.711，顯著超越 TabPfn-2.5（0.658），經(jīng)過微調(diào)后更是達到了 0.815。這節(jié)省了大量的實驗成本，允許相關(guān)研究人員快速進行高通量分子發(fā)現(xiàn)。這再次證明了該模型非常適合邊緣設(shè)備應用以及科研場景。你不必像 LLM 研究者一樣需要大量算力，只需一臺日常用來玩游戲的電腦，就能輕松高效地進行實驗

11月 10 日正式發(fā)布后，LimiX-2M 在 ModelScope 上已經(jīng)有超過 1200 次下載，在網(wǎng)上也收獲了不少好評。

同時，LimiX 還發(fā)布了詳細的應用指南（https://zhuanlan.zhihu.com/p/1973033408901964300），手把手教你如何將 LimiX 應用到自己的數(shù)據(jù)上。無需復雜的格式處理，只要簡單的幾行代碼即可接入最前沿的結(jié)構(gòu)化數(shù)據(jù)大模型。無論是純 CPU 的簡單嘗鮮，還是單 GPU 的深度應用，還是多機多卡的極限推理，LimiX 都能 Handle！此外，LimiX 的社區(qū)非常活躍，GitHub 上的問題響應速度極快。

一場范式遷移正在發(fā)生

從 LimiX 系列模型中，我們能明顯感覺到，一個新的時代真的來了。因為和以往不同，LimiX 所展現(xiàn)的絕對不是漸進式的改進，而是一種新的范式遷移。在 LimiX 技術(shù)報告中，研究團隊甚至報告了 LDM 的 scaling laws。這進一步揭示了該領(lǐng)域正在邁入規(guī)模化驅(qū)動的新范式。想要更極致的性能？Just scale it

不同參數(shù)量模型的分類（左）、回歸（右）損失函數(shù)隨訓練數(shù)據(jù)量的變化趨勢。數(shù)據(jù)量增大時，損失值先快速降低后緩慢下降。

在不受數(shù)據(jù)集規(guī)模或計算預算限制的情況下，下游任務損失與性能隨模型參數(shù)規(guī)模的變化。可以看到，多項性能指標均與模型參數(shù)數(shù)量 N 呈現(xiàn)明顯的依賴關(guān)系。

對于大部分人來說，這場從傳統(tǒng)專用模型到「LDM」通用模型的遷移可能很難感知。但無論是日常生活中穩(wěn)定供應的生活必需品，還是背后龐大的工業(yè)體系，幾乎所有決策都建立在結(jié)構(gòu)化數(shù)據(jù)的預測與調(diào)度之上。而 LDM 正是在這個隱蔽但關(guān)鍵的層面上，重新定義智能的邊界，其重要性完全不亞于現(xiàn)在被討論最多的語言智能和具身智能。更準確地說，它和后兩者是互補關(guān)系，都是通往 AGI 的關(guān)鍵步驟。

而且，正如清華大學長聘副教授崔鵬所強調(diào)的那樣：將 AI 與工業(yè)場景深度結(jié)合，在我國具有格外突出的必要性。工業(yè)本身就是我國最具資源稟賦的領(lǐng)域，我們在工業(yè)數(shù)據(jù)的規(guī)模、覆蓋面、質(zhì)量，以及相關(guān)政策支持的力度上，都遠遠領(lǐng)先于其他國家。這意味著，一旦在這一領(lǐng)域形成新的技術(shù)范式，其落地深度與產(chǎn)業(yè)帶動力將是全球范圍內(nèi)少有的。

從這個角度來看，LimiX 所取得的成果更加令人欣慰，它力壓 Amazon AWS、INRIA 等一系列頂尖機構(gòu)，在諸多性能測試上登頂。該模型的開源讓中國在非結(jié)構(gòu)化數(shù)據(jù)建模領(lǐng)域真正站到了世界前沿。

我們也期待國內(nèi)團隊把這一方向的邊界推得更遠。