清華唐杰：領域大模型，偽命題

編輯部 整理
量子位 | 公眾號 QbitAI

清華教授唐杰最新在微博發表了自己關于AI的一些感悟，非常值得一讀～

共八個小點，不算長篇大論，但扎實有料：

• 基座模型繼續scaling仍然高效；
• 真實使用體驗想進一步上臺階，長尾能力的對齊和推理增強繞不過去；
• Agent代表模型開始進入環境、開始形成生產力；
• 一旦模型進入持續交互的世界，記憶機制、在線學習、自我評估就會成為核心工程題，而不是可選項；
• AI終究要落到替人完成工作、創造增量價值上；
• 領域大模型是個偽命題；

唐杰表示，發微博是想分享一下，希望對大家有用。

茲以推文刊載，供大家廣泛閱讀、傳播。

以下為其感悟原文：

01，關于scaling基座模型

預訓練使得大模型已經掌握世界常識知識，并且具備簡單推理能力。

更多數據、更大參數和更飽和的計算仍然是scaling基座模型最高效的辦法。

02，關于激活對齊和增強推理能力

激活對齊和增強推理能力，尤其是激活更全面的長尾能力是保證模型效果的另一關鍵，通用benchmark的出現一方面評測了模型通用效果，但也可能使得很多模型過擬合。

真實場景下是如何讓模型更快、更好的對齊長尾的真實場景，增強實際體感。

mid和post training使得更多場景的快速對齊和強推理能力成為可能。

03，關于Agent

agent是模型能力擴展的一個里程碑，也是體現ai模型進入人類真實（虛擬/物理）世界的關鍵。

沒有agent能力，大模型將停留在（理論學習）階段，就類似一個人不斷學習，哪怕學習到博士，也只是知識積累，還沒有轉化為生產力。

原來的agent是通過模型應用來實現，現在模型已經可以直接將agent數據集成到訓練過程，增強了模型的通用性，其實難題還是不同agent環境的泛化和遷移并不是那么容易，因此最簡單辦法也只有不斷增加不同agent環境的數據和針對不同環境的強化學習。

04，關于模型記憶

實現模型記憶成為一個必須做的事情，這也是一個模型應用到真實環境必須有的能力。

人類記憶分為短期（前額葉）、中期（海馬體）、長期（分布式大腦皮層）、人類歷史（wiki或史書）四個階段。

大模型如何實現不同階段的記憶是個關鍵，context、rag、模型參數可能分別對應了人類的不同記憶階段，但如何實現是個關鍵，一種辦法是壓縮記憶，簡單存在context，如果大模型可以支持足夠長的context，那基本有可能實現短中長期的記憶。

但如何迭代模型知識，更改模型參數這還是個難題。

05，關于在線學習與自我評估

在線學習與自我評估。

有了記憶機理，在線學習成為一個重點，目前的大模型定時重新訓練，這有幾個問題：

• 模型無法真正的自我迭代，但模型的自學習自迭代一定會是下一個階段必然具有的能力；
• 重新訓練還比較浪費，同時也會丟掉很多交互數據。

因此如何實現在線學習是個關鍵，自我評估是在線學習的一個關鍵點，要想模型自我學習，模型首先要知道自己對還是不對，如果知道了（哪怕概率知道）模型就知道了優化目標，能夠自我改進。

因此構建模型自我評價機制是個難題。

這也可能是下一個scaling范式。

continual learning/real time learning/online learning？

06，關于模型研發和應用結合

最后，大模型的發展越來越端到端，不可避免的要把模型研發和模型應用結合起來。

ai模型應用的第一性不應該是創造新的app，他的本質是agi替代人類工作，因此研發替代不同工種的ai是應用的關鍵。

chat部分替代了搜索，部分其實融合了情感交互。

明年將是ai替代不同工種的爆發年。

07，關于多模態和具身

寫在最后的是多模態和具身。

多模態肯定是個未來也很有前景，當下的問題是多模態不大能幫助到agi的智能上界，而通用agi的智能上界到底在哪兒還不知道。

可能最有效的方式還是分開發展，文本、多模態、多模態生成。

當然適度的探索這三者的結合肯定能發現一些很不一樣的能力，這需要勇氣和雄厚的資本支持。

同理，如果看懂了agent就知道具身的痛在哪里了，太難通用了（也不一定），但至少少樣本去激活通用具身能力基本不可能。

那怎么辦呢，采數據，或者合成數據，都不是那么容易，也貴。

但反之一旦數據規模上去了，通用能力出來了自然會形成門檻。

當然這只是智能方面的難題，對于具身，機器人本身也是個問題，不穩定，故障頻繁都限制了具身智能的發展。

2026年這些都將取得長足進步。

08，關于領域大模型和大模型應用

也討論一下領域大模型和大模型應用。

我一直認為領域大模型就是個偽命題，都agi了哪有什么domain-specific agi……

但，agi還沒實現，領域模型會長時間存在（多長，不好說，ai發展實在太快了）。

領域模型的存在本質上是應用企業不愿意在ai企業面前認輸，希望構建領域know how的護城河，不希望ai入侵，希望把ai馴化為工具。

而ai的本質是海嘯，走到哪里都將一切卷了進去，一定有一些領域公司走出護城河，自然就卷進了agi的世界。

簡而言之，領域的數據、流程、agent數據慢慢的都會進入主模型。

而大模型的應用也要回到第一性原理，ai不需要創建新的應用。

ai的本質是模擬人或者代替人或者幫助人實現人類的某些必須要做到事（某些工種）。

可能就是兩種，一種就是ai化以前的軟件，原來需要人參與的改成ai，另一種就是創造對齊人類某個工種的ai軟件，替代人類工作。

所以大模型應用需要幫助到人、創造新的價值。

如果做一個ai軟件沒人用，不能產生價值，那這個ai軟件肯定沒有生命力。

參考鏈接：
https://weibo.com/2126427211/5247011059141988