Claude強到不敢發的Mythos，被質疑用了字節Seed技術

夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI

Claude最強“神話”模型，可能用到來自字節的技術？

這條猜測直接沖上熱搜榜。

這款“強到不敢公開發布”的Mythos模型，確實刺激了人們對下一代LLM架構的想象。

社區正在熱烈討論它是否采用了循環語言模型（Looped Language Model）架構。

這個概念來自字節Seed團隊與多個高校合作的一篇論文，Yoshua Bengio也參與其中。

關鍵線索在于Anthropic公布的一組測試數據。

字節論文指出，圖搜索是循環算法相比標準RLVR具有巨大理論優勢的領域之一。

再看Mythos，正是在廣度搜索優先的圖搜索測試GraphWalks BFS中，超越對手GPT5.4最多。

80%對21.4%，接近4倍的差距。

在其他類型的任務上，并沒有出現如此異常的分差。

說明這種進步很可能不是來自通用的Scaling Law，而是架構創新。

循環語言模型：同一層”多轉幾圈”，小模型碾壓大模型

GraphWalks BFS測試，就是給模型一個復雜的圖結構，讓它做廣度優先搜索，從起點出發，一層一層地訪問所有相鄰節點。

標準Transformer處理這類問題只能一次前向傳播，從頭走到尾，輸出結果，沒有“迭代”這個概念。

Mythos在圖遍歷上拿到了80%的分數，表明它內部很可能在“”反復計算”，對同一組信息來回處理了好幾遍。

那么什么樣的架構能實現“反復計算”？

字節Seed團隊在論文中提出LoopLM循環語言模型。

簡單總結LoopLM有三個特點。

1、不寫長文思考，在模型內部潛空間迭代，不額外輸出更多token。

2、簡單題少想幾步，難題多想幾步，自動調節。

3、預訓練時就學 “怎么在潛空間思考”，而不是只學 “怎么預測下一個token”。

在實驗中，團隊訓練了Ouro系列循環語言模型，內置了循環思考。

測試結果，1.4B的Ouro模型性能對標約4B的傳統模型。2.8B的Ouro模型相當于8B–12B的傳統模型。

至于循環模型的能力提升來自何處，論文詳細分析了知識存儲vs知識操作的區別。

知識存儲（Knowledge Storage）的容量是有限的，大約每個參數2bits，不管用什么架構，這個數字基本不變。

循環也不會讓你“記住”更多東西。

但知識操作（Knowledge Manipulation）不一樣，把已知事實組合起來做多跳推理、執行程序、搜索圖結構，這類能力隨循環步數和訓練tokens指數級增長。

換句話說，循環模型沒有給AI一個更大的知識庫，但它讓AI在知識庫庫里的搜索和組合能力提升了一個量級。

那么Mythos究竟是不是循環模型架構，有人總結出除了GraphWalks之外的更多線索。

三條線索指向循環模型架構

第一條線索，也就是廣度優先圖搜索測試結果。

Mythos除了分數是GPT5.4的4倍，比上一代Opus提升幅度也異常大。

第二條線索，Anthropic報告Mythos每個任務使用的token數量是Opus4.6的1/5，但速度更慢。

（價格也貴5倍！）

這在標準Transformer框架下很難說得通，token少，生成步驟就少，應該更快才對。

但循環模型剛好解釋了這個矛盾：推理不發生在token層面，而是發生在潛空間，計算量花在了看不見的地方。

線索三，Mythos在網絡安全方面非常突出。

Mythos在CyberGym測試上拿到83.1%，Opus4.6是66.6%，領先近17個百分點。

以及找到上千個零日漏洞，主流操作系統和瀏覽器全都沒逃過。

漏洞發現的本質就是對控制流圖做遍歷。找到一條從輸入到危險函數的路徑，也就是圖的可達性問題。

又是圖遍歷。又是循環架構的天生強項。

說了這么多，終歸只是大家的猜測，Anthropic沒有公開任何關于Mythos架構的信息，很可能以后也不會公開。

但有一句話值得思考：

Scaling Law改善一切，相對均勻，架構創新在匹配其歸納偏置的任務上創造異常尖峰值。

循環Transformer的歸納偏置就是迭代圖算法。Mythos的異常尖峰，恰好出現在圖遍歷任務上。

Anthropic不說，但測試數據已經替它說了。

字節論文：
https://arxiv.org/abs/2510.25741

參考鏈接：
[1]
https://x.com/ChrisHayduk/status/2042711699413926262
[2]
https://aiia.ro/blog/claude-mythos-looped-language-model-theory