22歲小伙逆推Mythos，AI大模型圈又炸鍋了！

本報訊 近日，人工智能領(lǐng)域傳來一則令人矚目的消息：一位年僅22歲的年輕人將業(yè)界關(guān)注的"Mythos架構(gòu)"成功"逆推"并開源，為開源AI社區(qū)注入了新的活力。

據(jù)悉，這位名叫Kye Gomez的年輕人是Swarms智能體框架的創(chuàng)始人。他所做的將Mythos架構(gòu)開源為"OpenMythos"，整合了公開研究和主流技術(shù)推測。這一舉動在技術(shù)圈內(nèi)引發(fā)了廣泛關(guān)注。

技術(shù)突破在哪里？

此次開源的核心技術(shù)是帶有混合專家（MoE）路由機(jī)制的循環(huán)深度Transformer（RDT）。與傳統(tǒng)大模型不同，RDT采用了一種更加高效的設(shè)計思路——同一組權(quán)重最多反復(fù)運(yùn)行16遍，但每次激活的是不同的專家路徑。這意味著它可以在不增加參數(shù)量的情況下，實現(xiàn)更強(qiáng)的模型表達(dá)能力。

在MoE架構(gòu)設(shè)計上，該模型借鑒了DeepSeek的技術(shù)思路，采用大量細(xì)粒度的路由專家和少量共享專家的組合模式。此外，項目還引入了LTI穩(wěn)定循環(huán)注入技術(shù)，有效保證了循環(huán)推理過程的穩(wěn)定性。

效果如何？

從實驗數(shù)據(jù)來看，這一架構(gòu)展現(xiàn)出了令人驚喜的性能表現(xiàn)。在參數(shù)量減半的情況下，770M參數(shù)的模型性能可以追平1.3B參數(shù)的模型。這證明了其"堆循環(huán)"而非"堆參數(shù)"的高效推理思路是切實可行的。

除了參數(shù)效率的提升，OpenMythos還展現(xiàn)出了系統(tǒng)性的泛化能力和深度外推能力，這對于未來AI模型的發(fā)展具有重要意義。

對行業(yè)意味著什么？

在AI大模型參數(shù)越來越大的背景下，如何提升模型的效率成為行業(yè)關(guān)注的焦點。OpenMythos的開源為技術(shù)社區(qū)提供了一種新思路：通過循環(huán)迭代和MoE架構(gòu)設(shè)計，可以在控制參數(shù)量的同時提升模型能力。

這一開源項目也為研究人員和開發(fā)者提供了一個寶貴的參考樣本，有助于推動AI架構(gòu)研究的進(jìn)一步發(fā)展。隨著更多技術(shù)細(xì)節(jié)的公開和討論，相信這一技術(shù)路徑將得到進(jìn)一步的驗證和完善。

業(yè)內(nèi)人士表示，此類"逆推"開源項目的出現(xiàn)，標(biāo)志著AI技術(shù)社區(qū)正在形成一種良性競爭與合作并存的生態(tài)，最終受益的將是整個行業(yè)以及普通用戶。