北京
12月18日，網易傳媒主辦的“2025新一代人工智能創業大賽”頒獎典禮在北京網易大廈成功舉辦。
“2025新一代人工智能創業大賽”聚焦“AI基礎設施”、“AI應用和智能體”和“AI硬件”三大前沿賽道，旨在挖掘頂尖創業團隊。下午的AI投資論壇系列活動從往屆獲獎者的實戰分享，到聚焦AI全球化與商業化路徑的深度剖析，再到圍繞具身智能、Agent等前沿議題的“圍爐夜話”思辨，層層遞進，探討了AI從技術探索走向產業落地的關鍵命題。
現場，2024年去年大賽的獲獎代表、深圳元始智能聯合創始人兼COO羅璇在發展匯報中表示，當前主流AI大模型所依賴的Transformer架構存在計算復雜度高、能耗大及端側部署不友好等問題。對此，他們提出RWKV作為一種基于循環神經網絡（RNN）的架構，其核心優勢在于將計算復雜度從二次方降低至線性，從而在理論層面提升了訓練與推理效率，并降低了資源消耗。
羅璇在匯報中提到，網易大賽的支持極大促進了項目的發展，RWKV作為一個開源項目，已獲得了新一輪融資，而且RWKV開發者社區發展迅速，與此同時，該架構在端側智能及多智能體等領域已經展現出強大的應用潛力。
以下為羅璇的演講全文，經不影響原意的編輯：
非常感謝網易再次給我一個機會分享我們的項目，去年參加網易的活動之后，去年年底拿到天使輪的融資。今年7月世界人工智能大會上，我們作為未來之星項目獲得了總理的接見。今天分享的RWKV項目，是面向未來的高效AI大模型架構。
很多人關注大模型從2022年ChatGPT開始的，在ChatGPT出來以后大家關注了大模型這個技術賽道，更多看到的像Chat GPT、DeepSeek、千問、Llama這種模型公司以及上層的應用公司，這一切的底層神經網絡架構都基于Transformer架構，這個架構源自于2017年Google發的論文叫“Attention is all you need”。它打破了過去RNN不能高效并行訓練的問題，也帶來了新的問題。而RWKV是全球首個的非Transformer架構，正在解決Transformer的問題。
這是我們團隊，創始人彭博，背景比較傳奇，6歲開始寫代碼，16歲全獎進港大物理系，畢業后開始在全球最大的外匯對沖基金管理6000萬美元的資產。后來，自己做了一家智能硬件公司，也是知乎的人工智能領域的大V。
我是羅璇，是RWKV的聯合創始人，之前在大廠，在騰訊、阿里，在阿里負責機器人和人工智能，之前也做機器人的公司。我們更多人來自于開源社區，現在全職的同事，包括實習的同事來自于全球數萬人的社區。RWKV源自于2020年初彭博的開源項目，過去五年迭代了8代，也發表了3篇學術論文。OpenAI在2023年初邀請彭博入職，但是彭博馬上就回復：如果OpenAI重新Open的話他愿意合作。
在拒絕OpenAI之后，彭博把RWKV開源項目放到了Linux Foundation下面孵化，現在是全球的開源項目。所有的開發者、科研機構可以沒有負擔的使用這個架構。過去也出現了很多的新架構，像Mamba，Google出的Titans，國內也有KDA等等的架構，都在跟進這個路線，而RWKV現在的第八代還沒有跟隨者。去年8月份，微軟在每一臺Windows電腦里面內置了RWKV架構。去年，RWKV被評為英偉達的初創生態榮耀企業，掛他們的官網，今年3月份我在也分享了最新的架構。我們也跟多家的芯片廠商合作，做端側的模型，我們認為端側是巨大的機會，尤其中國巨大的機會。今年WAIC我們獲得了未來之星獎，也獲得了總理的接見。
我們看看RWKV到底解決什么問題。
第一，Transformer模型在推理側是二次方復雜度問題。過去三年大家發現英偉達這家公司非常值錢，大家在大模型的訓練和推理過程當中需要大量的算力，為什么需要這么多算力？因為底層算法的效率非常低，Token生成的長度跟算力的需求是二次方增長的關系。隨之需要的能源也非常高，以及對于端側非常不友好，大家看到大部分的模型幾乎都是調云端的API，沒有辦法形成規模效應。
第二，最近Ilya說的Scaling law沒有了，很多業內人說原因是數據不夠用了，但是實際上現在大語言模型訓練了30T的Token，人類從出生到死亡這段時間內需要的文本數據是遠遠低于這個數據量。就相當于一個人說全世界的糧食都不夠他吃，這到底是糧食的原因呢？還是人本身的問題？所以，我們認為應該是模型架構本身的問題，如果模型不是暴力記憶，而是能快速的找到數據中規律的話，訓練需要的數據也不需要那么多了。
第三，國內之前沒關注的點，就是Transformer是有商業專利的，谷歌在2017年就建立了全球專利的壁壘。
RWKV是全球的首個非Transformer架構，我們叫新型RNN架構，它不但可以高效并行訓練，同時它推理的速度和推理的資源占用也是恒定的，我們也帶來了新的極致上下文的State-tuning的能力。
無論是效率、能耗還是效果，RWKV都是優于Transformer。能耗這塊RWKV非常適合存算一體、3D堆疊的近存芯片，因為RWKV模型推理在Decode的階段只需要做矩陣乘矢量，不需要做矩陣乘矩陣，同時它不需要管理KV-Cache不斷變大的問題。在云端，RWKV架構模型也是更有優勢的，并發的能力是Transformer模型的一百倍。
除此之外，RWKV本質上是在做類腦架構，包括持久的記憶能力、持續學習能力，還有內部模型持續擬合外部世界的能力、無限長的推理能力。
現在的Transformer模型的QKV機制更像是一個超級小鎮做題家，它希望把全世界的題目背下來去參加高考，去做一個模糊的匹配，而RWKV架構模型是實時地找題目和答案之間的解題規律和方法，所以它是非常高效的架構。
大家喜歡看Benchmark，所以我們最近也做了一些Benchmark，RWKV的13B模型，泛化能力和語言能力都優于千問14B Base 模型。數學百科代碼指令這塊我們也非常接近于現在千問14B Base，而這些能力是可以靠刷題解決的。
RWKV-8是我們最近公開的全球首個神經符號大模型架構，它帶來完全不同的特性，它讓AI內部生成它自己的語言，可以做無限范圍無損信息的傳播，未來的大模型是具備可解釋性，這是一個業界的重大突破，現在全球的大量學者都在關注我們這個架構。
RWKV 目前有誰在用呢？第一個是我們商業公司在用，我們把它落在端側，包括手機、PC、眼鏡、機器人等終端上，讓他們具備語言、圖片識別、語音合成能力等等，其中一些應用已經在海外上架。這是端側的AI 編程項目，可以在一臺單卡的消費級電腦上面，同時跑24個并發去做網頁生成。這也是現在的架構做不到的。這是海外一個非常知名的編程獨角獸，估值三十億美金，所有的模型都基于RWKV的架構提供給客戶。如果是程序員的話可能認識 Fabrice Bellard，他是全球知名的程序員，跟Google的Jeff Dean齊名的，他去年公開了用RWKV做的信息壓縮軟件。具身智能是大家今年特別關注的賽道，地瓜機器人和有鹿機器人，我們都是有深度合作。還有國家電網在用RWKV做做新能源的發電預測和調度。中國電科的30B的小可大模型也是基于RWKV。RWKV已經在工業界廣泛的有落地。
更重要的是RWKV的開源生態，在海外有數萬的開發者，光Discord上面就有九千多，GitHub上面基于RWKV的開源項目超過六百個，有超過160篇的前沿學術論文在基于RWKV 訓練模型，像語言、多模態、智能體、具身智能等等。多智能體是過去幾年業內非常頭疼的問題，今年二月份斯坦福用 RWKV做了一個項目，證明了 RWKV 這種架構才是做多智能體的正確方向。騰訊今年的3D動作生成的論文，也是基于RWKV做的。這是美國第一大的語音識別的公司叫 Rev，他們基于 RWKV做長語音的流式識別，未來新的計算終端需要Always on，那就會非常有用。還有弗吉尼亞大學用RWKV做的端側模型，UCLA用 RWKV做的肌電手勢識別。UCSD用RWKV做的脈沖類腦計算。國內也有浙大李爾平教授在用RWKV做脈沖類腦計算。上海有一家對沖基金，用RWKV做的股價預測和量化交易。還有哈佛用RWKV做的量子增強的實踐訓練預測，聽說也是用來做對沖基金的。國內也有團隊用RWKV做藥物發現，海外的團隊用RWKV做RNA預測。所以簡單而言，RWKV正在全面的替代Transformer。
RWKV是面向未來的高效AI大模型架構，解決了Transformer的二次方復雜度問題，是更加高效節能的架構。尤其是適合下一代的芯片：近存和存算一體的芯片。RWKV是持續在沿著類腦的路線在迭代，包括神經符號這種業內的突破 RWKV架構是開源可商用的，我們正在建立一個全球龐大的開源生態。
我們現在的商業化聚焦在端側。大家都知道國內軟件不賺錢，所以未來中國的新型智能終端會是拉動內需的重要產品。另外云端的多智能體網絡，是下一代的互聯網，大家也會發現一定會基于新的架構來做。歡迎在場的有志之士試一試。
我們期望的人工智能的發展方向：用存算一體訓練一體的芯片、RWKV這種新型RNN架構，已經變成了一個確定性的方向。
歡迎大家關注RWKV，也歡迎大家使用RWKV。謝謝。
本文來源：網易科技報道
責任編輯：
王鳳枝_NT2541
