鍇杰最近不聲不響整了個(gè)大的,Macaron AI成立了Mind Lab ,并且發(fā)布了兩個(gè)重要研究。
Mind Lab專注一個(gè)核心問題:讓AI從真實(shí)使用中不斷學(xué)習(xí)和進(jìn)化,而不是訓(xùn)練完就凍結(jié)。
成立之初他們就發(fā)布了三個(gè)研究成果,簡單解釋一下,具體可以看他們的論文。
第一,用10%的成本訓(xùn)練超大模型:
訓(xùn)練萬億參數(shù)的AI模型通常需要海量GPU,成本高到普通團(tuán)隊(duì)玩不起。Mind Lab通過LoRA技術(shù)加混合并行系統(tǒng),把成本降到原來的10%。
更關(guān)鍵的是,他們證明了在相同算力下,"大模型+小型調(diào)整"比"小模型+全量訓(xùn)練"效果更好。因?yàn)榇竽P偷幕A(chǔ)能力夠強(qiáng),只需要微調(diào)就能適應(yīng)新任務(wù)。
這套方案已經(jīng)貢獻(xiàn)給NVIDIA和火山引擎的開源項(xiàng)目,在Kimi K2這樣的萬億參數(shù)模型上跑得又穩(wěn)又快。
第二,AI終于有了真正的記憶:
現(xiàn)有AI的記憶方案要么反復(fù)總結(jié)(算力浪費(fèi)大),要么存數(shù)據(jù)庫(理解會(huì)斷層)。Mind Lab提出"記憶擴(kuò)散"——把整個(gè)對(duì)話歷史當(dāng)作記憶本身,通過"智能遺忘"來管理。
就像人開車會(huì)自動(dòng)忽略路邊廣告牌,只記住重要的東西。AI也學(xué)會(huì)了:重要的對(duì)話細(xì)節(jié)保留,不重要的壓縮或丟棄,始終把上下文控制在預(yù)算內(nèi)。
這個(gè)方法在長期對(duì)話記憶基準(zhǔn)測試Locomo上拿到93%準(zhǔn)確率,目前最優(yōu)。
Mind Lab 雖然剛成立,但是對(duì)于研發(fā)方向的判斷還是非常準(zhǔn)確的,在做的事情可能代表AI發(fā)展的下一個(gè)階段。
過去十年AI靠"做大"突破,更大的模型、更多的數(shù)據(jù)。但部署到產(chǎn)品后發(fā)現(xiàn),模型不會(huì)從用戶身上學(xué)習(xí),每次都重復(fù)同樣的錯(cuò)誤,這個(gè)瓶頸越來越明顯。
Mind Lab提出的"體驗(yàn)型智能"其實(shí)是是讓AI從"工具"變成"伙伴"。工具每次用完就復(fù)位,伙伴會(huì)記住你的習(xí)慣、從錯(cuò)誤中學(xué)習(xí)、隨時(shí)間越來越懂你,這也是他們當(dāng)時(shí)做馬卡龍應(yīng)用的時(shí)候想完成的。
研究和產(chǎn)品共享同一個(gè)循環(huán),用真實(shí)用戶數(shù)據(jù)驅(qū)動(dòng)算法迭代。這種"研究-產(chǎn)品共設(shè)計(jì)"的路子在AI領(lǐng)域還挺少見,但可能是讓前沿技術(shù)真正落地的關(guān)鍵。
詳情:macaron.im/mindlab
![]()
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.