BrainOmni：腦電腦磁基礎(chǔ)模型，實(shí)現(xiàn)跨設(shè)備、跨模態(tài)的通用腦信號表征

導(dǎo)語

上海人工智能實(shí)驗(yàn)室（上海AI實(shí)驗(yàn)室）聯(lián)合清華大學(xué)、劍橋大學(xué)等合作單位，正式發(fā)布BrainOmni——全球首個(gè)統(tǒng)一腦電（EEG）與腦磁（MEG）的大腦基礎(chǔ)模型。BrainOmni通過一種新注意力機(jī)制，模擬了腦科學(xué)中源重構(gòu)算法的前向過程，并且首次利用傳感器的真實(shí)物理屬性（坐標(biāo)、方向、類型）替代通道命名，從而實(shí)現(xiàn)跨設(shè)備、跨模態(tài)兼容。通過1997小時(shí)EEG和656小時(shí)MEG的大規(guī)模自監(jiān)督預(yù)訓(xùn)練，BrainOmni在9項(xiàng)下游任務(wù)上超越現(xiàn)有基礎(chǔ)模型與專用模型，并在未見過的設(shè)備上展現(xiàn)強(qiáng)零樣本泛化能力。工作自發(fā)布以來，收到了來自牛津大學(xué)、劍橋大學(xué)、法國國家科學(xué)研究中心、荷蘭Radboud大學(xué)、美國著名可穿戴腦磁圖企業(yè)等的關(guān)注與合作邀請。

神經(jīng)計(jì)算與控制實(shí)驗(yàn)室丨來源

論文鏈接：https://arxiv.org/abs/2505.18185 開源鏈接：https://github.com/OpenTSLab/BrainOmni

BrainOmni: 統(tǒng)一EEG-MEG的腦基礎(chǔ)模型

神經(jīng)元活動是大腦功能的主要載體，對其精確的測量與理解對探究大腦思考過程、多模態(tài)刺激下的信息解碼、神經(jīng)疾病診斷等任務(wù)至關(guān)重要。腦電圖（EEG）和腦磁圖（MEG）通過記錄神經(jīng)電流引發(fā)的二次電流及磁場，間接測量大腦內(nèi)部的活動，是兩種相對安全便利的非侵入式測量手段，具有廣闊的拓展與應(yīng)用前景。

盡管EEG與MEG同源于神經(jīng)電流激發(fā)的電磁場，二者長期以來多被分開建模。且由于腦電磁設(shè)備的異構(gòu)特性（通道數(shù)、布局、朝向、傳感器類型），過往的模型往往只能應(yīng)用于特定的數(shù)據(jù)集/設(shè)備/任務(wù)，難以學(xué)習(xí)跨設(shè)備跨數(shù)據(jù)集的泛化知識。近來，一些EEG基礎(chǔ)模型對腦電信號的大規(guī)模預(yù)訓(xùn)練進(jìn)行了探索，然而這些模型大多仍依賴特定的通道命名系統(tǒng)，無法真正兼容全部的腦電數(shù)據(jù)。同時(shí)盡管MEG有比EEG更高的時(shí)空精度，因復(fù)雜性高且公開數(shù)據(jù)稀缺，還缺少基礎(chǔ)模型的探索。

BrainOmni首次在統(tǒng)一特征空間內(nèi)對EEG與MEG進(jìn)行聯(lián)合預(yù)訓(xùn)練，兼容不同腦電磁設(shè)備，實(shí)現(xiàn)跨模態(tài)、跨設(shè)備、跨任務(wù)、跨被試的通用表征學(xué)習(xí)，在多種下游任務(wù)上表現(xiàn)優(yōu)越。該工作配套提出BrainTokenizer，把連續(xù)的腦活動壓縮并量化為離散神經(jīng)詞元，為大規(guī)模“腦信號語言建模”奠定基礎(chǔ)。

更強(qiáng)跨被試下游性能與零樣本跨設(shè)備泛化

• 下游性能領(lǐng)先：跨被試實(shí)驗(yàn)設(shè)置下，BrainOmni在運(yùn)動想象、情緒識別、異常檢測、抑郁檢測、阿爾茨海默癥檢測、帕金森檢測、 自閉癥檢測等9個(gè)下游任務(wù)上，取得了優(yōu)于領(lǐng)域?qū)＜夷Ｐ鸵约爸暗腅EG基礎(chǔ)模型的性能。

表1: 八個(gè)EEG數(shù)據(jù)集上BrainOmni與baseline的比較。

表2：MEG和EMEG數(shù)據(jù)集上BrainOmni與Baseline的比較。

• 零樣本跨設(shè)備泛化能力：在訓(xùn)練期間未接觸的EEG/MEG設(shè)備上，BrainTokenizer保持穩(wěn)定的信號重建效果，體現(xiàn)了模型跨設(shè)備的強(qiáng)大泛化能力。

表3：BrainTokenizer在零樣本設(shè)備數(shù)據(jù)的重建結(jié)果。

• 腦電磁模態(tài)互增益：相比于單模態(tài)預(yù)訓(xùn)練，EEG/MEG的聯(lián)合預(yù)訓(xùn)練帶來了穩(wěn)定的性能提升，體現(xiàn)了將同源的腦電磁信號聯(lián)合建模的優(yōu)勢。

表4：聯(lián)合EEG/MEG預(yù)訓(xùn)練與單獨(dú)進(jìn)行EEG或MEG訓(xùn)練的比較。

“潛在源變量”建模與神經(jīng)詞元離散，

實(shí)現(xiàn)異構(gòu)數(shù)據(jù)統(tǒng)一與上下文建模

BrainTokenizer：研究團(tuán)隊(duì)創(chuàng)新性提出了 Sensor Encoder 模塊對腦電磁傳感器的物理特性進(jìn)行可學(xué)習(xí)建模，通過設(shè)備信息的顯式注入使得模型實(shí)現(xiàn)對多樣化設(shè)備的兼容。同時(shí)團(tuán)隊(duì)受腦科學(xué)領(lǐng)域源活動估計(jì)方法的啟發(fā)，假定異構(gòu)的電磁信號由同構(gòu)的一組神經(jīng)活動源變量激發(fā)，將腦外電磁信號映射到統(tǒng)一特征空間，并將連續(xù)的源變量特征離散化，將腦信號轉(zhuǎn)化為神經(jīng)詞元序列。

圖1：BrainTokenizer架構(gòu)

BrainOmni：基于BrainTokenizer的得到的神經(jīng)詞元，使用掩碼語言建模的無監(jiān)督范式進(jìn)行自監(jiān)督學(xué)習(xí)，使模型學(xué)習(xí)高層次語義特征，顯著提升對神經(jīng)活動的理解能力。

圖2：BrainOmni架構(gòu)

國家“十五五”規(guī)劃已將腦機(jī)接口列為未來新經(jīng)濟(jì)增長點(diǎn)之一，其戰(zhàn)略價(jià)值正日益凸顯。要實(shí)現(xiàn)這一目標(biāo)，算法、硬件與臨床的深度融合至關(guān)重要。腦電磁信號因具備無侵入、可穿戴、高時(shí)空精度、低延遲等優(yōu)勢，具備廣泛的普適性和應(yīng)用潛力，是拓展腦機(jī)接口人群與場景、提升產(chǎn)業(yè)價(jià)值的關(guān)鍵方向。

BrainOmni 系列基礎(chǔ)模型從 AI 角度破解了電磁信號融合、跨設(shè)備通用等長期技術(shù)瓶頸，并為高價(jià)值 MEG 數(shù)據(jù)稀缺這一行業(yè)痛點(diǎn)提供了新的解決途徑。上海AI實(shí)驗(yàn)室正與國內(nèi)外機(jī)構(gòu)緊密合作，從“通專融合”的技術(shù)路線持續(xù)演進(jìn) BrainOmni 系列，在提升性能的同時(shí)拓展更多應(yīng)用領(lǐng)域，進(jìn)一步融入侵入式腦電、神經(jīng)影像等更多模態(tài)信息。

未來，該系列模型將與上海人工智能實(shí)驗(yàn)室的『書生』通專融合基礎(chǔ)大模型 Intern-S1與 科學(xué)發(fā)現(xiàn)平臺 Intern Discovery 深度融合，發(fā)展為面向腦機(jī)接口研究與臨床應(yīng)用、覆蓋全模態(tài)的 AGI4Science 關(guān)鍵組件之一。

計(jì)算神經(jīng)科學(xué)第三季讀書會

從單個(gè)神經(jīng)元的放電到全腦范圍的意識涌現(xiàn)，理解智能的本質(zhì)與演化始終是一個(gè)關(guān)于尺度的問題。更值得深思的是，無論是微觀的突觸可塑性、介觀的皮層模塊自組織，還是宏觀的全局信息廣播，不同尺度的動力學(xué)過程都在共同塑造著認(rèn)知與意識。這說明，對心智的研究從最初就必須直面一個(gè)核心挑戰(zhàn)：局部的神經(jīng)活動如何整合為統(tǒng)一的體驗(yàn)？局域的網(wǎng)絡(luò)連接又如何支撐靈活的智能行為？

繼「」與「」讀書會后，集智俱樂部聯(lián)合來自數(shù)學(xué)、物理學(xué)、生物學(xué)、神經(jīng)科學(xué)和計(jì)算機(jī)的一線研究者共同發(fā)起，跨越微觀、介觀與宏觀的視角，探索意識與智能的跨尺度計(jì)算、演化與涌現(xiàn)。重點(diǎn)探討物理規(guī)律與人工智能如何幫助我們認(rèn)識神經(jīng)動力學(xué)，以及神經(jīng)活動跨尺度的計(jì)算與演化如何構(gòu)建微觀與宏觀、結(jié)構(gòu)與功能之間的橋梁。

詳情請見：

1.

2.

3.

4.

5.

6.