腦機(jī)啟偵 | 通過(guò)代理神經(jīng)網(wǎng)絡(luò)揭示人腦書(shū)寫(xiě)的層級(jí)性神經(jīng)編碼機(jī)制

前沿 //Frontier Research

書(shū)寫(xiě)是人類(lèi)最精密的運(yùn)動(dòng)能力之一。然而，我們的大腦究竟如何將復(fù)雜的書(shū)寫(xiě)意圖高效轉(zhuǎn)化為精細(xì)、連續(xù)的筆跡，仍是謎題。近期，浙江大學(xué)腦與腦機(jī)融合前沿科學(xué)中心祁玉/王躍明團(tuán)隊(duì)在《Cell Reports》 期刊發(fā)表題為 “Surrogate Deep Neural Networks Reveal Hierarchical Handwriting Encoding in the Human Motor Cortex” 的研究論文。該工作結(jié)合運(yùn)動(dòng)皮層單神經(jīng)元記錄與任務(wù)驅(qū)動(dòng)的代理神經(jīng)網(wǎng)絡(luò)，揭示人類(lèi)大腦在書(shū)寫(xiě)運(yùn)動(dòng)中同時(shí)編碼高級(jí)抽象特征與低級(jí)運(yùn)動(dòng)參數(shù)的多層級(jí)表征結(jié)構(gòu)，為我們理解“人類(lèi)如何高效書(shū)寫(xiě)”提供了重要神經(jīng)機(jī)制證據(jù)，也為復(fù)雜精細(xì)運(yùn)動(dòng)的腦機(jī)接口與神經(jīng)解碼研究開(kāi)辟了新思路。

問(wèn)題：如何研究復(fù)雜運(yùn)動(dòng)的編碼機(jī)制

漢字書(shū)寫(xiě)是人類(lèi)文明最精妙的技能之一，這一復(fù)雜而連續(xù)的動(dòng)作背后，隱藏著大腦運(yùn)動(dòng)皮層高效而神秘的編碼機(jī)制。傳統(tǒng)研究多將運(yùn)動(dòng)控制簡(jiǎn)化為對(duì)速度、位置等基礎(chǔ)運(yùn)動(dòng)學(xué)參數(shù)的編碼，然而在面對(duì)漢字這類(lèi)結(jié)構(gòu)復(fù)雜、富含語(yǔ)義信息的精細(xì)任務(wù)時(shí)，這一解釋模型已顯得力不從心：許多神經(jīng)元實(shí)際上并不只響應(yīng)運(yùn)動(dòng)參數(shù)，而是對(duì)字形結(jié)構(gòu)、筆畫(huà)順序等高階特征表現(xiàn)出強(qiáng)烈的編碼偏好。這表明大腦在控制書(shū)寫(xiě)時(shí)，可能運(yùn)行著一套更深層、更抽象的層級(jí)化表征系統(tǒng)。

然而，如何研究這類(lèi)復(fù)雜運(yùn)動(dòng)中的高層級(jí)神經(jīng)編碼，是一個(gè)方法學(xué)上的難題。其核心挑戰(zhàn)在于，高層級(jí)特征——如與字形、語(yǔ)義、書(shū)寫(xiě)規(guī)劃等相關(guān)的抽象信息——本身高度復(fù)雜，且難以通過(guò)手工設(shè)計(jì)的特征進(jìn)行完整描述與量化。這導(dǎo)致研究者雖能觀(guān)察到神經(jīng)活動(dòng)與任務(wù)高階成分之間的關(guān)聯(lián)，卻難以系統(tǒng)性地揭示其編碼結(jié)構(gòu)與計(jì)算原理。

用代理神經(jīng)網(wǎng)絡(luò)做復(fù)雜運(yùn)動(dòng)編碼研究的“探針”

為突破這一瓶頸，浙江大學(xué)腦與腦機(jī)融合前沿科學(xué)中心、腦機(jī)智能全國(guó)重點(diǎn)實(shí)驗(yàn)室的祁玉/王躍明團(tuán)隊(duì)提出了一項(xiàng)創(chuàng)新性研究。他們引入“代理神經(jīng)網(wǎng)絡(luò)”作為計(jì)算模型，構(gòu)建了一個(gè)能完成相同漢字書(shū)寫(xiě)任務(wù)的深度神經(jīng)網(wǎng)絡(luò)，并將其與臨床志愿者想象書(shū)寫(xiě)時(shí)記錄到的運(yùn)動(dòng)皮層單神經(jīng)元信號(hào)進(jìn)行系統(tǒng)性比對(duì)。這種方法的核心優(yōu)勢(shì)在于，網(wǎng)絡(luò)能夠從數(shù)據(jù)中自動(dòng)學(xué)習(xí)并形成豐富的內(nèi)部表征，從而為探索那些難以手工定義的高層級(jí)神經(jīng)編碼特征提供了一個(gè)強(qiáng)大的、數(shù)據(jù)驅(qū)動(dòng)的分析工具。

圖1 代理神經(jīng)網(wǎng)絡(luò)與人類(lèi)大腦完成相似的書(shū)寫(xiě)任務(wù)

研究發(fā)現(xiàn)，該任務(wù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)不僅能高精度重建書(shū)寫(xiě)軌跡，其內(nèi)部表征更能顯著提升對(duì)真實(shí)神經(jīng)元活動(dòng)的解釋力——相比傳統(tǒng)運(yùn)動(dòng)學(xué)模型，其預(yù)測(cè)準(zhǔn)確率提升了121%，并在調(diào)諧特性上與大腦表現(xiàn)出高度相似性。更重要的是，研究發(fā)現(xiàn)運(yùn)動(dòng)皮層的編碼結(jié)構(gòu)具有清晰的層次性。通過(guò)分析不同層級(jí)網(wǎng)絡(luò)與大腦活動(dòng)的對(duì)應(yīng)關(guān)系，研究團(tuán)隊(duì)識(shí)別出兩類(lèi)功能分離的神經(jīng)元群體：一類(lèi)位于功能層級(jí)上游，主要負(fù)責(zé)編碼與字符類(lèi)別、字形結(jié)構(gòu)相關(guān)的高級(jí)抽象信息；另一類(lèi)則靠近輸出端，更偏向于處理具體的運(yùn)動(dòng)執(zhí)行參數(shù)。這種“高層規(guī)劃”與“底層執(zhí)行”相分離的編碼架構(gòu)，很可能是大腦得以流暢、高效完成復(fù)雜書(shū)寫(xiě)動(dòng)作的關(guān)鍵。

圖2 左：代理網(wǎng)絡(luò)漢字上的書(shū)寫(xiě)重建示例；右：代理網(wǎng)絡(luò)與運(yùn)動(dòng)皮層的相似性

研究還進(jìn)一步揭示，這種層級(jí)化表征并非與生俱來(lái)，而是受到長(zhǎng)期學(xué)習(xí)與語(yǔ)言經(jīng)驗(yàn)的深刻塑造。實(shí)驗(yàn)表明，使用中文書(shū)寫(xiě)數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)，其內(nèi)部表征與大腦信號(hào)的相似度，顯著高于使用隨機(jī)涂鴉或其他文字?jǐn)?shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)。這表明，運(yùn)動(dòng)皮層的編碼機(jī)制不僅關(guān)乎“如何書(shū)寫(xiě)”，更內(nèi)嵌了我們對(duì)特定書(shū)寫(xiě)系統(tǒng)與文化語(yǔ)境的深層認(rèn)知。

圖3 大腦運(yùn)動(dòng)皮層中存在兩類(lèi)功能分工明確的神經(jīng)元群體

該工作不僅在模型與神經(jīng)機(jī)制層面，系統(tǒng)性研究了人類(lèi)書(shū)寫(xiě)運(yùn)動(dòng)的分層編碼原則，也為發(fā)展下一代高性能腦機(jī)接口提供了重要啟示：未來(lái)的運(yùn)動(dòng)解碼系統(tǒng)應(yīng)超越單純的運(yùn)動(dòng)軌跡重建，而是嘗試?yán)斫獠⒗眠@些高階、抽象的表征，從而更自然、更智能地還原人的書(shū)寫(xiě)意圖與動(dòng)作。

論文信息：

論文的第一作者為浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院博士研究生陳嘉浚，浙江大學(xué)腦與腦機(jī)融合前沿科學(xué)中心、腦機(jī)智能全國(guó)重點(diǎn)實(shí)驗(yàn)室的祁玉研究員為論文通訊作者，作者還包括浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院王躍明教授，以及本科實(shí)習(xí)生徐天騏、博士研究生熊心竹、楊曉萌。

https://www.sciencedirect.com/science/article/pii/S2211124725016092

來(lái)源：浙大祁玉課題組