TiCS | 大腦如何用“閉環(huán)”學(xué)會(huì)做更聰明的決定：眶額皮層 × 感覺(jué)皮層

PsyBrain 腦心前沿 | 公眾號(hào) PSY-Brain_Frontier

一鍵關(guān)注，點(diǎn)亮星標(biāo) ??

不錯(cuò)過(guò)每日前沿資訊

認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息：

Title:Orbitofrontal-sensory cortical interactions in learning and adaptive decision-making

發(fā)表時(shí)間：2025.12.4

Journal:Trends in Cognitive Sciences（TiCS）

影響因子：17.2

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

引言

每天早上換一家咖啡店，哪一杯更香、更順口，會(huì)悄悄決定你明天往哪家走——這就是強(qiáng)化學(xué)習(xí)（reinforcement learning, RL）在生活中的表現(xiàn)。然而，做出“下次去哪兒買”的決定，不只是簡(jiǎn)單記住味道這么粗糙。大腦需要把氣味、口感、杯型、價(jià)格、情緒、品牌這些雜亂信息，整合成一個(gè)“值不值得再去”的主觀價(jià)值，還要在環(huán)境變了（比如咖啡突然變難喝）時(shí)迅速翻盤。

傳統(tǒng)觀點(diǎn)認(rèn)為，感覺(jué)皮層只是負(fù)責(zé)“看清、聞清、嘗清”，眶額皮層（orbitofrontal cortex, OFC）負(fù)責(zé)“算賬和決策”。但新證據(jù)提示，感覺(jué)皮層本身也會(huì)編碼注意（attention）、工作記憶（working memory）、不確定性（perceptual uncertainty）甚至價(jià)值相關(guān)信息，而 OFC 又通過(guò)反饋信號(hào)改寫感覺(jué)皮層的表征。兩者更像一個(gè)不斷互相教學(xué)的閉環(huán)系統(tǒng)，而不是簡(jiǎn)單的“前端采集 + 后端決策”。

這篇 TiCS 綜述文章以計(jì)算強(qiáng)化學(xué)習(xí)框架為主線，系統(tǒng)梳理了 OFC 與五大感覺(jué)系統(tǒng)（視覺(jué)、聽(tīng)覺(jué)、軀體感覺(jué)、嗅覺(jué)、味覺(jué)）之間的雙向連接：

感覺(jué)皮層把壓縮后的任務(wù)信息送給 OFC，幫助構(gòu)建抽象的任務(wù)狀態(tài)與“認(rèn)知地圖”（cognitive map）；OFC 再把基于價(jià)值與任務(wù)結(jié)構(gòu)的“教學(xué)信號(hào)”回送感覺(jué)皮層，放大有用特征、重映射價(jià)值，讓感覺(jué)皮層從“被動(dòng)感受器”升級(jí)為“帶認(rèn)知功能的前端模塊”。

這不僅改寫了我們對(duì)感覺(jué)皮層的認(rèn)識(shí)，也為理解人腦如何高效學(xué)習(xí)，以及如何設(shè)計(jì)更聰明的人工神經(jīng)網(wǎng)絡(luò)，提供了新思路。

實(shí)驗(yàn)設(shè)計(jì)與方法邏輯

本文并非單一實(shí)驗(yàn)，而是整合解剖追蹤、動(dòng)物電生理、人類 fMRI 以及深度 / 元強(qiáng)化學(xué)習(xí)（deep/meta-RL）模型等多類證據(jù)：

作者先從解剖結(jié)構(gòu)出發(fā)，明確 OFC 與各感覺(jué)皮層的互惠投射；隨后分別梳理自下而上的“感覺(jué)→OFC”通路如何提供注意、工作記憶與不確定性信息，自上而下的“OFC→感覺(jué)”通路如何實(shí)現(xiàn)感知增強(qiáng)與價(jià)值重映射；最后在強(qiáng)化學(xué)習(xí)的計(jì)算框架中，把這些結(jié)果統(tǒng)一成一個(gè)閉環(huán)模型，解釋大腦如何邊感知邊學(xué)習(xí)、邊更新任務(wù)結(jié)構(gòu)。

核心發(fā)現(xiàn)

解剖上：OFC 是連接五大感覺(jué)通路的“價(jià)值樞紐”

圖 1 展示了人類大腦外側(cè)視圖中，OFC 與軀體感覺(jué)、嗅覺(jué)、味覺(jué)、視覺(jué)和聽(tīng)覺(jué)皮層的廣泛雙向連接：后部 OFC 接收更多來(lái)自初級(jí)感覺(jué)皮層的輸入，前部 OFC 更多連接聯(lián)絡(luò)區(qū)，尤其是與物體 / 面孔識(shí)別相關(guān)的腹側(cè)視覺(jué)通路。 這種“從外周到高級(jí)”的多級(jí)輸入，使 OFC 得以整合多模態(tài)信息（比如咖啡的味道 + 香氣 + 觸感），計(jì)算跨模態(tài)的主觀價(jià)值，并向下游（如紋狀體、海馬）輸出價(jià)值與任務(wù)狀態(tài)信息，從而在解剖上奠定其“價(jià)值樞紐”的地位。

Figure 1. Major anatomical connections between sensory cortices and the orbitofrontal cortex (OFC).

感覺(jué)→OFC：不僅傳“是什么”，還傳注意、記憶和不確定性

圖 2A 用示意流程總結(jié)了感覺(jué)皮層送往 OFC 的多條信息流：除傳統(tǒng)的感覺(jué)特征外，還有自下而上的顯著性 / 注意信號(hào)（bottom-up attention）、感覺(jué)工作記憶表征以及對(duì)當(dāng)前刺激的感知不確定性。 這些“預(yù)處理后”的高級(jí)信號(hào)，幫助 OFC更精準(zhǔn)地進(jìn)行獎(jiǎng)勵(lì)預(yù)測(cè)、價(jià)值比較與責(zé)任歸因（credit assignment）：突出的刺激優(yōu)先被評(píng)估，可維持在感覺(jué)工作記憶中的特征更易被正確“記賬”，高不確定性則會(huì)壓低價(jià)值信號(hào)、推動(dòng)探索。

Figure 2. Contribution of sensory inputs to value computation and representation learning in the orbitofrontal cortex (OFC).

OFC→感覺(jué)：用價(jià)值信號(hào)直接“調(diào)參”感覺(jué)皮層

在圖 3A 的咖啡例子中，一次令人愉快的體驗(yàn)，會(huì)讓 OFC 向感覺(jué)皮層發(fā)送獎(jiǎng)勵(lì)期望與目標(biāo)導(dǎo)向注意兩類自上而下信號(hào)：前者提升對(duì)與獎(jiǎng)勵(lì)相關(guān)特征的響應(yīng)增益，后者選擇性放大與當(dāng)前目標(biāo)有關(guān)的刺激、抑制無(wú)關(guān)輸入。 動(dòng)物實(shí)驗(yàn)進(jìn)一步顯示，OFC 投射到 V1、A1 或嗅皮層時(shí)，可以分別抑制無(wú)獎(jiǎng)刺激、放大獎(jiǎng)勵(lì)相關(guān)刺激的神經(jīng)反應(yīng)，實(shí)現(xiàn)對(duì)感覺(jué)編碼的“價(jià)值調(diào)諧”；在人類 fMRI 中，則可觀察到在反轉(zhuǎn)學(xué)習(xí)階段，OFC 與獎(jiǎng)相關(guān) S1 區(qū)域的功能連接瞬時(shí)增強(qiáng)，提示其通過(guò)“教學(xué)信號(hào)”重寫感覺(jué)-獎(jiǎng)勵(lì)映射。

Figure 3. The orbitofrontal cortex (OFC)–sensory cortex interactions supporting reinforcement-based adaptive learning.

閉環(huán) RL 模型：OFC–感覺(jué)皮層協(xié)同構(gòu)建

“任務(wù)認(rèn)知地圖”

圖 2B 和 3B 合在一起給出一個(gè)閉環(huán)強(qiáng)化學(xué)習(xí)框架：感覺(jué)皮層將壓縮后的任務(wù)相關(guān)特征（包括不確定性、顯著性與近期刺激記憶）送入 OFC，OFC 將其與海馬、內(nèi)嗅皮層等處存儲(chǔ)的既往任務(wù)狀態(tài)進(jìn)行比較——若相似，則更新舊狀態(tài)；若不同，則創(chuàng)建新?tīng)顟B(tài)并附帶“探索”加成。 這些任務(wù)狀態(tài)構(gòu)成抽象的認(rèn)知地圖，驅(qū)動(dòng)對(duì)未來(lái)結(jié)果的預(yù)測(cè)，再通過(guò)價(jià)值期望與重映射信號(hào)回傳感覺(jué)皮層，持續(xù)調(diào)整前端表征，實(shí)現(xiàn)在不確定、可變環(huán)境中的高效學(xué)習(xí)與靈活決策。

歸納總結(jié)和點(diǎn)評(píng)

總體來(lái)看，本文提出了一個(gè)優(yōu)雅的閉環(huán)模型：

• 感覺(jué)皮層不再是被動(dòng)的“像素工廠”，而是能根據(jù)注意、記憶與不確定性進(jìn)行智能“壓縮”的前端；

• 眶額皮層則在此基礎(chǔ)上構(gòu)建任務(wù)狀態(tài)與認(rèn)知地圖，并通過(guò)價(jià)值導(dǎo)向的教學(xué)信號(hào)，塑造感覺(jué)皮層對(duì)世界的“看法”。

這種雙向互動(dòng)既可以解釋動(dòng)物與人類反轉(zhuǎn)學(xué)習(xí)、價(jià)值驅(qū)動(dòng)注意和感知增強(qiáng)等現(xiàn)象，也為人工智能中的表征學(xué)習(xí)與元強(qiáng)化學(xué)習(xí)提供了神經(jīng)啟發(fā)。

作為一篇跨解剖、系統(tǒng)神經(jīng)與計(jì)算建模的綜述，它在“感覺(jué)皮層也很聰明”與“OFC 不只是算錢，更在教別人怎么算”這兩個(gè)點(diǎn)上，給出了兼具數(shù)據(jù)基礎(chǔ)與理論高度的統(tǒng)一視角，值得做決策與學(xué)習(xí)研究的讀者細(xì)細(xì)品味。

AI 一句話銳評(píng)

這篇文章本質(zhì)上在說(shuō)：真正聰明的腦，不是前端感知 + 后端決策，而是讓“感覺(jué)皮層也會(huì)思考、OFC 也會(huì) teach”，把整張大腦網(wǎng)絡(luò)訓(xùn)練成一個(gè)自我更新的閉環(huán)強(qiáng)化學(xué)習(xí)系統(tǒng)。

請(qǐng)打分

這篇?jiǎng)倓偟巧?strong>TiCS的綜述，是否實(shí)至名歸？我們邀請(qǐng)您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評(píng)論區(qū)分享您的深度見(jiàn)解。

前沿交流|歡迎加入認(rèn)知神經(jīng)科學(xué)前沿交流群！

核心圖表、方法細(xì)節(jié)、統(tǒng)計(jì)結(jié)果與討論見(jiàn)原文及其拓展數(shù)據(jù)。

分享人：BQ

審核：PsyBrain 腦心前沿編輯部