95后青年科學(xué)家，創(chuàng)辦公司，發(fā)Nature，師從潘建偉院士！

無需眼鏡的三維（3D）顯示技術(shù)，也稱為自動(dòng)立體顯示，能夠?yàn)橛脩籼峁┏两揭曈X體驗(yàn)而無需佩戴任何設(shè)備，被視為實(shí)現(xiàn)“終極顯示”愿景的關(guān)鍵路徑。然而，實(shí)現(xiàn)高質(zhì)量3D成像一直受限于光學(xué)系統(tǒng)的空間帶寬積（SBP），該物理量描述了空間分辨率與角多樣性之間的固有耦合關(guān)系，并受拉格朗日不變量的約束。傳統(tǒng)的3D顯示方法主要分為全息顯示和自動(dòng)多視點(diǎn)顯示兩大類：前者能在厘米級(jí)尺度上實(shí)現(xiàn)精確光場(chǎng)控制，但顯示尺寸過小，不適用于自然觀看；后者可擴(kuò)展至桌面級(jí)尺寸，但視角有限或只能提供預(yù)設(shè)視點(diǎn)，犧牲了視角的連續(xù)性和適應(yīng)性。盡管近年來人工智能技術(shù)的引入在一定程度上緩解了這些限制，但它們?nèi)允芟抻诠潭ǖ腟BP，無法同時(shí)實(shí)現(xiàn)大尺寸顯示和寬視角。因此，如何在有限的SBP下實(shí)現(xiàn)大尺度、寬視角、全視差的3D顯示，仍是當(dāng)前領(lǐng)域面臨的核心挑戰(zhàn)。

鐘翰森（1995年-），中國(guó)科技大學(xué)博士，潘建偉院士團(tuán)隊(duì)核心成員，主要從事光量子計(jì)算研究。上海奇算光啟信息技術(shù)有限公司的創(chuàng)始人，上海量子科學(xué)研究中心/上海人工智能實(shí)驗(yàn)室研究員，上海創(chuàng)智學(xué)院的全時(shí)導(dǎo)師 。作為“九章”系列量子計(jì)算原型機(jī)論文的第一作者，他主導(dǎo)了光量子計(jì)算原型機(jī)的研發(fā)工作，實(shí)現(xiàn)了12光子糾纏等多項(xiàng)世界級(jí)科研成果。其參與的“九章二號(hào)”原型機(jī)在2021年以113個(gè)光子創(chuàng)下量子計(jì)算優(yōu)越性新紀(jì)錄。2024年，他因在量子計(jì)算領(lǐng)域的突出貢獻(xiàn)獲得青橙獎(jiǎng)“最具潛力獎(jiǎng)”。2025年5月23日，入選2024年度《麻省理工科技評(píng)論》“35歲以下科技創(chuàng)新35人”中國(guó)區(qū)名單。

鑒于此，上海人工智能實(shí)驗(yàn)室鐘翰森研究員與歐陽(yáng)萬里教授提出了一種名為EyeReal的新型無需眼鏡3D顯示系統(tǒng)，通過深度學(xué)習(xí)實(shí)時(shí)優(yōu)化有限的SBP，首次實(shí)現(xiàn)了桌面顯示器尺度下的全視差3D顯示，并具備無縫的超寬視角范圍。該系統(tǒng)結(jié)合了精確的雙目視覺建模與深度學(xué)習(xí)實(shí)時(shí)優(yōu)化算法，能夠?yàn)槊恐谎劬ι勺顑?yōu)的光場(chǎng)輸出。EyeReal在低成本光場(chǎng)傳輸裝置上實(shí)現(xiàn)了超過100°的視角、1920 × 1080的空間分辨率以及50 Hz的刷新率。實(shí)驗(yàn)表明，該系統(tǒng)不僅支持立體視差、運(yùn)動(dòng)視差和焦距視差，還能在任意雙目觀看位置下實(shí)時(shí)合成高質(zhì)量光場(chǎng)，為教育工具、3D設(shè)計(jì)和虛擬現(xiàn)實(shí)等應(yīng)用提供了潛在可能。相關(guān)研究成果以題為“Glasses-free 3D display with ultrawide viewing range using deep learning”發(fā)表在最新一期《nature》上，第一作者為復(fù)旦大學(xué)Weijie Ma。

【動(dòng)態(tài)SBP利用：從靜態(tài)妥協(xié)到實(shí)時(shí)優(yōu)化】

傳統(tǒng)3D顯示系統(tǒng)對(duì)SBP的利用是被動(dòng)和靜態(tài)的，導(dǎo)致在顯示尺寸、視角和視差完整性之間必須做出妥協(xié)。EyeReal通過實(shí)時(shí)優(yōu)化SBP的使用，將有限的光學(xué)信息集中在眼睛及其周圍區(qū)域，從而實(shí)現(xiàn)了在廣泛視角范圍內(nèi)的高質(zhì)量3D成像。根據(jù)傅里葉光學(xué)，SBP定義為系統(tǒng)信息容量，其數(shù)學(xué)表達(dá)式為 S= A δ x δ y =4A( t x, max , t y, max ) 。例如，一臺(tái)24英寸、1920 × 1080分辨率的顯示器在532 nm綠光波長(zhǎng)下的視野角僅為約 0.1 ° × 0.1 ° ，而完整光場(chǎng)所需SBP高達(dá)565G，遠(yuǎn)超當(dāng)前顯示技術(shù)極限。EyeReal通過模擬人腦對(duì)視角切換的響應(yīng)間隔，實(shí)時(shí)優(yōu)化雙目周圍的光信息流，從而在有限SBP下實(shí)現(xiàn)最優(yōu)顯示效果。

圖 1. 在有限 SBP 使用下，不同自立體模型與 EyeReal 顯示結(jié)果的示意比較

【光場(chǎng)生成：物理建模與神經(jīng)網(wǎng)絡(luò)結(jié)合】

EyeReal采用多層液晶面板堆疊作為光場(chǎng)傳輸裝置，無需復(fù)雜定制光學(xué)元件。其光強(qiáng)輸出遵循馬呂斯定律，表示為 I= ? i∈[ F i ] ( I 0 (i) sin ? 2 ( ∑ d∈D ? d )) 。系統(tǒng)通過建立雙目相機(jī)模型，將光場(chǎng)與雙目成像平面對(duì)應(yīng)，利用6D位姿矩陣實(shí)現(xiàn)幾何編碼（圖2a、d）。隨后，通過輕量級(jí)全卷積網(wǎng)絡(luò)將視網(wǎng)膜圖像分解為分層相位圖（圖2e），并結(jié)合結(jié)構(gòu)化損失函數(shù)進(jìn)行優(yōu)化，實(shí)現(xiàn)實(shí)時(shí)、高質(zhì)量的光場(chǎng)合成。

圖 2. EyeReal 光場(chǎng)生成方法

【實(shí)驗(yàn)結(jié)果：全視差3D顯示的有效性驗(yàn)證】

EyeReal在多種場(chǎng)景下進(jìn)行了全面評(píng)估。在計(jì)算機(jī)生成內(nèi)容中，無論是物體級(jí)（擴(kuò)展數(shù)據(jù)圖4a、b）還是場(chǎng)景級(jí)（圖3a）重建，均表現(xiàn)出高質(zhì)量的立體輸出。真實(shí)場(chǎng)景捕捉結(jié)果（圖3b、擴(kuò)展數(shù)據(jù)圖5a–d、6a–b）也驗(yàn)證了其在不同尺度和光照條件下的魯棒性。系統(tǒng)在水平、垂直和徑向運(yùn)動(dòng)范圍內(nèi)均能保持視圖一致性（圖3c），并支持焦距視差，在不同焦平面下呈現(xiàn)清晰的深度選擇性（圖3d）。物理設(shè)備測(cè)試中，左右眼視圖具有明顯視覺分離（圖3e），且在多維空間運(yùn)動(dòng)中保持穩(wěn)定性（圖3e右）。焦距評(píng)估顯示前景與背景可根據(jù)焦點(diǎn)位置清晰或模糊（圖3f），有效緩解了輻輳-調(diào)節(jié)沖突（VAC）。此外，動(dòng)態(tài)內(nèi)容實(shí)時(shí)渲染（補(bǔ)充視頻4）進(jìn)一步展示了其在實(shí)際應(yīng)用中的潛力。

圖 3. EyeReal 的全視差自動(dòng)立體演示

【性能基準(zhǔn)測(cè)試：局部與全局一致性優(yōu)勢(shì)】

與現(xiàn)代視圖分段自動(dòng)立體顯示相比，EyeReal在雙目周圍區(qū)域提供了更廣的高質(zhì)量視野（圖4a左）。視圖分段模型的有效視點(diǎn)范圍（<20 mm）甚至小于人眼直徑（約25 mm），且易因預(yù)設(shè)眼位與實(shí)際瞳距不匹配導(dǎo)致視覺失真。而EyeReal通過優(yōu)化眼睛周圍的光場(chǎng)生成，確保了廣域內(nèi)的高質(zhì)量一致性和運(yùn)動(dòng)容錯(cuò)（圖4a右）。在視圖密集模型中，現(xiàn)有方法如基于非負(fù)張量分解的迭代視圖密集方法和神經(jīng)視圖密集方法在近距離或斜向視角下泛化能力差（圖4c、d），而EyeReal憑借精確的物理建模在所有視野范圍內(nèi)均表現(xiàn)優(yōu)異。此外，EyeReal的實(shí)時(shí)運(yùn)行速度達(dá)50.2幀/秒，比現(xiàn)有方法快1–2個(gè)數(shù)量級(jí)（圖4e）。景深連續(xù)性評(píng)估顯示其在不同焦深下均具有平滑過渡和清晰峰值（圖4f）。任意視點(diǎn)性能的熱圖（圖4g）進(jìn)一步證實(shí)了其在超100°視角和無縫運(yùn)動(dòng)范圍內(nèi)的優(yōu)異表現(xiàn)。

圖 4. 對(duì)大型顯示中 EyeReal 和被動(dòng) SBP 利用模型的多層次一致性能評(píng)估

【總結(jié)與展望：動(dòng)態(tài)SBP利用開啟自然3D顯示新途徑】

EyeReal通過將物理原理與AI驅(qū)動(dòng)的數(shù)學(xué)模型相結(jié)合，實(shí)現(xiàn)了對(duì)有限SBP的動(dòng)態(tài)優(yōu)化利用，首次在大尺度、實(shí)時(shí)、超寬視角的無需眼鏡3D顯示方面取得了突破。該系統(tǒng)不僅解決了傳統(tǒng)顯示中圖像尺度與視角之間的根本矛盾，還通過低成本硬件和消費(fèi)級(jí)組件展示了實(shí)際應(yīng)用的可行性。未來，通過集成時(shí)間復(fù)用、定向背光等技術(shù)，EyeReal有望擴(kuò)展至多用戶場(chǎng)景。此外，其動(dòng)態(tài)SBP利用策略也有潛力應(yīng)用于其他光場(chǎng)顯示技術(shù)，如大規(guī)模可更新全息顯示，為實(shí)現(xiàn)真正自然的無需眼鏡3D顯示開辟了新的技術(shù)路徑。