26歲上海人工智能實驗室聯培博士研究成果登《自然》正刊，破解裸眼3D顯示技術難題

近日，上海人工智能實驗室與復旦大學聯合培養博士生馬煒杰，在《Nature》（《自然》）雜志發表其歷時兩年打磨的裸眼3D技術研究成果——新一代裸眼3D顯示系統書生·瞳真EyeReal。該成果利用AI技術首次實現桌面級顯示尺寸下超寬范圍的全視差裸眼3D顯示。

26歲的馬煒杰日前在接受澎湃科技專訪時形容自己是反常規的“掉隊”學生，但正是這樣的經歷給了他審視自我、辨識方向的契機，能夠沉下心來純粹做事。當肯下“笨功夫”的年輕人，扎根于鼓勵創新的科研“沃土”，一顆看似微小的科研種子，便有了生根發芽的底氣，最終結出《Nature》期刊上令人矚目的科研果實。

裸眼3D顯示。AI驅動實現眼睛到哪里，信息就跟到哪里。

AI助力“魚和熊掌”兼得

和VR/AR設備相比，裸眼3D技術徹底“去設備化”，更適合長時間舒適自然地觀看與交互。數字全息顯示可提供極高的視角和畫質，但不得不壓縮顯示尺寸至指甲蓋大小，而裸眼3D顯示則可以更大尺寸提供3D觀感。

但受限于物理光學中“空間帶寬積”這一極其有限的“光學信息預算”，馬煒杰介紹，傳統裸眼3D顯示技術只能以靜態方式將有限信息量均勻分配至所有可視角度，難以兼顧大尺寸、寬角度和視覺連續性這個“不可能三角”，導致要么犧牲尺寸，要么犧牲視角，要么犧牲連續性，三種方案都無法獲得舒適的3D觀感。

“在現有物理約束下，要實現大尺寸、寬角度和視覺連續性，就得利用AI實時優化?！睘榇?，他提出一種動態最優利用有限信息預算的主動式解決方案，在不增加硬件成本的情況下，通過AI驅動引擎，將全部信息量實時聚焦于觀看者視線落點。深度學習算法在毫秒級時間內實時計算出人眼在每一個觀察方向的最佳顯示方案，實現眼睛到哪里，信息就跟到哪里。

該成果因此突破了既往技術中的權衡關系，讓大尺寸畫面和超寬的自由連續觀看范圍可以共存。在完全兼容消費級液晶面板、無需復雜光學元件或特制硬件情況下，實現了桌面級顯示尺寸內超100度超寬視場角，包含水平、垂直等全部視差類型的實時三維顯示，也從根本上避免了傳統3D顯示常見的因瞳距失配而產生的眩暈不適感，做到“魚和熊掌”兼得。

EyeReal提供了一種更高效、自然的人機協同模式，有望加速科學發現進程。上海人工智能實驗室青年科學家白磊介紹，“EyeReal是一種光學信息運用全新范式，它不僅為全新的探索工具提供技術基礎，使科學研究者得以用更直觀、沉浸式的方式進行數據交互，從而實現更高效、更自然的人機協同；同時，通過探索提升光場信息利用效率的新路徑，可幫助大模型更精準地捕捉、理解和模擬現實世界中復雜的物理現象，從而推動AI4S大模型向真實物理世界的全面融合邁進。”

此外，《Nature》稱，該技術亦有望在教育工具、虛擬現實等領域開拓創新應用。

“掉隊”學生的逆襲

“做這個課題是純粹的興趣驅動，換句話說，如果沒有這樣的出發點，我是堅持不下來的，因為這非常難?！睆奶远制骷?、擰每一顆螺絲，搭建出實驗原型，到打磨出最終的論文，馬煒杰心無旁騖地一頭扎進研究，一做就是兩年。

他形容自己是一個“反常規”的學生，喜歡嘗試新領域，不追求論文高產，始終關注探索人工智能賦能多元領域的應用可能。從早期在機器人領域奪得世界冠軍，到隨后將探索觸角延伸至智慧醫療與交通等多個應用場景，在加入上海人工智能實驗室聯培博士專項后，他開始主攻交叉綜合的裸眼3D顯示技術領域，有志挑戰傳統難題。

有時候，一個領域的“不可能”是另一個領域的“常識”。正是這些多樣化的跨領域實踐，讓他構建了扎實的能力基礎、培養了他的“交叉思維”，進而想到了用AI計算主動管理信息預算的思路解決傳統裸眼3D顯示技術“不可能三角”這一難題。從0到1的研究意味著沒有現成路徑可循，研究者只能硬著頭皮從頭探索?！爱敃r實驗室的導師鼓勵我不要以論文為導向，專心做科研更有意義。導師還告訴我，在這條技術路線上，我就是一個先行者，沒有先例可以參考，實驗室可以為我提供支持，但落地必須靠自己。”

“許多優秀的同學在讀博之前就已經有很多論文加身了，而我走的路比較反常規，一直在探尋自己想要挑戰的方向，這一點上來看可以說已經 ‘掉隊’了。但也正因如此，我反而更能沉下心來，純粹地把事情做好。”兩年“真空期”里，他只做兩件事：革新技術、打磨結果。

“在AI圈子里，一般有主結果出來一兩個月內就會形成一篇會議投稿文章，相比之下用一兩年時間去打磨一篇論文顯得天方夜譚?！北M管已經得出了定性結果，但若要將文章真正做扎實、做透徹，仍需持續投入時間深入打磨。AI領域熱點迭代頻繁，在追求“短平快”的學術氛圍中，盡快發表初步成果是多數人的選擇，但在他看來，扎實推敲的工作從不會缺價值認可的機會。

上海人工智能實驗室與復旦大學聯合培養博士生馬煒杰。

創新的土壤

馬煒杰于2024年加入上海人工智能實驗室聯培博士專項。據悉，上海人工智能實驗室于2022年正式啟動這一專項，依托高校培養優勢和實驗室世界級科研平臺，讓優秀青年在頂尖科學家的指導下挑戰前沿難題、參與重大科研項目，目前已吸引近800名來自全國頂尖學府的優秀學子加入。

除了聯培博士專項，上海人工智能實驗室還創新性地提出“三梯合一”發展通道、“奧斯卡”式激勵等人才機制，鼓勵青年人才挑大梁、助力青年人才實現多維價值。這些不到30歲的青年科研人員已經是實驗室的中流砥柱，正以年輕人的活力和智慧成就人工智能年輕的事業。

同時，上海人工智能實驗室通過構建浦江科學社區，廣泛鏈接國內外優秀科研團隊和人才，鼓勵有志于挑戰科學邊界的科學家發現問題、提出問題，并結合“AGI4S攀登者行動計劃”等扶持機制，讓突破性技術從實驗室走向更廣闊的世界舞臺。

正是在這樣的環境下，“天才”的想法有了生根發芽、開花結果的機會。

談及未來，馬煒杰表示，“畢業后將繼續打磨裸眼3D顯示技術，進一步優化算法、提高顯示質量，并嘗試將其投入實際應用?！彼谕磥淼穆阊?D顯示能成為一扇“數字任意門”——關機時便是一塊普通的透明玻璃，一旦開啟就變成一個通往數字世界的深邃窗口，變革人機交互方式?！霸谶@個窗口里，無論是人還是物，都具備真實的體積感和光影，交互自然流暢，徹底模糊虛擬與現實的邊界。”