視聽合一！“基于視覺理解的三維聲重合成技術” 獲廣電總局高新視頻創新應用大賽一等獎

來源：科技視聽

在超高清視頻成為行業主流的今天，4K/8K畫質早已走進千家萬戶，但你是否有過這樣的體驗：畫面清晰到纖毫畢現，聲音卻總感覺“跟不上”——或定位不準，或雜音干擾，沉浸感大打折扣？

日前，在廣電總局高新視頻創新應用大賽中，“基于視覺理解的三維聲智能化重合成技術”一舉斬獲生產端一等獎。該技術由中國傳媒大學與廣東南方新媒體股份有限公司聯合研發，以深度學習為核心，實現了視覺與聽覺的精準協同，為超高清視聽內容生產提供了高效解決方案。

技術背景

超高清時代的“聲音剛需”

當前，超高清產業發展與國家文化數字化戰略高度契合，4K/8K超高清技術廣泛應用于多地頻道、博物館展廳、端游等場景。作為超高清六維技術的核心組成，聲音直接影響用戶的沉浸體驗。數據顯示，目前全球三維聲市場需求持續暴漲，預計2030年市場規模將增長至164.6億美元，復合年增長率高達12.81%。

然而，傳統三維聲合成依賴人工塑聲，不僅成本高、制作周期長，效果也因混音師主觀經驗而異，難以滿足大規模標準化生產需求。更突出的問題是“視聽兩張皮”：一方面，沉浸式三維聲重合成技術相對視覺超高清技術發展緩慢。另一方面，大多數三維聲重合成方法只側重音頻，忽略了與視覺信息的協同互補，使沉浸式體驗大打折扣。還有一些使用視覺作為空間信息重構指導的方法則普遍存在視聽同步性不足、空間定位精度低、背景噪聲干擾等問題，無法實現聲音與畫面動作、場景空間的動態適配，成為制約超高清產業發展的關鍵瓶頸。因此，亟需一套“視聽協同”的全新解決方案。

三大核心技術

重構三維聲生產邏輯

“基于視覺理解的三維聲重合成技術”的核心突破是用“視聽計算”替代“手工錄制”，構建了一套“體驗量化指導—算法自動補采—視聽動態映射”的三維聲重合成智能系統，并提出了“評測端定位、采集端降本、重構端提質”的三維優化思路，實現了從人為主觀感知到算法客觀評價，從專用設備依賴到通用音頻計算，從視聽靜態匹配到動態同步的跨越。

01

腦電技術賦能，讓“聽感”客觀且可量化

當前視聽質量評估多采用人工多級評分方法，但該方式受個體審美偏好、主觀判斷差異的影響顯著。面對海量視聽內容，迫切需要構建一套統一、穩定的質量評估標準，并形成客觀化的視聽感知量化方法。為此，團隊創新提出“群體客觀性度量”的解決方案，以腦電特征為客觀表征載體，實現跨個體的感知質量統一度量，突破傳統主觀評價的局限性。通過采集不同年齡段被試者的腦電時域、空域、頻域特征，將視聽感知質量拆解為清晰度、一致性、沉浸度三個核心維度，成功將“主觀經驗判斷”轉變為“客觀數據度量”，為三維聲合成提供了精準的優化依據。

具體技術實施流程可概括為：首先選取多組音視頻片段作為刺激材料，生成標準化的音視頻刺激序列，隨后開展腦電實驗，采集被試接收刺激時的腦電響應。之后，基于采集的腦電信號，提取其時域、頻域及空域特征，進而構建腦電感知評分預測模型，最終形成“基于腦電響應的質量評價指標”，完成視聽感知質量的客觀量化。總的來說，這一技術建立了腦電特征與視聽質量之間的定量度量關系，為后續三維聲合成的自主驅動優化，提供了客觀、可量化的感知質量依據。

圖 基于腦電特征的視聽感知量化技術

02

智能去噪，留住純凈原聲

由于錄制設備和錄制環境的隨機性，設備間的電路噪聲以及錄制環境的背景噪聲會直接影響未空間化的音頻聽感。而現有的音頻去噪方案對于不同類型、不同頻段的含噪聲音頻采用無差別處理模式，這導致噪聲殘留，或損壞非噪聲諧波結構。因此，亟需建模音頻諧波結構，實現自適應去噪。

針對這一問題，團隊創新提出自適應高效去噪模型，包括兩個模塊：第一個是基于高效通道注意力機制的特征學習模塊，通過高效通道注意力機制捕捉通道間局部依賴，分區挖掘局部細節特征，結合監督注意力子模塊強化目標音頻特征，針對性建模音頻諧波結構，在數據驅動模式下區分噪聲與音頻的有效成分。第二個模塊則基于細粒度特征實現自適應降噪，避免無差別處理帶來的聽感損失。該技術能平衡噪聲濾除效果和音頻表達完整度，實現54.6%的噪聲濾除度，顯著優于傳統去噪方法，為三維聲合成提供純凈輸入源。

圖 基于高效通道注意力的自動音頻去噪技術

03

視聽時空動態同步，聲隨畫動

在空間音頻重合成的子領域，即立體聲音頻重合成方法中，往往采用視聽內容整體分析策略，無法捕捉聲源動態變化，導致位置錯誤、發聲狀態誤判等問題。

本團隊提出“分離-混合”兩步法，首先通過時空動態分析算法，將復雜場景拆分為多個獨立視聽區域，之后并行完成各區域視聽特征提取與融合。技術上，創新采用基于聲源區域的視聽特征融合編碼方法，通過ResNet-18網絡提取視頻幀淺深層特征，精準定位潛在發聲區域。結合關聯金字塔網絡實現跨模態特征融合。最后將各獨立視聽區域的三維聲音頻按通道混合，實現聲源位置與畫面動態的實時匹配。該方案顯著提升了合成精度與效率，其中視聽一致度高達64.3%，計算效率方面英偉達RTX A5000單卡處理10秒音頻僅需0.491秒。

圖 視聽時空動態同步重合成技術

10年深耕結碩果

技術落地多場景惠及千萬用戶

經過近10年深耕，“基于視覺理解的三維聲重合成技術”的研發團隊構建了“理論研究-技術突破-平臺開發-產業應用”的完整創新鏈。不僅在IEEE TPAMI、ACM MM等頂級期刊和會議發表論文10余篇，還申請/授權發明專利5項，發布行業標準4項，軟件著作權1項。

扎實的技術積累，最終轉化為實實在在的應用價值。目前，這項技術已在超高清視頻制作、老電影修復、文博展覽等多個領域規模化落地，成效顯著。在超高清視頻領域，已集成于廣東、河南IPTV播控平臺，覆蓋4277萬用戶，完成《逃學神探》《哆啦A夢》等4811分鐘影視內容的5.1聲道重構，讓家庭用戶盡享影院級環繞聲體驗；在老電影修復領域，為中國電影資料館國寶級影片《解放了的中國》提供音軌修復技術支持，還原經典作品的原聲質感，相關成果獲CCTV-1《機智過人》節目報道；在文博領域，已走進湖南博物院、河南博物院，通過樂器三維聲生成，讓觀眾能“聽見”文物背后的歷史故事，創新科普傳播形式。

未來可期

智能+定制化三維聲在路上

“基于視覺理解的三維聲智能化重合成技術”通過打通視覺與聽覺的跨模態協同壁壘，不僅破解了超高清內容生產中制作效率低、視聽不同步等行業痛點，還為影視制作、網絡直播、VR/AR等領域提供了低成本、高質量的三維聲解決方案。未來，團隊還將進一步引入語音識別、文字識別等多模態信息，強化復雜場景適配能力，并結合用戶個性化需求，實現定制化三維聲合成。相信在各項技術的共同推動下，超高清視聽產業將持續向智能化、標準化、規模化方向發展。

好文共賞請轉發 有話要說請留言