最近,小雷在網上刷視頻,偶然看到這樣一條截圖:
![]()
(圖源:youtube)
這是從卡普空新作《識質存在》的測試Demo中截取出來的片段,這張游戲截圖相當模糊,仿佛像是將一張正常的游戲截圖,用微信來回傳了二十多遍后帶有“電子包漿”的網圖。
不得不說,雖然糊得沒眼看,游戲的場景還算是勉強看得清的,人物、背景、場地都還算能識別。
但是,如果告訴你,這游戲的內部實際渲染分辨率是38x22呢?
這位大神使用了dlsstweaks修改軟件,將22p的畫面效果經由英偉達最新的dlss4.5,搭載了第二代transform模型算法的超分技術上采樣到了4k。
![]()
(圖源:youtube)
而原像素,大概占據這么一小塊。
無獨有偶,還有一個更加極限的場景:在小黑盒上,有玩家使用《巫師3》這款游戲超分生成進行上采樣,它的原像素是多少呢?是16x9,沒錯,不是16:9而是16x9,這意味著整個屏幕像素數量只有144塊。直接觀看,看起來像是某些博物館上展出的抽象主義作品,如果沒有周邊的ui,很難讓人知道這是一款游戲。
![]()
(圖源:小黑盒)
而在dlss4.5的加持下,這款游戲的畫面是這樣的。
![]()
(圖源:小黑盒)
雖說依舊模糊,但它起碼能清晰地分辨出人物與背景的位置關系,有點類似近視眼沒戴眼鏡時的效果,這樣的畫面技術著實讓人汗顏。
曾幾何時,超分辨率還是一個飽受爭議的話題,2018年首次搭載的dlss1的超分質量也難以給出讓人信服的答復。然而到了近幾年,幾乎99%的2a或者3a游戲都至少采用了dlss,fsr,xess此類超采樣技術的一種或多種。
![]()
(圖源:youtube)
而在幾個月前的ces展會上,英偉達正式公布了dlss4.5,帶來了第二代的Transfromer模型與高達6X幀生成技術。
我們暫且拋開最開始圖上那些用修改工具做出來的極端情景,就單純使用官方允許的最大化設置。在同時開啟DLSS超級性能檔+6X幀生成的情況下,一款游戲在4K300FPS超高分辨率和超高幀率運行的游戲,其內部實際渲染的畫面只有720P+50FPS。拋開超分超幀所需的計算量不談,游戲背后的實際計算量僅有原生畫面的1.85%。也就是說,游戲98%的畫面是由AI生成的。
暫不論“我們是在玩游戲還是玩AI”這種忒修斯之船的哲學問題,但我們能清晰地看到,延續了40余年的圖形技術正在迎來一次深刻的變革。
若要理解這深刻的變革,不妨從那場變革最開始的源頭說起。
最早起家ai圖形技術的英偉達
在2018年的德國科隆展上,NVIDA正式發布了20系游戲顯卡。除了常規的性能升級外,此次20系顯卡還帶來全新的硬件光線追蹤技術以及專屬的ai計算單元tensor core。配合這款專屬的ai計算單元的是首代深度學習超采樣(Deep Learning Super Sampling,簡稱dlss)。
![]()
(圖源:NVDIA)
在最開始,這類超采樣技術是為了彌補20系顯卡同期帶來的光線追蹤的不足——因為是首次研發此類技術,導致開啟光追后的游戲幀數暴跌,此時就需要通過降低分辨率來降低渲染壓力。而又想要保證畫面質量,因此dlss便應運而生。
dlss借助其ai單元,由預先訓練好的模型,在分辨率降低后空出的地方“猜測”像素進行填充(與現今的ai語言大模型相當相似)。
然而,初代的dlss的實際落地表現并不好,雖說已經比降級直出的要好上不少,但仍然存在模糊嚴重的問題。同時,與現在的隨意調整渲染倍率的現代超分方案不同,你只能在固定的分辨率下以固定的縮放形式輸出,還需要針對每一款不同的游戲分別進行模型訓練……總之,玩家們并不買賬。
而在大約一年半后,英偉達推出了dlss2.0,這次的技術進步相當大,同時也奠定了現代AI超分技術的基礎。這次的模型升級為CNN(卷積神經網絡)模型,不僅模型生成速度達到了上代的2倍,還能夠從多個歷史幀中提取向量、深度等數據作為畫面參考,還帶來了質量、平衡、性能三個超分辨率擋位,性能擋位能夠從1080p四倍上采樣到4k,而質量模式甚至已經接近了原生畫面的水平。
此后,dlss2.X也在不斷更新,每一次版本迭代都讓畫面質量更上一層。也是在此時,超分辨率低劣的刻板印象在玩家群體中逐漸消失,此類技術贏得了更多玩家的青睞
然而若是以目前普遍接受的超分技術來比較,dlss3.0新帶入的幀生成技術帶來的爭議要大得多。
![]()
(圖源:NVDIA)
DLSS3與RTX40系列顯卡一同發布,它使用新硬件的光流加速器在兩幀之間額外生成一幀,實現了雙倍的幀數提升。但同時也引入了額外的延遲,不少玩家在使用超分辨率時抱怨增加的延遲嚴重影響了游戲手感,特別是在射擊類或者動作類需要高精度反應的游戲中顯得尤為突出。同時dlss3.0在超分模型上引入了超級性能擋位,能夠以720p分辨率基底上采樣至4k。
到了當前最新的RTX50系顯卡,老黃也同步帶來了dlss4.0,這次將超分與超幀這兩方面進行了完全重構。
![]()
(圖源:NVDIA)
在超分方面,從cnn模型更換成了全新的Transformer模型,采用了更大的模型計算量,圖像生成的質量得到了極大地提高。原先的性能擋位即可媲美cnn質量檔,更高級的平衡檔和質量檔甚至已經超越了原生的畫面水準。
![]()
(圖源:NVDIA)
超幀方案也從原先的光流方案升級到了新的AI生成模型,不僅生成速度加快,顯存占用降低,相比dlss3的方案顯著降低了延遲,還支持了最多4倍的幀數倍率。
在開啟超分超幀等所有方案后,各種頂級3a游戲大作都達到了恐怖的兩百多幀。
![]()
(圖源:NVDIA)
到了最新的一代,英偉達在ces展上給出了最新dlss4.5技術,6X幀生成與第二代transformer模型的出現,算是給本就成熟的AI圖形技術再度強化。
已經離不開AI的游戲業界
游戲開發商們也對這些AI技術相當重視。
對于他們而言,超分超幀技術的“反向應用”可以大大地縮短開發周期與降低成本。
在游戲開發過程中,“優化”一直是一個費力不討好的工作,需要在資源受限的情況下去做減面、縮光影、砍畫質等內容極為耗時耗力。而有了此類技術,則能夠通過AI輕松生成出高質量的畫面與極高的幀數。
![]()
(圖源:NVDIA)
這當然也相當程度地影響了部分“守舊派”,對那些拒絕使用超分超幀的用戶來說,他們成了犧牲品。然而在這“時代車輪滾滾向前”的大潮中,此類人要么最終“真香”,要么孤注一擲,用著殘缺的顯卡性能體驗游戲,尤其是當前的顯卡價格的構成早已不是單純的光柵化性能,AI、光追也在產品價格中占據了相當一部分。
所以,積極擁抱未來技術既是理智的,也是不得不做出的選擇。如果能主動選擇,這類技術甚至能讓曾經的60系甜品卡,在2K乃至4K分辨率的最高畫質下流暢運行游戲。
未來的游戲形態?
當下的dlss超分技術無論多么先進,目前更像是錦上添花,游戲的所有元數據依然需要大量的人工開發,哪怕做到了99%,沒有剩下的那1%依然無法滿足需求。
同時,這類技術并非沒有副作用,如同前文提到的模糊,延遲等問題,目前到最新的技術下依然沒有得到妥善地解決,超分帶來的畫面bug和超幀帶來的操作不跟手的問題依然存在。我們還需要等待技術的進一步成熟。
近幾年還推出了一種完全由AI生成的游戲形式,雖然目前來說僅僅是個技術展示,甚至連正常游玩都做不到,但展望未來,或許由人工搭建的游戲與純AI游戲將會并行發展。
當下這個摩爾定律失效,制程工藝接近極限的時代,這類ai技術正在使用“曲線救國”的技術持續的更新迭代。
由編輯“定西”和主播“阿雷”領銜的雷科技MWC26報道團已集結完畢,將于2月27日啟程飛赴巴塞羅那。
MWC(世界移動通信大會)26主題是智能新紀元「The IQ Era」,將在5G-A/6G通信新技術外,生動展示AI、IoT、XR、機器人、云計算、智能出行等技術及其解決方案的應用。
AI4Enterprise、AI Nexus、ConnectAI、游戲規則改變者們、智能基礎設施、Tech4All,六大主題盛宴,AI貫穿全場、連接未來。
3月,與雷科技報道團一起,在巴塞羅那洞見AI落地新趨勢。
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.