新智元報道 【新智元導(dǎo)讀】英偉達將在今年秋季推出DLSS 3.5!以此為基礎(chǔ),英偉達將進一步增強未來的圖形性能。人工智能正在改變世界,圖形計算這塊也不例外。 五年前,英偉達推出了DLSS技術(shù),通過每個GeForce RTX GPU中的Tensor Core實現(xiàn)神經(jīng)渲染來提高性能,在圖形領(lǐng)域帶來了速度更快、圖像質(zhì)量更高的圖形處理革命。 從那時起,DLSS背后的Al模型就在不斷學(xué)習(xí)新的功能,如「幀生成」(Frame Generation),不僅將渲染速度提高了4倍,還獲得了出色的圖像質(zhì)量。 今天,英偉達推出了NVIDIA DLSS 3.5,再次推動了渲染技術(shù)的發(fā)展。 這是一種全新的AI模型,采用了光線重建(Ray Reconstruction)技術(shù),能為密集型光追游戲和應(yīng)用程序,創(chuàng)建更高質(zhì)量的光追圖像。 而且,因為DLSS 3.5之中的光線重建技術(shù)本身不依賴硬件,所以老的RTX系列的顯卡也能享受到這項技術(shù)升級。 不得不說黃老板還是厚道呀。 舉個栗子,RTX 4060可以享受到目前DLSS技術(shù)中的「SR+FG+RR」;RTX 2060可以享受到「SR+RR」。 那我們現(xiàn)在就再來看看光線重構(gòu)(RR)技術(shù)的原理具體是什么樣的。 工作原理 光線追蹤是一種圖形渲染方法,可以模擬光線的物理行為。 首先,游戲引擎生成了場景的幾何形狀和材質(zhì),它們都具有物理屬性,會影響它們的外觀以及光線與它們的交互方式。 從攝像機的視角來拍攝光線樣本,能夠確定場景中光源的屬性以及光線照射到材料上時的反應(yīng)。例如,如果光線照射到鏡子上,就會產(chǎn)生反射。 但如果為屏幕上的每個像素發(fā)射光線,在計算上就太過耗時。 即使是對需要數(shù)分鐘或數(shù)小時計算場景的離線渲染器來說,也是如此。 因此,必須使用光線樣本,即能在場景的各個點發(fā)射少量光線,以獲取場景光照、反射和陰影的代表性樣本。 它可以輸出一個帶有噪點和空白間隙的圖像,來確定在光線追蹤時場景應(yīng)該如何呈現(xiàn)。 為了填補未經(jīng)光線追蹤的缺失像素,手動調(diào)整的降噪器使用了兩種不同的方法: 一種是在時間上累積多個幀的像素,另一種是在空間上進行插值,將相鄰像素混合在一起。 通過這一過程,嘈雜的原始輸出被轉(zhuǎn)換成光線追蹤圖像。 這些手動調(diào)整的降噪器,需要為場景中每種類型的光線追蹤光照進行人工調(diào)整和處理。 這增加了開發(fā)過程中的復(fù)雜性,也提高了成本。 在高度光線追蹤的游戲中,如果讓多個降噪器同時運行以最大化圖像質(zhì)量,還會降低幀率。 每個手動調(diào)整的降噪器,會從多個幀中積累像素以增加細節(jié),這實際上是從過去「竊取」了光線。 但是,這樣做也有可能會引入重影、消除動態(tài)效果,或者降低其他效果的質(zhì)量。 它還能插入相鄰像素,并將這些信息混合在一起。 但這樣做的風(fēng)險可能會導(dǎo)致混合掉過多的詳細信息,或者混合不足,產(chǎn)生不均勻的光照效果。 升頻是光線追蹤照明流水線的最后一個階段,也是在快速幀速率下體驗最精細、要求最高的游戲的關(guān)鍵。 但是由于降噪處理會移除或減少效果的質(zhì)量,手動調(diào)整的降噪器的局限性會被放大,這會削弱許多細節(jié)(也稱為高頻信息)。 而這些細節(jié),是就超分辨率技術(shù)用來輸出清晰、干凈圖像的關(guān)鍵。 為此,英偉達提出的解決方案,就是DLSS 3.5。 他們的最大創(chuàng)新在于光線重建,這是一個增強版AI驅(qū)動的神經(jīng)渲染器,用經(jīng)過NVIDIA超算訓(xùn)練的AI網(wǎng)絡(luò),替代了手動調(diào)整的降噪器。 這樣就在采樣的光線之間生成了更高質(zhì)量的像素,從而提高了所有GeForce RTX GPU的光追圖像質(zhì)量。 DLSS 3.5的訓(xùn)練數(shù)據(jù)比DLSS 3多了5倍,因此它能夠識別不同的光追效果,以更智能的方式?jīng)Q定如何使用時間和空間數(shù)據(jù),并保留高頻信息,從而實現(xiàn)優(yōu)質(zhì)超分辨率。 離線渲染圖像所需的計算能力遠高于實時游戲所需的計算能力,而光線重構(gòu)技術(shù)可從訓(xùn)練數(shù)據(jù)中識別光照模式,如全局光照或環(huán)境遮擋,并在游戲中邊玩邊重現(xiàn)。 這個結(jié)果優(yōu)于使用手動調(diào)整的降噪器。 在支持RTX的《傳送門》中,當(dāng)DLSS關(guān)閉時,降噪器在空間插值方面會出現(xiàn)問題,無法混合足夠的像素,從而產(chǎn)生斑點效果。 此外,它也沒有從以前的幀中積累足夠的好像素,導(dǎo)致在光線下會出現(xiàn)沸騰效果。 有了DLSS 3.5后,它就能識別與反射相關(guān)的某些模式,并保持圖像穩(wěn)定,積累精確像素、同時混合相鄰像素,生成高質(zhì)量的反射效果。 在以下《賽博朋克2077》的場景中,圍繞汽車的車頭燈照明效果不準(zhǔn)確。這是由于手動調(diào)整的降噪器從之前幀中提取了不準(zhǔn)確的光照效果。 而DLSS 3.5能夠準(zhǔn)確生成光照效果。我們不僅可以清楚地看到車頭燈的光束,還能夠看到光線在汽車前方路緣上的反射。 《賽博朋克2077》中的夜之城街道上充滿了來自旋轉(zhuǎn)廣告牌和霓虹燈的反射。 通過啟用DLSS 3.5,這些反射的質(zhì)量和清晰度會在整個城市范圍內(nèi)得到極大的提升。 另外,各種創(chuàng)意應(yīng)用對傳統(tǒng)降噪器來說也是一個挑戰(zhàn)。因為它們需要根據(jù)每個場景進行手動調(diào)整,所以在預(yù)覽內(nèi)容時,圖像質(zhì)量會不夠理想。 而有了DLSS 3.5,AI神經(jīng)網(wǎng)絡(luò)就能夠識別各種各樣的場景,在預(yù)覽和最終渲染之前生成高質(zhì)量的圖像。 此外,D5 Render是一個面向建筑師和設(shè)計師的先進應(yīng)用程序,它將于今年秋季與DLSS 3.5一同推出。 得益于RTX技術(shù),現(xiàn)在我們在PC或筆記本上就能擁有兩臺計算機的動力。 第一臺是英偉達超算,它用數(shù)十億個數(shù)據(jù)點對DLSS AI模型進行訓(xùn)練,以提升性能和圖像質(zhì)量。 第二臺就是GeForce RTX顯卡,它專用的張量核心可以實時運行AI模型,而專門的RT核心、創(chuàng)新技術(shù)(如著色器執(zhí)行重排序)以及每個RTX GPU的強大性能,都保證了一流的光追效果。 今年秋天,這些游戲就支持DLSS 3.5了 NVIDIA DLSS 3.5將于今年秋季在以下游戲和軟件中推出—— |
|