適用于XeSS的英特爾幀生成技術即將推出ExtraSS通過幀外推來提升游戲FPS
英特爾可能是第三家在其XeSS框架(稱為ExtraSS)中推出幀生成技術的主要PC廠商,該技術在悉尼舉行的2023年SIGGRAPH亞洲展會上展示.
英特爾XeSS將利用ExtraSS幀外推技術加入幀生成潮流,與NVIDIADLSS3和AMDFSR3競爭
英特爾的XeSS技術是一種與硬件無關的升級技術,這意味著它也可以與NVIDIA和AMD的GPU配合使用。它通常也可與NVIDIA的DLSS升級技術和技術相媲美。領先于AMD的FSR。與NVIDIA的DLSS一樣,英特爾的XeSS利用AI加速器提供比其他升級方法更好的圖像質量,結果不言而喻這可以在迄今為止已發布的幾款XeSS游戲中看到。XeSS也是一項開源技術,這意味著它可以輕松集成到游戲中,并且幾乎所有具有XeSS功能的游戲也支持其他升級方法,例如FSR和DLSS。
但是,NVIDIA的DLSS和AMD的FSR技術已進一步擴展,支持幀生成,這是一種使用插值技術插入幀的方法。這可用于提高FPS,同時保持良好的圖像質量。NVIDIA的幀生成技術正在通過DLSS3.5進行更新進一步增強圖像質量,而AMD剛剛發布了新的FSR3.03更新解決了幀節奏問題,并提供了比以前更高的保真度。
英特爾XeSS“ExtraSS”使用外推法的幀生成管道。(圖片來源:IntelSiggraphAsia2023)
英特爾XeSS“ExtraSS”使用外推法的幀生成管道。(圖片來源:IntelSiggraphAsia2023)
這是英特爾XeSS迄今為止所缺乏的一個領域,但英特爾似乎正在開發其解決方案,作為XeSS的擴展,稱為ExtraSS。在“ExtraSS:聯合空間超級采樣和幀外推的框架”中演講,英特爾圖形研究副總裁AntonKaplanyan,&其他許多作者提出了用于幀生成的幀外推的想法。演示文稿的描述如下:
我們引入了ExtraSS,這是一種新穎的框架,它結合了空間超級采樣和幀外推來增強實時渲染性能。通過集成這些技術,我們的方法實現了性能和質量之間的平衡,生成暫時穩定的高質量、高分辨率結果。
利用變形的輕量級模塊和ExtraSSNet進行細化,我們利用時空信息,提高渲染清晰度,準確處理移動陰影,并生成時間穩定的結果。與傳統渲染方法相比,計算成本顯著降低,從而實現更高的幀速率和無鋸齒的高分辨率結果。
使用虛幻引擎進行的評估展示了我們的框架相對于傳統的單獨空間或時間超級采樣方法的優勢,可提供更高的渲染速度和視覺質量。憑借其生成暫時穩定的高質量結果的能力,我們的框架為實時渲染應用程序創造了新的可能性,突破了各個領域的性能和照片級真實感渲染的界限。
來自SIGGRAPHASIA2023
英特爾XeSS“ExtraSS”的有趣之處在于所使用的幀生成技術是“幀外推”。而不是“幀插值”。我們知道NVIDIA的DLSS3和DLSS3都支持DLSS3。AMDFSR3使用“幀插值”技術在特定場景中生成和插入幀,提供更高的FPS。插值和外插方法幾乎相同,但根據BlurBusters,主要區別在于生成幀的生成方式。
圖像顯示插入場景的外推幀,其質量比TAA方法更好。(圖片來源:IntelSiggraphAsia2023)
插值方法使用多個樣本來生成要插入的幀的近似值,而外推方法使用超出輸入樣本范圍的信息來生成幀的近似值。據稱,外推法可能會產生不太可靠的結果,并添加更多偽影,但我們一開始就看到了插值法的類似問題,因此通過一些調整和優化,XeSS“ExtraSS”可以解決問題。可能會在提供高質量和更高FPS方面找到一個中間立場。
研究論文本身還強調了插值法和外推法之間的差異。它表示,雖然幀插值可以產生更好的結果,但在生成幀時也會帶來更高的延遲,這就是為什么NVIDIA和AMD擁有Reflex和Anti-Lag等降低延遲技術來提供流暢的幀生成體驗。另一方面,外推法不會產生非常高的延遲,但由于缺乏生成新幀的關鍵信息而存在困難。XeSS“ExtraSS”旨在通過使用新的扭曲方法來解決這個問題,該方法有助于產生比以前的幀生成方法更好的質量和更低的延遲。
幀外推是僅使用先前幀的信息來提高幀速率的另一種方法。李等人[2022]提出了一種基于光流的方法,根據先前的流來預測流,然后將當前幀扭曲到下一幀。ExtraNet[Guoetal.2021]使用遮擋運動向量和神經網絡來處理未遮擋區域和G緩沖區信息的陰影變化。當場景變得復雜并在被遮擋的區域產生偽像時,他們的方法就會失敗。此外,它需要更高分辨率的輸入,因為它們只生成新幀。我們是第一個提出聯合框架來同時解決空間超級采樣和幀外推,同時保持高效和高質量的人。
插值與外推
幀插值和外插是時間超級采樣的兩種關鍵方法。通常幀插值會產生更好的結果,但在生成幀時也會帶來延遲。請注意,有一些現有的方法,例如NVIDIAReflex[NVIDIA2020],通過對輸入使用更好的調度程序來減少延遲,但它們無法避免幀插值引入的延遲,并且與插值和外插方法正交。
即使使用這些技術,插值方法仍然具有較大的延遲。幀外推具有較短的延遲,但由于缺乏來自輸入幀的信息而難以處理被遮擋的區域。我們的方法提出了一種具有輕量級流模型的新扭曲方法,以推斷出比之前的幀生成方法具有更好質量的幀,并且與基于插值的方法相比,延遲更少。
免責聲明:本答案或內容為用戶上傳,不代表本網觀點。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。 如遇侵權請及時聯系本站刪除。