NVIDIAが発表したAIによるアップスケーリング技術「DLSS 5」を「Vulkan」で再実装するプロジェクト「OpenDLSS-NR」が登場しました。
GitHub – maanHimself/OpenDLSS-NR: A Vulkan reimplementation of NVIDIA’s DLSS 5 Neural Rendering network, bit-exact against the original. · GitHub
https://github.com/maanHimself/OpenDLSS-NR
OpenDLSS-NRでアップスケーリングを行った結果が以下の通り。
OpenDLSS-NRはDLSS 5をVulkanで再実装したもので、「オリジナルとビット単位で完全に一致する」と説明されています。DLSS-NRのビルド310.8.0と同じ71ブロックのSwin/ViTネットワークを、Tensor Core上でFP8を使って実行。中間結果も一致し、最終画像だけでなく、75個すべてのブロック境界が1バイト単位で一致します。エンジンがすでに描画したフレームをOpenDLSS-NRが再レンダリングし、注入されたノイズからディテールを生成。スタイル設定に応じてトーン、構造、肌を調整します。入力と出力は同じ解像度であり、アップスケーラーではありません。同じネットワークをWebGPUでブラウザ上から動かす実装も存在します。
なお、DLSS 5のモデルはユーザー自身で用意する必要があります。
RTX 4070 SUPERで、1フレーム生成するのにかかった最低時間の結果が以下。40フレーム以上制止したときの最小値です。
動作にはWindows、NVIDIA Ada Lovelace以降のGPU、および対応するドライバーが必要。「NVIDIAとは無関係」であることが明言されていて、利用には注意が必要です。
・関連記事
NVIDIAのAIアップスケーリング技術「DLSS 5」が加工しすぎで本物からかけ離れてしまうとネットユーザーにいじり倒される – GIGAZINE
NVIDIAのCEOがDLSS 5の過剰加工をからかうインターネットユーザーに反論 – GIGAZINE
NVIDIAの「DLSS 5」がリリース前に「NBA 2K27」の早期アクセス版で発見され他のゲームに適用する試みが流行 – GIGAZINE