DLSS 5 ne fonctionne pas comme vous le pensez. Contrairement aux attentes, NVIDIA confirme que son modèle ne s’appuie ni sur la géométrie 3D, ni sur les matériaux du moteur. Tout repose sur une simple image 2D et des vecteurs de mouvement, que l’IA réinterprète entièrement. Une approche radicale qui change la lecture des démos et soulève des questions sur la fidélité visuelle.
DLSS 5: entrée 2D + motion vectors, pas de données 3D ni PBR
Interrogé par le YouTuber Daniel Owen, Jacob Freeman (NVIDIA) a confirmé: « Yes, DLSS 5 takes a 2D frame plus motion vectors as input. » Le modèle n’ingère donc ni profondeur, ni géométrie, ni propriétés PBR issues du moteur. Les matériaux sont « inferred from the rendered frame ».
NVIDIA indique que DLSS 5 comprend des sémantiques de scène (cheveux, tissu, peau, conditions d’éclairage comme front-lit, back-lit, overcast) « all by analyzing a single frame ». Cette précision tranche avec une communication antérieure laissant entendre une compréhension plus profonde de la scène.
La société réaffirme que « the underlying geometry is unchanged » malgré des aperçus où des détails capillaires ou faciaux semblent évoluer. Le résultat écran peut donc diverger de l’asset source, l’IA réinterprétant le signal 2D plutôt que de s’aligner sur des cartes metallic/roughness/normal réelles.
Contrôles développeur limités, masquage ciblé possible
NVIDIA liste des réglages d’intensité, color grading, blending, contraste, saturation, gamma, avec possibilité de masquer des objets/zones pour exclure l’amélioration. En revanche, pas d’accès direct pour corriger une interprétation précise (ex. traits du visage) autrement qu’en réduisant, masquant ou désactivant l’effet.
Sur la question d’une éventuelle exécution via DirectML pour sortir du verrou matériel, réponse inchangée: « We have nothing to announce on this one at this time. »
Impacts pratiques pour les jeux
Dans des scènes sensibles (visages, maquillage perçu, microdétails), l’absence de lecture PBR/mesh expose à des variations esthétiques liées à l’inférence. Le masquage d’objets critiques et un réglage fin de l’intensité deviendront clés pour préserver l’intention artistique tout en bénéficiant du gain perçu sur l’éclairage et la matière.
Source : VideoCardz
