in

GANverse3D: Nvidia crée des modèles 3D à partir d’une seule photo 2D

Image: Nvidia

Au GTC, le département de recherche de Nvidia utilise le GANverse3D pour montrer comment un modèle 3D peut être créé à partir d’une seule photo 2D. KITT de la série d’action Knight Rider peut servir d’exemple. Les développeurs de jeux, les artistes, les concepteurs et les architectes devraient pouvoir importer de nouveaux modèles 3D avec peu d’effort.

GANverse3D est proposé en tant qu’extension de la plate-forme de collaboration Omniverse de Nvidia, qui a quitté la phase de bêta ouverte chez GTC et est proposée aux premières entreprises clientes. Omniverse est une plate-forme basée sur le cloud et fournit en option plusieurs GPU basés sur la technologie RTX, de sorte que le rendu basé sur le raytracing est également possible. Via les soi-disant connecteurs, mieux décrits comme des plug-ins, des applications professionnelles telles que 3DS Max, Houdini, Maya ou Photoshop et l’Unreal Engine 4 peuvent être utilisées en collaboration.

Créez rapidement de nouveaux modèles 3D

Pour cet environnement de développement, Nvidia présente GANverse3D aujourd’hui, afin que de nouveaux modèles 3D puissent être créés et importés dans les applications sans aucune expertise dans ce domaine. Tout ce dont l’utilisateur a besoin est une seule photo 2D d’une voiture pour en générer un modèle 3D en quelques millisecondes. Chez GANverse3D, Nvidia a d’abord décidé de rendre des automobiles. Les développeurs de jeux, les artistes, les concepteurs et les architectes devraient être en mesure d’ajouter de nouveaux objets 3D à leurs environnements virtuels avec peu d’effort.

Nvidia a précédemment formé le Generative Adversarial Network (GAN) requis pour le processus avec 55000 images d’automobiles différentes sous plusieurs angles, mais pour le processus réel de la part de l’utilisateur, une seule photo est nécessaire pour montrer le véhicule entier. « Nourri » de la photo 2D, GANverse3D l’utilise pour générer un modèle 3D qui comprend également des sous-composants adressables individuellement de la voiture tels que les roues et les phares, qui peuvent ensuite être animés pour montrer une séquence de conduite animée, par exemple – comme avec KITT. Pour le modèle initialement grossier, la texture déterminée par GANverse3D peut ensuite être convertie en matériaux de haute qualité à l’aide d’outils tels que Omniverse Kit et PhysX. Du chargement de la photo au modèle fini, seulement 65 ms devraient passer sur une carte graphique Tesla V100.

Nvidia n’a pas encore commenté les objets que GANverse3D devrait maîtriser ensuite. En principe, cependant, il n’y aurait aucune restriction, même si des modèles complexes tels que les arbres sont « encore une optimisation«Assumerait dans l’algorithme.

TechAstuce a reçu des informations sur cet article de Nvidia sous NDA. La seule exigence était la date de publication la plus rapprochée possible.

GANverse3D: Nvidia crée des modèles 3D à partir d'une seule photo 2D 1
Partager cet article
Robin Vigneron

Par Robin Vigneron

Robin est un passionné de nouvelles technologies et il n'hésites pas à creuser le web pour vous trouver les meilleurs bons plans et astuce High-Tech !

Zorin OS 16: le dérivé d'Ubuntu imite Windows 10X 17

Zorin OS 16: le dérivé d’Ubuntu imite Windows 10X

CVN Z590M Gaming Frozen V20: carte mère µATX rare en blanc avec refroidisseurs argentés 18

CVN Z590M Gaming Frozen V20: carte mère µATX rare en blanc avec refroidisseurs argentés