L'IA Neuralangelo de Nvidia transforme la vidéo de l'iPhone en mondes 3D

Les films de votre iPhone sont désormais des mondes de jeu.

C'est Neuralangelo, la nouvelle IA de Nvidia, et ça va être énorme. Juste au moment où vous pensiez que le monde sauvage de l'IA ne pouvait plus surprendre, Nvidia dévoile sa nouvelle IA Neuralangelo qui peut transformer des clips vidéo 2D en structures et scènes 3D. Cela génère littéralement des répliques détaillées de bâtiments, de sculptures et d'objets réels à partir de clips vidéo pris sur un mobile ou une caméra.

L'idée derrière Neuralangelo, qui "sculpte" des scènes 3D réalistes à partir d'une vidéo, comme un Michel-Ange moderne (geddit), est que ces scènes 3D peuvent ensuite être importées dans d'autres logiciels. Les actifs Neuralangelo peuvent être modifiés pour être utilisés dans des jeux vidéo, des arch-viz, des projets Web 3, enfin, n'importe quoi vraiment, y compris aider les artistes numériques à définir les sources de lumière.

Cela vient à l'arrière de l'IA de Nvidia pour converser avec les personnages du jeu et de la nouvelle Ai générative de texte en 3D qui est toujours en développement par les chercheurs de HiFA. Dans une démo Neuralangelo (ci-dessous), Nvidia a montré comment son IA pouvait recréer des objets complexes, tels que le David de Michel-Ange, ainsi que quelque chose d'aussi quotidien qu'un camion à plateau.

Nvidia a publié une explication détaillée du fonctionnement de Neuralangelo, expliquant comment il peut traduire des détails complexes dans une vidéo, tels que le verre et le marbre lisse, en 3D. Le pitch est que cette IA aidera à accélérer les flux de travail des créatifs et à débloquer des mondes virtuels et des actifs 3D pour de nouvelles industries et non à remplacer les emplois.

"Les capacités de reconstruction 3D offertes par Neuralangelo seront un énorme avantage pour les créateurs, les aidant à recréer le monde réel dans le monde numérique", a déclaré Ming-Yu Liu, directeur principal de la recherche et co-auteur de l'article, dans un communiqué de presse. "Cet outil permettra à terme aux développeurs d'importer des objets détaillés - qu'il s'agisse de petites statues ou de bâtiments massifs - dans des environnements virtuels pour des jeux vidéo ou des jumeaux numériques industriels."

Les meilleurs générateurs d'IA sont ceux qui peuvent s'intégrer à un flux de travail et l'améliorer plutôt que de remplacer des tâches. De nouveaux modèles d'IA génératifs comme Adobe Firefly, par exemple, peuvent s'intégrer dans un flux de travail d'art conceptuel et accélérer le processus, sans remplacer les artistes qui font le travail. Lisez le didacticiel de Ken Coleman sur l'utilisation d'Adobe Firefly ou mon entretien avec Chris Colman de Final Frontier, qui utilise l'IA au quotidien.

Merci d'avoir lu 5 articles ce mois-ci* Inscrivez-vous maintenant pour un accès illimité

Profitez de votre premier mois pour seulement 1 £ / 1 $ / 1 €

*Lire 5 articles gratuits par mois sans abonnement

Inscrivez-vous maintenant pour un accès illimité

Essayez le premier mois pour seulement1 £ / 1 $ / 1 €

Des nouvelles quotidiennes sur la conception, des critiques, des conseils pratiques et plus encore, choisis par les éditeurs.

Ian Dean est rédacteur en chef, Art & Design chez Creativebloq et ancien rédacteur en chef de nombreux magazines de premier plan. Ces titres comprenaient ImagineFX, 3D World et le principal titre de jeu vidéo Official PlayStation Magazine. Au début de sa carrière, il a écrit pour des magazines de musique et de cinéma, notamment Uncut et SFX. Ian a lancé le magazine Xbox X360 et édité PlayStation World. Pour Creative Bloq, Ian combine ses expériences pour apporter les dernières nouvelles sur l'IA, l'art numérique et l'art et la technologie des jeux vidéo, et plus encore à Creative Bloq, et pendant son temps libre, il griffonne dans Procreate, ArtRage et Rebelle tout en trouvant le temps de jouer Xbox et PS5. Il est également un utilisateur passionné de Cricut et un fan de découpe laser, et travaille actuellement sur Glowforge et xTools M1.