NVIDIA mostró su tecnología Omniverse, la cual permite transformar los objetos que aparecen en fotografías en modelos 3D que pueden ser utilizados para desarrollo de videojuegos.
Durante el pasado GTC-Spring 2021, NVIDIA nos dio acceso exclusivo a una demostración de NVIDIA Research su brazo de investigación, el cual está acelerando el desarrollo de un nuevo motor de machine learning que crea modelos de objetos 3D a partir de imágenes 2D estándar (fotografías). Desarrollada por el Laboratorio de Investigación de Inteligencia Artificial de NVIDIA en Toronto, la aplicación GANverse3D da volumen a imágenes planas en modelos 3D realistas que se pueden visualizar y controlar en entornos virtuales.
Esta capacidad podría ayudar a los arquitectos, creadores, desarrolladores de juegos y diseñadores a agregar fácilmente nuevos objetos a sus maquetas sin necesidad de tener experiencia en modelado 3D o un gran presupuesto para gastar en representaciones. Una sola foto de un automóvil, por ejemplo, podría convertirse en un modelo 3D que puede ser conducido alrededor de una escena virtual, con faros, luces traseras y luces intermitentes realistas.
Para generar un conjunto de datos para el entrenamiento, los investigadores aprovecharon una Red Generativa de Adversarial, (GAN), para sintetizar imágenes que representan el mismo objeto desde múltiples puntos de vista, esta acción es el equivalente a que un fotógrafo que tomara fotos alrededor de un vehículo estacionado desde diferentes ángulos. Estas imágenes de múltiples vistas se conectaron a un marco de renderizado para gráficos inversos, el proceso de inferir modelos de malla 3D a partir de imágenes 2D.
Una vez entrenado en imágenes de múltiples vistas, GANverse3D solo necesita una única imagen 2D para predecir un modelo de malla 3D. Este modelo se puede usar con un renderizador neuronal 3D que brinda a los desarrolladores control para personalizar objetos e intercambiar fondos.
Cuando se importa como una extensión en la plataforma NVIDIA Omniverse y se ejecuta en una GPU NVIDIA RTX, la aplicación GANverse3D se puede usar para recrear cualquier imagen 2D en un modelo 3D, para la demostración a la que fuimos invitados, nuestro modelo fue KITT, el famoso Trans AM protagonista del programa de televisión "Knight Rider" (El Auto Increíble) en la década de los ochenta.
En cambio, sin la ayuda de los activos 3D, "convertimos un modelo GAN en un generador de datos muy eficiente de manera que podamos crear objetos 3D a partir de cualquier imagen 2D en la web", dijo Wenzheng Chen, científico investigador de NVIDIA y autor principal del proyecto.
"Debido a que entrenamos con imágenes reales en lugar del procesamiento de imágenes típico, que se basa en datos sintéticos, el modelo de Inteligencia Artificial se acostumbra mejor a las aplicaciones del mundo real", dijo durante la demostración Jun Gao, investigador y autor del proyecto.
Arquitectos y desarrolladores de videojuegos utilizan Omniverse para crear entornos virtuales que les permitan simular casos de uso reales antes de moverse al prototipo, sin embargo, no todos los creadores tienen el tiempo y los recursos para crear modelos 3D de cada objeto que dibujan, aquí es donde una aplicación Como GANverse3D puede resultar útil al momento del desarrollo temprano de un videojuego ya que se la herramienta se encuentra entrenada para convertir imágenes estándar de un automóvil, un edificio o incluso un caballo en una figura de 3D que se puede personalizar y animar en Omniverse.
Para recrear KITT, los investigadores simplemente alimentaron al modelo entrenado con una imagen del automóvil, permitiendo que GANverse3D desarrollara una malla texturizada 3D que correspondiera a la forma del vehículo, así como diferentes partes del vehículo, como ruedas y faros. Esta imagen fue luego exportada a Omniverse y a la herramienta PhysX para convertir la textura desarrollada en materiales de alta calidad que le dan a KITT una apariencia y sensación más realistas, y lo colocaron en una secuencia de conducción dinámica junto con otros autos.
"Omniverse permite a los investigadores llevar una investigación emocionante y de vanguardia directamente a los creadores y usuarios finales", dijo Jean-Francois Lafleche, Ingeniero de Aprendizaje Profundo de NVIDIA. "Ofrecer GANVerse3D como una extensión en Omniverse ayudará a los artistas a crear mundos virtuales más ricos para el desarrollo de juegos, la planificación urbana o incluso la formación de nuevos modelos de aprendizaje automático".
El proceso de recreación de KITT puedes verlo a continuación:
Echa un vistazo a nuestra sección de Tech.
