La IA en la Cuna del Jazz: NVIDIA Research Permite a los Creadores de Contenido Improvisar con Model

• El pipeline de renderizado inverso NVIDIA 3D MoMa se presentó durante la Conferencia sobre Visión de Computación y Reconocimiento de Patrones en New Orleans.

NVIDIA (NASDAQ: NVDA), la compañía que redefinió la computación gráfica moderna, la computación de alto rendimiento y la Inteligencia Artificial, destaca que la clave del jazz es la improvisación: NVIDIA rinde homenaje al género con una investigación de Inteligencia Artificial (IA) que algún día podría permitir a los creadores de gráficos improvisar con modelos 3D creados en el tiempo que lleva organizar una sesión de improvisación.

El método, NVIDIA 3D MoMa, permite a los arquitectos, diseñadores, artistas conceptuales y desarrolladores de juegos importar rápidamente un objeto a un motor gráfico para comenzar a trabajar con él, modificar la escala, cambiar el material o experimentar con diferentes efectos de iluminación.

NVIDIA Research exhibió esta tecnología en un video que celebra el jazz y en su lugar de nacimiento, New Orleans, donde la investigación detrás de 3D MoMa se presentará esta semana en la Conferencia sobre Visión de Computación y Reconocimiento de Patrones.

Extracción de Objetos 3D a partir de Imágenes 2D

La renderización inversa, una técnica de IA para reconstruir una serie de fotos fijas en un modelo 3D de un objeto o escena, "ha sido durante mucho tiempo un santo grial, ya que unifica la visión de computación y los gráficos por Computación", dijo David Luebke, vicepresidente de investigación de gráficos en NVIDIA.

"Al formular cada pieza del problema de renderizado inverso como un componente diferenciable acelerado por GPU, el proceso de renderizado NVIDIA 3D MoMa utiliza la maquinaria de la IA moderna y la potencia bruta de procesamiento de las GPU modernas para producir modelos 3D increíblemente rápidamente que los creadores pueden importar, editar y

extender sin límites en las herramientas existentes", dijo.

A fin de resultar más útil para un artista o ingeniero, un modelo 3D debería tener una forma que se pueda usar en herramientas ampliamente usadas, como motores de juegos, modeladores 3D y renderizadores de películas. Esa forma es una malla triangular con materiales texturados, el lenguaje común utilizado por tales herramientas 3D.

Los estudios de juegos y otros creadores tradicionalmente crearían modelos 3D como estos con técnicas de fotogrametría complejas que requieren mucho tiempo y esfuerzo manual. Las herramientas de renderizado inverso anteriores generaron rápidamente modelos 3D, pero dado que los modelos no estaban en un formato de malla triangular, no se podían editar fácilmente.

3D MoMa genera modelos de malla triangular en una hora en una sola GPU NVIDIA Tensor Core. Los resultados del pipeline son directamente compatibles con los motores de gráficos 3D y las herramientas de modelado que los creadores ya utilizan.

La reconstrucción del pipeline incluye tres características: un modelo de malla 3D, materiales e iluminación. La malla es como un modelo de papel maché de una forma 3D construida a partir de triángulos. Con él, los desarrolladores pueden modificar un objeto para adaptarse a su visión creativa. Los materiales son texturas 2D superpuestas en las mallas 3D como una piel. Además, la estimación de 3D MoMa sobre cómo se ilumina la escena permite a los creadores modificar posteriormente la iluminación de los objetos.

Afinación de los Instrumentos para la Banda de Jazz Virtual

Para exhibir las capacidades de 3D MoMa, los equipos creativos y de investigación de NVIDIA comenzaron fotografiando cinco instrumentos de banda de jazz (una trompeta, trombón, saxo, batería y clarinete) desde diferentes ángulos, recopilando alrededor de 100 imágenes de cada uno.

3D MoMa reconstruyó estas imágenes 2D en modelos 3D de cada instrumento, representados como mallas. Luego, el equipo de NVIDIA sacó los instrumentos de sus escenas originales y los importó a la plataforma de simulación 3D NVIDIA Omniverse para editarlos.

En cualquier motor de gráficos tradicional, los creadores pueden intercambiar fácilmente el material de una forma generada por MoMa 3D, como si vistiera la malla con diferentes ropas. El equipo lo hizo con el modelo de la trompeta, por ejemplo, convirtiendo instantáneamente su plástico original en oro, mármol, madera o corcho.

Luego, los creadores pueden colocar los objetos recién editados en cualquier escena virtual. El equipo de NVIDIA dejó los instrumentos en una caja de Cornell, una prueba de gráficos clásica para la calidad de renderizado. Demostraron que los instrumentos virtuales reaccionan a la luz al igual que lo harían en el mundo físico, con los resplandecientes instrumentos de latón que se reflejan brillantemente y los parches mate de la batería absorbiendo la luz.

Estos nuevos objetos, generados a través de la renderización inversa, se pueden usar como componentes fundamentales para una escena animada compleja, que se muestra en el final del video como una banda de jazz virtual.

Obtén más información sobre la Investigación de NVIDIA en CVPR.