Point-E

OpenAI ha lanzado al código abierto Point-E, un sistema de aprendizaje automático que permite crear un objeto 3D a partir de una solicitud de texto. Este sistema utiliza un modelo de texto a imagen y un modelo de imagen a 3D para generar la representación 3D del objeto solicitado. El modelo de texto a imagen, similar a otros sistemas de arte generativo como DALL-E 2 y Stable Diffusion de OpenAI, ha sido entrenado con imágenes etiquetadas para comprender las asociaciones entre palabras y conceptos visuales. El modelo de imagen a 3D, por su parte, ha sido alimentado con un conjunto de imágenes asociadas a objetos 3D para que aprenda a traducir efectivamente entre ambos.

Point-E no genera objetos 3D de manera convencional, sino que produce nubes de puntos, conjuntos discretos de datos en el espacio que representan una forma 3D. Aunque estas nubes de puntos son más fáciles de sintetizar desde el punto de vista computacional, no captan la forma fina o la textura de un objeto, lo que es una limitación actual de Point-E. Para superar esta limitación, el equipo de Point-E ha entrenado a otro sistema de IA para convertir las nubes de puntos en mallas, que sí captan la forma y la textura de los objetos. Sin embargo, a veces el modelo de generación de mallas puede fallar al entender la imagen y generar formas que no coinciden con la solicitud de texto.

Point-E puede producir modelos 3D en uno o dos minutos con una sola GPU Nvidia V100 y, aunque su rendimiento es peor que el de técnicas de vanguardia, produce muestras en una pequeña fracción del tiempo. Esto podría hacerlo más práctico para ciertas aplicaciones o permitir descubrir objetos 3D de mayor calidad. Point-E puede tener aplicaciones en la impresión 3D, en el desarrollo de juegos y animaciones, entre otras. OpenAI no es la única empresa en el campo de la generación de objetos 3D, ya que Google lanzó DreamFusion este año, una versión ampliada de Dream Fields, un sistema generativo 3D que la empresa presentó en 2021. A diferencia de Dream Fields, DreamFusion no requiere entrenamiento previo y puede generar representaciones 3D de objetos sin datos 3D. Aunque actualmente la atención se centra en los generadores de arte 2D, la síntesis de modelos con IA podría ser el próximo gran disruptor de la industria.

Los modelos 3D se utilizan ampliamente en el cine y la televisión, el diseño de interiores, la arquitectura y varios campos científicos. Por ejemplo, las empresas de arquitectura los utilizan para demostrar edificios y paisajes propuestos, mientras que los ingenieros los utilizan como diseños de nuevos dispositivos, vehículos y estructuras. Los modelos 3D suelen tardar un tiempo en elaborarse, desde unas horas hasta varios días según su complejidad. La generación de modelos 3D con IA podría acortar este proceso significativamente y permitir a las empresas crear y probar más modelos en menos tiempo. Además, la generación de modelos 3D con AI podría tener aplicaciones en la educación y el entretenimiento, permitiendo a los estudiantes y a los aficionados a la creación de contenido crear y modificar objetos 3D de manera más rápida y sencilla.