El sistema LEGOGPT funciona en tres partes, que se muestra en este diagrama.
Crédito: Pun et al.
Los investigadores también ampliaron las habilidades del sistema al agregar textura y opciones de color. Por ejemplo, utilizando un indicador de apariencia como “Guitarra eléctrica en Purple metálico”, LEGOGPT puede generar un modelo de guitarra, con ladrillos asignados de color púrpura.
Prueba con robots y humanos
Para demostrar que sus diseños funcionaron en la vida real, los investigadores hicieron que los robots ensamblaran los modelos LEGO creados por AI. Usaron un sistema de brazo de doble robot con sensores de fuerza para recoger y colocar ladrillos de acuerdo con las instrucciones generadas por IA.
Los probadores humanos también construyeron algunos de los diseños a mano, lo que demuestra que la IA crea modelos genuinamente edificables. “Nuestros experimentos muestran que Legogpt produce diseños LEGO estables, diversos y estéticamente agradables que se alinean estrechamente con las indicaciones del texto de entrada”, señaló el equipo en su artículo.
Cuando se prueba contra otros sistemas de IA para la creación 3D, Legogpt se destaca a través de su enfoque en la integridad estructural. El equipo probó varias alternativas, incluidas Llama-Mesh y otros modelos de generación 3D, y encontró que su enfoque produjo el mayor porcentaje de estructuras estables.
Un video de dos armas de robot que construye una creación de Legogpt, proporcionado por los investigadores.
Aún así, hay algunas limitaciones. La versión actual de LEGOGPT solo funciona dentro de un espacio de construcción de 20 × 20 × 20 y utiliza solo ocho tipos de ladrillos estándar. “Nuestro método actualmente admite un conjunto fijo de ladrillos LEGO de uso común”, reconoció el equipo. “En el trabajo futuro, planeamos expandir la biblioteca de ladrillos para incluir una gama más amplia de dimensiones y tipos de ladrillos, como pendientes y azulejos”.
Los investigadores también esperan ampliar su conjunto de datos de capacitación para incluir más objetos que las 21 categorías actualmente disponibles. Mientras tanto, otros pueden construir literalmente sobre su trabajo: los investigadores publicaron su conjunto de datos, código y modelos en el sitio web de su proyecto y GitHub.
