2022 - ARQGAN 2.0

Resumen:

ARQGAN es una iniciativa transdisciplinar para la reconstrucción virtual del patrimonio arquitectónico que aspira a ser un referente internacional. En continuidad con la línea de investigación iniciada por el CEIEC en 2018 sobre las posibilidades de aplicación de las incipientes arquitecturas neuronales profundas o Deep Neural Networks que llevan a cabo lo que se conoce como Deep Learning, la iniciativa nace como proyecto impulsado en 2020 por el CEIEC y Arquitectura de la UFV. Desde entonces, ARQGAN ha madurado creando una comunidad de investigadores en torno al tema y consolidando una línea estratégica de investigación de la EPS de la UFV.

La metodología para la construcción virtual de proyectos arquitectónicos ha avanzado mucho en los últimos 40 años. Tradicionalmente se ha utilizado la modelización tridimensional computarizada para la obtención de imágenes virtuales de espacios interiores, de edificios y de entornos urbanos. Esta tecnología aplicada a la construcción virtual mediante la elaboración de modelos 3D ha encontrado una gran cantidad de aplicaciones más allá del ámbito estrictamente arquitectónico, como la generación de las reproducciones urbanas de Google Maps, la generación de los modelos tridimensionales a partir de las herramientas de escaneado mediante nubes de puntos y las nuevas experiencias de inmersión que ofrecen los entornos de realidad virtual y realidad aumentada, entre otros muchos. Sin embargo, la técnica es, en muchos casos, costosa y la realización de un modelo tridimensional para la obtención de imágenes es muy laboriosa.

El proyecto ARQGAN propuso como solución una nueva aproximación en la reconstrucción virtual de edificios en ruinas mediante el análisis de imágenes y lo que se conoce como “virtual image inpainting”. Usando Redes Generativas Antagónicas (Generative Adversary Networks, GANs), una arquitectura neuronal de aprendizaje semi-supervisado, se lleva a cabo la restauración virtual de imágenes de paisajes artificiales que contienen restos arqueológicos de templos griegos. La red identifica características clave determinadas por la lógica interna del estilo arquitectónico que denotan las ruinas y añade los elementos arquitectónicos que faltan para obtener una imagen del edificio restaurado. A diferencia de otros estudios, no recibe ninguna información sobre qué elementos deben añadirse ni dónde. La técnica de “virtual inpainting restoration” desarrollada por nosotros es capaz de representar la envoltura de un edificio, pero también integra aspectos particulares del edificio relacionados con el lenguaje arquitectónico utilizado para su diseño. La restauración de las partes fundamentales del orden griego clásico fue coherente, y los resultados se evaluaron con métricas objetivas y mediante una encuesta subjetiva entre académicos y arquitectos.

Sin embargo, los recientes avances en creación de imágenes con técnicas de Deep Learning abren la puerta al uso de información textual para la mejora del proceso de síntesis. Tener un sistema inteligente que genera fotos artificiales a partir de una descripción es algo posible desde hace algunos años, y a medida que el tiempo avanza, los resultados son más espectaculares. Así, Dall-e (https://openai.com/blog/dall-e/) crea imágenes a partir de leyendas de texto para una amplia gama de conceptos expresables en lenguaje natural y que no necesariamente tienen existencia en el plano real.

ARQGAN 2.0 se centra en la generación de imágenes usando modelos de Procesamiento de Lenguaje Natural o PLN de forma que, usando una entrada de texto introducida por un usuario, se genere la imagen de un edificio singular del patrimonio arquitectónico. En este proyecto se implementará un modelo neuronal de PLN transformer combinado con un modelo generativo (GAN), para generar imágenes de un templo griego a partir de un texto con su descripción proporcionada por el usuario. La red transformer deberá ser capaz de extraer la información más relevante del texto y adaptarla para introducirla en la red GAN, que estará basada en el modelo ARQGAN desarrollado anteriormente.

El desarrollo del modelo PLN deberá necesariamente de hacer uso de una taxonomía que catalogue y clasifique los elementos estructurales o componentes individuales de la arquitectura usada como caso de estudio (arquitectura griega clásica correspondiente al estilo dórico). Una taxonomía dependiente del dominio consiste en una lista de categorías y sus relaciones y servirá para identificar en la imagen los elementos existentes y permitir que la red generadora añada los elementos faltantes o complete los que se encuentren incompletos, devolviendo así la imagen de un edificio íntegro con todos sus elementos convenientemente ubicados y relacionados entre sí. El desarrollo de esta taxonomía es uno de los objetivos del proyecto.