ARQGAN - ARCHER
Reconstrucción de Patrimonio Arquitectónico con Inteligencia Artificial
Escuela Politécnica Superior. Universidad Francisco de Vitoria (Madrid)
Proyecto subvencionado MICINN (PID2021-126633NA-I00)
ARQGAN es un equipo de investigación multidisciplinar, formado por arquitectos e ingenieros de la computación, de la Escuela Politécnica Superior de la Universidad Francisco de Vitoria. Desde 2019 desarrollan metodologías para el análisis y reconstrucción automática de imágenes de edificios históricos en ruinas mediante técnicas de Deep Learning (redes GAN y PLN). El proyecto nace de la colaboración de la Escuela de Arquitectura y el Centro de Estudios e Innovación en Gestión del Conocimiento (CEIEC). Gracias a los resultados obtenidos a través de publicaciones y patentes, el equipo de ARGAN recibió el premio R+D+i on AI Award en AMETIC Artificial Intelligence Summit 2022. Este proyecto dispone de una subvención estatal del Ministerio de Ciencia e Innovación (PID2021-126633NA-I00, 2022-2025) a través de la propuesta ARCHER (Reconstrucción Virtual del Patrimonio Cultural Arquitectónico mediante Inteligencia Artificial y Procesamiento de Lenguaje Natural), en la que se colabora con la Sapienza Università di Roma.
Equipo de investigación: Álvaro José García Tejedor (IP, CEIEC, UFV), Emilio Delgado-Martos (IP, Arquitectura, UFV), Alberto Nogales Moyano (CEIEC, UFV), Ana Maitín López (CEIEC, UFV), Carlos Pesqueira Calvo (Arquitectura, UFV), Giovanni Intra Sidola (Arquitectura, UFV), Laura Carlevaris (Arquitectura, Sapienza Università di Roma), Nelson Montas, Susana Bautista Blasco (Ing. Informática, UFV), Eduardo Arroyo Vega (Diseño, UFV), Carola Díaz de Lope-Díaz (Arquitectura, UFV, 2020), Cruz Galindo López (Arquitectura, UFV, 2020), Ángel Melchor (Beca CEIEC, UFV, 2020), Ignacio Barrera (Beca Arquitectura, UFV, 2020, 2022), Enrique Ruiz (Beca CEIEC, UFV, 2021-2022), Marta Bravo Peña, Guillermo Ramírez, Gabriel Furnieles.
¿Qué es ARQGAN?
La reconstrucción de imágenes es un campo de estudio que ha avanzado mucho en los últimos años, gracias al aumento de la capacidad de cálculo y de procesamiento computacional. Hasta ahora, no existía un algoritmo pudiera combinar correctamente qué partes faltaban y al mismo tiempo identificar dónde faltaban. Sin embargo, esta investigación ha propuesto el uso de redes generativas antagónicas (GAN), un modelo de aprendizaje profundo ya conocido, para la restauración de los elementos arquitectónicos faltantes que se observan en los restos de edificios. Esta composición recibe el nombre de “inpainting” o “automatic virtual inpainting restoration”.
Durante este proceso, la red aprende e identifica características clave determinadas por la lógica interna del estilo arquitectónico, denotado por las ruinas, y añade los elementos arquitectónicos que faltan para obtener una imagen del edificio reconstruido. A diferencia de otros estudios, la red neuronal no recibe información sobre qué elementos deben agregarse ni dónde.
ARQGAN es, por tanto, capaz de representar la envolvente de un edificio al mismo tiempo que integra aspectos particulares del edificio relacionado con el lenguaje arquitectónico utilizado para su diseño. Los resultados de esta investigación mostraron que la restauración de las partes fundamentales es consistente. La imagen de respuesta final ha sido evaluada a través de métricas objetivas y mediante una encuesta cualitativa entre académicos y arquitectos.
Gracias a estos resultados, el equipo de investigación del CEIEC, formado por Álvaro García Tejedor, Emilio Delgado-Martos y Alberto Nogales, en colaboración con la Escuela de Arquitectura de la Universidad Francisco de Vitoria ha presentado la solicitud de una patente que integra dos de los descubrimientos que se han obtenido a través de esta investigación. El primer descubrimiento se centra en el desarrollo del nuevo algoritmo mediante Deep Learning, consiguiendo que se pueda reconstruir una parte de la imagen sin determinar cuál es la zona que tiene que reconstruir. El segundo descubrimiento presentado en la patente es conseguir una herramienta que ofrezca una respuesta completamente diferente de lo que se está haciendo tradicionalmente en el ámbito de la reconstrucción virtual en arqueología. Esta herramienta no usa modelos tridimensionales obtenidos mediante escaneados fotogramétricos integrados en modelos 3D para obtener una imagen. ARQGAN propone el entrenamiento de la red neuronal para tener automáticamente una imagen de respuesta.
Este hecho ofrecerá una prospectiva de trabajo muy interesante en los próximos años desde la perspectiva de investigación en los entornos de la arqueología y del turismo, ya que dota de la posibilidad de introducir una nueva experiencia al usuario y al consumidor en estos enclaves.
¿Qué es ARCHER?
ARCHER es un proyecto vinculado a ARQGAN que introduce la tecnología de Procesamiento de Lenguaje Natural (PLN) para mejorar la respuesta de la red neuronal. ARCHER nace de la consecución de un proyecto financiado en la convocatoria de investigación estatal impulsada por el MICINN (PID2021-126633NA-I00).
El proyecto ARQGAN propuso como solución una nueva aproximación en la reconstrucción virtual de edificios en ruinas mediante el análisis de imágenes y lo que se conoce como “virtual image inpainting”. Usando Redes Generativas Antagónicas (Generative Adversary Networks, GANs), una arquitectura neuronal de aprendizaje semi-supervisado, se lleva a cabo la restauración virtual de imágenes de paisajes artificiales que contienen restos arquitectónicos. La red identifica características clave determinadas por la lógica interna del estilo arquitectónico que denotan las ruinas y añade los elementos arquitectónicos que faltan para obtener una imagen del edificio restaurado. A diferencia de otros estudios, no recibe ninguna información sobre qué elementos deben añadirse ni dónde. La técnica de “virtual inpainting restoration” desarrollada por nosotros es capaz de representar la envoltura de un edificio, pero también integra aspectos particulares del edificio relacionados con el lenguaje arquitectónico utilizado para su diseño. La restauración de las partes fundamentales del estilo arquitectónico fue coherente, y los resultados se evaluaron con métricas objetivas y mediante una encuesta subjetiva entre académicos y arquitectos.
Sin embargo, los recientes avances en creación de imágenes con técnicas de Deep Learning abren la puerta al uso de información textual para la mejora del proceso de síntesis. Tener un sistema inteligente que genera fotos artificiales a partir de una descripción es algo posible desde hace algunos años, y a medida que el tiempo avanza, los resultados son más espectaculares. Así, Dall-e (https://openai.com/blog/dall-e/) crea imágenes a partir de leyendas de texto para una amplia gama de conceptos expresables en lenguaje natural y que no necesariamente tienen existencia en el plano real.
ARCHER se centra en la generación de imágenes usando modelos de Procesamiento de Lenguaje Natural o PLN de forma que, usando una entrada de texto introducida por un usuario, se genere la imagen de un edificio singular del patrimonio arquitectónico. En este proyecto se implementará un modelo neuronal de PLN transformer combinado con un modelo generativo (GAN), para generar imágenes de edificios reconstruidos a partir de un texto con su descripción proporcionada por el usuario. La red transformer deberá ser capaz de extraer la información más relevante del texto y adaptarla para introducirla en la red GAN, que estará basada en el modelo ARQGAN desarrollado anteriormente.
El desarrollo del modelo PLN deberá necesariamente de hacer uso de una taxonomía que catalogue y clasifique los elementos estructurales o componentes individuales de la arquitectura usada como caso de estudio. Una taxonomía dependiente del dominio consiste en una lista de categorías y sus relaciones y servirá para identificar en la imagen los elementos existentes y permitir que la red generadora añada los elementos faltantes o complete los que se encuentren incompletos, devolviendo así la imagen de un edificio íntegro con todos sus elementos convenientemente ubicados y relacionados entre sí. El desarrollo de esta taxonomía es uno de los objetivos del proyecto.
15/11/2023. Conferencia sobre ARQGAN-ARCHER en el Museo Arqueológico Nacional (MAN)
En el contexto de la XXIII Semana de la Ciencia e Innovación organizado por la Fundación Madri+d, Emilio Delgado Martos y Alvaro Garcíua Tejedor han sido invitados el 15 de noviembre de 2023 para dar una conferencia en el Museo Arqueológico Nacional (MAN), titulada "Reconstrucción virtual automática de edificios históricos. Un análisis crítico del cambio de paradigma". Enlace.
4-6/10/2023. ARGAN-ARCHER se presenta en congreso CUICIID 2023
Los resultados de investigación del proyecto ARQGAN-ARCHER se presentan en el congreso CUICIID 2023, organizado por la Universidad Complutense de Madrid. La ponencia "Reconocimiento, aprendizaje e investigación del patrimonio histórico arquitectónico a través de la inteligencia artificial" ha sido presentada por Emilio Delgado-Martos y Giovanni Intra Sidola. Disponible enlace del libro de actas (ISBN: 978-84-09-48185-9, página 727).
2/09/2023. ARGAN-ARCHER se publica en Springer Nature
Los resultados de investigación del proyecto ARQGAN-ARCHER se publican en la monografía Beyond Digital Representation (Springer Nature), en un capítulo titulado "Automatic Virtual Reconstruction of Historic Buildings Through Deep Learning. A Critical Analysis of a Paradigm Shift". Autores: Emilio Delgado-Martos, Laura Carlevaris, Giovanni Intra Sidola, Carlos Pesqueira Calvo, Alberto Nogales, Ana María Maitín y Álvaro José García Tejedor. DOI: https://doi.org/10.1007/978-3-031-36155-5_26
29/06/2023. Seminario: ¿Cómo está afectando la Inteligencia Artificial a mi Ciencia?
El 29 de junio de 2023 se presenta la Cátedra en Inteligencia Artificial del Centro para el Bien Común Global de la Universidad Francisco de Vitoria, que está dirigida por Ana Lazcano de Rojas. En el primer evento que organiza la cátedra, se ha realizado una mesa redonda con expertos de la UFV que ha hablado sobre la relación de la IA y sus ciencias. Además de Javier de la Rosa, de Ramiro Perezzan, de Sophie Grimaldi d'Esdra y de María Inés Fernández Peycheux, Emilio Delgado Martos ha compartido el proyecto ARQGAN-ARCHER.
13/06/2023. Conferencia en la Sapienza Università di Roma
Los investigadores del proyecto ARQGAN-ARCHER han sido invitados a una conferencia en la Facoltà di Architettura de la Sapienza Università di Roma sobre Inteligencia Artificial y Arquitectura. Esta sesión ha sido organizada por la profesora Laura Carlevaris del Dipartimento di storia, disegno e restauro dell'architettura. Emilio Delgado-Martos, Álvaro García-Tejedor y Giovanni Intra Sidola hablarán sobre los avances del proyecto.
20/04/2023. Entrevista Mind On 2023. Evento de Investigación de la Universidad Francisco de Vitoria
Esta entrevista a Emilio Delgado-Martos resume el proyecto ARQGAN-ARCHER en el contexto del evento Mind On 2023, que está organizado por el Vicerrectorado de Investigación de la Universidad Francisco de Vitoria y que reúne a los investigadores más destacados de la universidad. Álvaro García-Tejedor, director del CEIEC e IP del proyecto ARQGAN, también menciona este proyecto en su entrevista para el mismo evento.
7-9/02/2023. Estancia de investigación en la Università degli Studi di Perugia
En el contexto de la jornada de doctorado "Abitare nell'orizzonte dell'entre", organizada por el profesor ordinario Massimiliano Marianelli de la Università degli Studi di Perugia, Emilio Delgado-Martos ha presentado el proyecto ARCHER como parte de la introducción de su conferencia. Destacar la acogida de los profesores Luca Alici y Serena Meattini. La conferencia fue impartida en el Palazzo Florenzi de la ciudad de Perugia.
1/12/2022. Nombramiento Visiting Professor 2023 en Sapienza Università di Roma
El profesor Emilio Delgado-Martos, IP del proyecto ARCHER, ha sido nombrado Visiting Professor en la modalidad de Investigación por el Dipartimento di storia, disegno e restauro dell'architettura de la Sapienza Università di Roma. Durante el año 2023 disfrutará de una beca sufragada por el gobierno italiano. Además del currículum, se presentó el proyecto ARCHER como tema de investigación. La universidad de la Sapienza es la nº16 a nivel mundial en el área de arquitectura.
10-12/10/2022. Symposium REAACH-ID 2022 (Roma-Padova-Torino)
Se presenta el proyecto ARGAN - ARCHER en el congreso internacional REAACH-ID (Representation for Enhancement and management through Augmented reality and Artificial intelligence: Cultural Heritage and Innovative Design) con la ponencia "Automatic reconstruction of historic buildings through Deep Learning. A critical analysis of a paradigm shift", que realizarán Emilio Delgado-Martos (UFV), Laura Carlevaris (Sapienza Università di Roma) y Giovanni Intra Sidola (UFV). Este congreso está organizado por: Università degli Studi di Padova, el Dipartimento di Architettura e Design del Politecnico di Torino y el Dipartimento di storia, disegno e restauro dell'architettura de la Sapienza Università di Roma.
8-18/07/2022. Estancia de investigación en la Sapienza Università di Roma
Los investigadores Emilio Delgado-Martos y Giovanni Intra Sidola realizan una estancia de investigación con beca ERASMUS+ en la Sapienza Università di Roma para iniciar el proyecto ARQGAN - ARCHER en colaboración con los profesores Laura Carlevaris y Marco Fasolo, del Dipartimento di Storia disegno e restauro Dipartimento di Storia, Disegno e Restauro della dell'architettura.
07/2022. Defensa PFG vinculado a ARQGAN
Enrique Ruiz Ruiz, alumno de Ingeniería Informática y colaborador del CEIEC, presenta su Proyecto Fin de Grado "Generación de imágenes segmentadas de templos griegos mediante técnicas de procesamiento de lenguaje natural" obteniendo la calificación de Sobresaliente. Este trabajo de investigación, tutelado por Álvaro José García Tejedor, se ha desarrollado dentro del proyecto ARQGAN 2.0 - Uso de técnicas de PLN para la mejora de ARQGAN en la restauración virtual de imágenes de arquitecturas de interés histórico, financiado con ayudas del Vicerrectorado de Investigación de la Universidad Francisco de Vitoria.
06/2022. Concesión subvención del proyecto ARCHER por el MICINN
El proyecto ARCHER recibe la valoración positiva en la convocatoria nacional de Proyectos de Generación de Conocimiento, del Ministerio de Ciencia e Innovación (MICINN). El proyecto (PID2021-126633NA-I00) se denomina "ARCHER - Reconstrucción Virtual del Patrimonio Cultural Arquitectónico mediante Inteligencia Artificial y Procesamiento de Lenguaje Natural" y se desarrolla entre 2022 y 2025 siguiendo la línea de trabajo trazada en ARQGAN. El equipo que presenta la propuesta es el siguiente: Emilio Delgado-Martos (IP, Arquitectura, UFV), Álvaro José García Tejedor (CEIEC, UFV), Alberto Nogales Moyano (CEIEC, UFV), Ana Maitín López (CEIEC, UFV), Carlos Pesqueira Calvo (Arquitectura, UFV), Susana Bautista Blasco (Ing. Informática, UFV), Eduardo Arroyo Vega (Diseño, UFV), Giovanni Intra Sidola (Arquitectura, UFV) y Laura Carlevaris (Arquitectura, Sapienza). Presupuesto concedido: 99.431€; duración: 2022-2025.
30-31/05/2022. Estancia de investigación en Universidad Anáhuac Sur
A propósito del 1er Encuentro de Investigadores de la RIU, organizado por la Universidad Anáhuac Sur, Emilio Delgado-Martos acudió como profesor invitado para impartir una conferencia sobre la investigación en las áreas de Arte y Humanidades. En dicha conferencia se presentó el proyecto ARQGAN. Destacar la acogida del vicerrector de investigación, Dr. José Pozón, así como de los directores de arquitectura de la Anháuac Norte y Sur, los arquitectos Gerardo Broissin y Jorge Vázquez del Mercado.
29/04/2022. Premio AMETIC Artificial Intelligence Summit 2022
Gracias al trabajo desarrollado en el proyecto de investigación de ARQGAN, Álvaro José García Tejedor y Emilio Delgado-Martos reciben el premio R+D+i on AI Award de la II Edición de los Premios IA de AMETIC, en la ceremonia organizada por AMETIC Artificial Intelligence Summit 2022. Carme Artigas, Secretaria de Estado de Digitalización e Inteligencia Artificial, entregó el galardón.
02/2022. Premio UFV Solicitud de Patentes 2021
La Universidad Francisco de Vitoria ha premiado por primera vez con 1.200€ una solicitud de patente efectivamente realizada e inscrita en el Registro de la OEPM bajo el título ARQGAN: “Method for obtaining an image with a restored object”. Este proyecto, liderado por Álvaro José García Tejedor (Director del CEIEC), Alberto Nogales Moyano (investigador del CEIEC) y Emilio Delgado-Martos (Subdirector de investigación de la EPS), se centra en la creación de una novedosa herramienta de Inteligencia Artificial que reconstruye patrimonio arquitectónico en tiempo real.
01/2022. Comienza ARQGAN 2.0
Dentro de la línea de ARQGAN se inicia "ARQGAN 2.0 – Uso de técnicas de PLN para la mejora de ARQGAN en la restauración virtual de imágenes de arquitecturas de interés histórico", un proyecto con ayudas económicas del Vicerrectorado de Investigación de la Universidad Francisco de Vitoria. El equipo es el siguiente: Álvaro José García Tejedor (IP, CEIEC, UFV), Emilio Delgado-Martos (IP, Arquitectura, UFV), Alberto Nogales Moyano (CEIEC, UFV), Ana Maitín López (CEIEC, UFV), Carlos Pesqueira Calvo (Arquitectura, UFV), Eduardo Arroyo Vega (Diseño, UFV), Giovanni Intra Sidola (Arquitectura, UFV), Laura Carlevaris (Arquitectura, Sapienza), Enrique Ruiz (Beca CEIEC) e Ignacio Barrera (Beca Arquitectura).
11/11/2021. Semana de la Ciencia e Innovación UFV 2021
El proyecto ARQGAN se presenta en la Semana de la Ciencia y la Innovación 2021, organizada por la Unidad de Cultura Científica (UCC), dependiente de la OTRI y del Vicerrectorado de Investigación de la Universidad Francisco de Vitoria. Esta actividad, impulsada por la Fundación para el Conocimiento Madri+d, se celebra los días 1 y 14 de noviembre con el objetivo de fomentar la participación activa del ciudadano en la práctica científica, haciendo partícipe a la sociedad civil en la producción de conocimiento y en el debate público como un agente más del sistema.
10/2021. ARQGAN se publica en Expert Systems (Elsevier)
Los resultados de investigación del proyecto ARQGAN se publican en la revista Expert Systems with Applications (Elsevier), en un artículo titulado "ARQGAN. An evaluation of generative adversarial network approaches for automatic virtual inpainting restoration of Greek temples". Autores: Alberto Nogales Moyano, Emilio Delgado-Martos, Ángel Melchor y Álvaro José García Tejedor. DOI: https://doi.org/10.1016/j.eswa.2021.115092
13/04/2021. ARQGAN solicita una patente en la OEPM
El proyecto ARQGAN solicita una propuesta de patente en la Oficina Europea de Patentes y Marcas (OEPM) con el nombre "Method for obtaining an image with a restored object” (nº de registro: EP21382311.5). La patente ha sido diseñada por: Álvaro José García Tejedor (CEIEC, UFV), Emilio Delgado-Martos (Arquitectura, UFV) y Alberto Nogales Moyano (CEIEC, UFV).
07/2020. Defensa PFG vinculado a ARQGAN
Ángel Melchor, alumno de Ingeniería Informática y colaborador del CEIEC, presenta su Proyecto Fin de Grado "Reconstrucción Arquitectónica mediante Redes Generativas Antagónicas" obteniendo la calificación de Sobresaliente. Este trabajo de investigación, tutelado por Álvaro José García Tejedor, se ha desarrollado dentro del proyecto ARQGAN - Reconstrucción virtual de arquitecturas de interés histórico con Deep Learning, financiado con ayudas del Vicerrectorado de Investigación de la Universidad Francisco de Vitoria.
01/2020. Comienza ARQGAN
Se inicia el proyecto ARQGAN - Reconstrucción virtual de arquitecturas de interés histórico con Deep Learning, un proyecto con ayudas económicas del Vicerrectorado de Investigación de la Universidad Francisco de Vitoria. El equipo es el siguiente: Álvaro José García Tejedor (IP, CEIEC, UFV), Emilio Delgado-Martos (IP, Arquitectura, UFV), Alberto Nogales Moyano (CEIEC, UFV), Ángel Melchor (Beca CEIEC) e Ignacio Barrera (Beca Arquitectura).
Proyecto subvencionado MICINN (PID2021-126633NA-I00)
