Percepția si reconstrucția de obiecte cu arhitecturi de deep learning 

For the English version, click here. 

Grant: 178PCE/2021, PN-III-P4-ID-PCE-2020-0788

Autoritatea contractantă: UEFISCDI

Valoare grant: 1.198.032 RON

Instituția coordonatoare: Institutul Român de Știință și Tehnologie

Sprijinit de: Muzeul Olteniei, Laboratorul de Restaurare și Conservare 

Perioada de implementare: 04.01.2021-31.12.2023

Proiectul OPERA introduce un cadru teoretic tripartit care se afla la intersectia dintre doua zone de prima linie in informatica: computer vision si machine learning. Reteaua tehnologica va consta in perceptia - reconstituirea semantica a imaginii - reconstructia 3D de obiecte. Eficacitatea sa practica va fi investigata de la un capat la celalalt pe un scenariu real care provine dintr-un alt domeniu de frontiera, pastrarea patrimoniului cultural. Importanta problemei este asadar dubla. Din punct de vedere computational, cercetarea este exploratorie fiindca permite aplicarea, modificarea si crearea de noi tehnici de deep learning pentru sarcina specifica si delicata a analizei si modelarii computationale pentru artefacte istorice. Din perspectiva culturala, cele trei directii sunt esentiale pentru o restaurare adecvata, in timp ce reconstituirea semantica a imaginii si reconstructia 3D a obiectelor sunt de asemenea imperative pentru efortul consistent de digitalizare a patrimoniului istoric. Este deja recunoscut faptul ca arheologia expune limitele tehnicilor curente de computer vision, din moment ce artefactele sunt sparte, corodate si cu zgomot. Invers, exista o nevoie afirmata de abordari teoretice pentru a intelege trecutul din ramasitele sale gasite in prezent.

Rezultate obținute

Completare semantică și reconstrucție 3D

Proiectul OPERA și-a propus să arate modul în care inteligența artificială (învățarea profundă) poate oferi sprijin pentru restaurarea bunurilor deteriorate de patrimoniu cultural și expunerea unei replici digitale pentru obiecte.

Un model de învățare profundă pentru regresie poate estima mai întâi compoziția chimică de la suprafața obiectului din imaginile microscopice. Ulterior, compușii de coroziune prezenți pot fi delimitați și identificați printr-un model de segmentare semantică. În acest moment, expertul poate lua în considerare și rezultatul acestui asistent virtual și poate continua cu tratamentul adecvat pentru piesa.

Odată realizată reparația chimică, trebuie efectuată finalizarea artistică. În această a doua etapă, o tehnică de completare semantică poate oferi expertului diferite întregiri plauzibile. Pe baza acestui rezultat aprobat, un model generativ 3D poate produce o replică virtuală a obiectului.

Descoperiți modul în care modelele de învățare profundă ghidează procesele de restaurare, oferind o privire asupra viitorului păstrării patrimoniului cultural: