문화유산의 취득과정 및 보존과정에서의 이미지 데이터는 환경과 시간에 따른 색상 변형이 발생. 기존의 컴퓨터 비전 알고리즘 중 가장 좋은 색상개선 효과를 보이는 알고리즘들의 적용 및 문화유산 데이터의 효율성 검증 진행

아날로그 데이터들의 경우 노이즈 문제가 두드러져 이를 스캐닝을 통하여 디지털화하고 노이즈를 줄이는 기술 개발. 기존 형태 최대한 손상 없이 디지털화 진행.이후 색상 개선에 필요한 기술들 추가(LIME&BM3D 활용)

색상, 품질개선(블러링 개선 등)을 위해 Guided Filtering 사용

페어드/언페어드 데이터셋 기반 CNN 모델 학습 모델 2종 연구

실감형 콘텐츠를 위해 획득 및 생성 과정에서의 최고 수준의 기술들에 대한 검토 및 기술 개발. 기가 픽셀단위의 2D 이미지 데이터, 초정밀 수준의 3D 데이터를 위한 단계별 특징별 표준방식에 대한 표준 가이드도 함께 병행하여 진행

콘텐츠 생성과정에서의 여러 환경에 대한 표준과 함께, 로봇을 이용한 자동 취득 기술을 개발하여 숙련도 문제 해결을 위한 기술개발 진행

문화유산의 취득과정에서의 표준 가이드 라인을 구축하여 향후 박물관 콘텐츠 관련 제작에 큐레이터가 직접 활용 하고 검토 할 수 있는 방법 제시

문화유산 데이터의 애셋 생성을 위한 기초 데이터 변환 기술 개발 및 DB와 연동. 애셋 데이터 관리자 모듈 개발, 애셋 변형/생성 모듈 고도화, 애셋 변환 모듈 고도화 수행

3D 초폴리곤 형태로 구성된 데이터들을 포함하는 가시화 기술 개발. 2D 애셋 가시화, 3D 애셋 가시화, 3D 중심점 수정 및 랜더링 고도화 수행

문화유산의 가상공간 전시는 문화유물의 특성에 따라 유물 외에도 공간, 배치, 유물관 관련 데이터 등도 동시에 필요. 인공지능 기술을 활용한 유물 특성에 따른 가상전시 자동 생성을 위해, 실제 가상 전시 공간들의 대표적 관련 데이터를 수집, 이를 가시화하는 기술 개발

애셋 표준 생성을 위한 데이터 취득 작업 진행 (177점 취득 → 129점 애셋화), 문화유산 아카이브 데이터 디지털화 작업 진행(8,353장 진행). 전시/교육/콘텐츠 개발 시 다양한 활용이 가능한 표준화 방법 연구

문화유산 검색을 위한 데이터 및 관계를 정의(데이터속성 92종, 관계 14종). 국립중앙박물관 e-museum 데이터의 속성 및 관계 태깅 수행

문화유산의 자동분류/태깅을 위해서는 문화재에 특화된 언어의 학습이 필요. 여러 조건의 학습률과 학습 랜덤 시드를 이용하여 각 조건에서의 성능 테스트

실제 문화유산 데이터를 기반으로 개체명 인식결과를 활용, 데이터간 온톨로지 구성을 위한 관계 네트워크 분석기술 진행. 4가지 모델에 대하여 연구 진행, 성능 및 확장성 고려하여 최적 모델 분석

Style Transfer를 기반으로 부족한 학습 이미지 데이터 보강 후 Natural 이미지 및 가상 DB용 모델 전이 학습을 통한 객체 검출 연구

문화유산 활용을 위한 연구 개발 결과들을 사용자가 편하게 사용할 수 있도록 최적의 플랫폼 설계를 목표. 문화유산 디지털 데이터의 효율적 관리 및 연구 개발 모듈 실행을 위한 데이터베이스와 플랫폼 구축

전시 및 콘텐츠에 활용 가능한 데이터를 쉽게 접근할 수 있도록 문화유산의 관계 기반 검색 구축 및 관련 자료들을 시각화

문화유산 검색을 큐레이터 친화적인 자연어에 의한 복합 검색이 가능하도록 형태소 분석 및 데이터 베이스 연동. 문화유산의 의미/이미지 기반으로 연구된 결과와 기존 사용 엔진의 결과를 조합하여 사용자에게 검색 기능 제공 및 문화유물 태깅/검색 학습 결과를 활용한 문화유물 검색 필터링 모듈 개발

플랫폼의 사용 형태 및 목적에 따라 문화유산 데이터의 변환 및 공유 기능을 제공하도록 개발. 문화유산 애셋 생성 가이드라인을 이용, 데이터 생성/관리를 위한 DB 설계 및 사용자 편의를 위한 GUI 모듈 개발

언어 모델 기반 관계 추출 연구 결과를 활용하여 관계 형태를 표현하기 위한 다양한 형태의 관계형 가시화 연구 진행

대용량 데이터의 클라우드 활용과 저장공간 이원화 및 기존 텍스트 검색을 반영한 관계기법 검색 기술 등을 플랫폼 설계에 반영

문화유산 애셋 생성 데이터를 활용하여 시범 콘텐츠 제작(7종)

문화유산 데이터의 애셋화와 지능형 분석을 통한 시범 서비스의 형태로 예상되는 디지털 아카이빙 기반 가상 전시 웹 콘텐츠 구성. 문화유산 애셋 플랫폼을 활용하여 다양한 웹 콘텐츠를 제작할 수 있는 모듈 및 시범 콘텐츠 제작

문화유산 애셋의 실감콘텐츠 활용을 위해 기본 데이터 외에 반응하는 데이터 추가, 사용자 관련 정보 추적기술 개발. 멀티 디바이스 지원이 가능한 사용자 접속 구조 개발하여 다양한 인터랙티브를 멀티 디바이스에서 체험 가능

인공지능 기반의 문화유산 영상 이미지 고해상화 변환. 4x SR일 때, PSNR: 27.421, SSIM, 0.7978 획득

문화유산 표준속성에 대한 정의를 재질/빛에 대한 반사등으로 제한, 표준 물리 기반 렌더링(PBR) 템플릿 30종 구성

2D 기가 픽셀 구축을 위한 다중 2D 이미지 데이터 획득 가이드라인 및 고해상도 3D 모델링 데이터 생성을 위한 다중 2D 이미지 데이터 획득 가이드라인 제시

기존의 시간적 노력과 촬영자의 숙련도에 따른 품질 차이 개선을 위한 자동장치를 활용한 최초 개발 시도

국립중앙박물관의 큐레이터, 보존과학부, 교육부서 등의 요구 사항

기반 문화유산 애셋 스키마 정의 및 시스템 설계

원본데이터에서 애셋으로 변환하거나, 애셋 간의 변환을 가능하게 하는 모듈 개발로 데이터 호환성 증대

애셋의 가시화를 활용해 큐레이터들의 요구사항인 직관적 데이터 관리 인터페이스 제공

딥러닝 기반 Multi-object Detection 네트워크 분석 및 적용,

COCO dataset 학습 기반 2D 개체 검출 기술 적용

큐레이터의 요구사항을 반영, 이뮤지엄 문화유산 데이터 분석.

텍스트 데이터 속성 18종 선정, 이미지 데이터 속성 26종 선정

개체명 인식기를 이용한 문화유산데이터의 속성 추출

딥러닝 기반의 개체명 인식기술 이용

문화유산의 검색을 위한 말뭉치와 이미지 데이터셋 구축 도구 개발

웹 기반의 어노테이션 도구로 업데이트와 접근성 확보

지식 관계망 구축을 통한 기록물 데이터 새로운 접근 방향 제시 및 시각화

애셋관리자, 큐레이터, 일반사용자 등으로 구분하고 이를 설계에 반영

고해상도 이미지, 고품질 3D 데이터에 대한 웹에서의 디스플레이를 위한 엔진 구성 및 GUI설계

홀로렌즈2를 활용한 MR기반 문화유산 해설 및 체험 콘텐츠 개발