1. Concept

“미스터 코와의 조우”는 Covid19의 유전체(ATGC) 변이를 인공지능으로 분석한 데이터를 이용해 인간과 대화를 시도하는 개념이다. 즉, Covid19의 유전체 ATGC의 변이를 기반으로, Covid19가 인간에게 질문을 하는 방식으로 대화가 진행된다. 이는 마치 이질적인 문명이 조우하였을때, 서로의 소통을 위해 각기 다른 언어체계를 해석하기 위한 과정과 같다고 할 수 있다. 그래서 Covid19와 인간 사이의 소통을 위해 Covid19의 유전체를 “해석하는 프로그램(번역기)”을 자체적으로 개발하여 초보적인 대화를 선택 할 수 있게 하였다. 번역기를 통해 인간들은 Covid19의 질문을 읽을 수 있게 되며, Covid19의 질문에 대답을 선택하는 방식으로 소통을 하게된다. [본 내용은 같은 팀의 생명공학자의 코로나를 분석한 데이터를 기반으로 이루어졌다.]

3. 코로나의 변이에 영향을 미치는 대화의 방식

Covid19는 인간에게 대화를 시도한다. 그리고 코로나의 질문에 인간은 답변을 선택한다. 이때 인간의 태도에 따라 코로나가 변이되는 방식이 결정된다. 만약 코로나에게 인간이 적대적이다면, 코로나는 변이를 빠르게 하여 인간이 원하는 방향으로 변이를 하려고 한다. 즉 코로나에 얼마나 적대적인지 호의적인지에 따라 변이의 정도가 발생한다.

1. Concept

바이러스는 유전체 정보를 가지고 있다. 그리고 자연선택에 의해 바이러스는 특정 부분에서 계속적으로 변이가 발생한다. 그렇다면 시간 축에 따른 변이에 대한 패턴을 분석할 수 있으며, 이를 통해 시간과 변이에 대한 패턴의 종류를 머신런닝으로 학습할 수 있다. 그리고 AI를 통해 학습한 정보를 분류하는 결과 값을 도출한다. 그래서 AI를 통해 도출한 결과값을 매개로 새로운 세계관을 정의하고자 한다. - 밥랩(한승구) + 예술과재난(강제욱) +인포보스(박종선, 생명공학자)

1-1. 인간들과 바이러스 그리고 공생

(1) 사람과 바이러스 : 사람들에 따라 바이러스의 전염력과 치명률이 차이가 있다고 한다. 실제로 노인과 어린아이 그리고 인종에 따른 전파율과 치사율이 다른데, 이를 관람객에게 적용하고자 한다. 즉, 개인이 지니고 있는 유전체 정보에 따라 바이러스와의 관계도 달라진다는 것을 알 수 있다. 이러한 사실을 작가팀이 구성한 코로나 세계에 적용하고자 한다. 인공지능으로 관람객을 분석하여 관람객마다 각기 다른 변이 바이러스를 만들어 내고 그 결과(사운드, 이미지, 입체 등)가 매순간 달라진다.

(2) 공생 : 천산갑과 박쥐는 바이러스와 공생한다. 그리고 동물과 식물에 전염된 바이러스는 서로 공생을 하고 있지만, 인간들의 자연에 대한 무차별한 개입으로 인간들에게 바이러스의 숙주가 옮겨지고 있다. 그리고 바이러스는 끊임없이 자연선택에 의해 진화되면서 재탄생하고 있다. 그렇다면 인간, 생태, 바이러스가 공존할 수 있는 인식이 필요하다.

2. Language Decoder : Translate COVID19 genome into color, word, 3D coordination ASCII Data

2-1. 변환 방법

(1) Input : 바이러스 정보 분석

코로나의 유전체 정보를 입력을 받은 후 변이가 나오는 구간을 분석한다. 변이의 패턴을 추출한 후 인공지능으로 학습하는 단계이다.

(2) Deep leaning : 새로운 세계관 시뮬레이션

분석한 코로나 유전체정보를 통해 다시 변이되는 코로나를 만들어 낸다. 즉, 시간의 축에 따른 변이된 코로나의 데이터를 100000세대까지 추출한다.

(3) Language Decoder : 바이러스의 의인화

코로나의 변이를 사람이 인지할 수 있는 조형요소로 변환하기 위한 decoder를 개발한다. 그리고 변이되는 코로나를 decoder를 기반으로 시각화하기 위한 테이블을 구성한다.

(4) Visualization : 시각화

코로나의 변이되는 유전체를 인공지능으로 구성한 decoder에 입력하여 시각화하는 조형요소로 만든다. 그래서 코로나의 데이터가 글을 쓰고 그림을 그리고 조각을 하거나 사운드를 만들 수 있게한다.

변환테이블(language decoder)은 코로나의 유전체정보[ATGC]를 "색상, 단어, 아스키코드, 3D좌표"로 번역하기 위한 사전이다. 그래서 유전체 정보를 변환한 생상정보를 이용해 회화작품을 제작하거나, 단어로 변환하여 책을 출판하였다. 위의 도표를 통해 코로나의 유전체 정보를 해석할 수 있다. 위의 변환테이블을 도표화하면 아래와 같다. 예를들면 COVID-19의 유전체 정보 중 AA이는 색상정보의 white로 번역이 가능하다. 단어는 “나는”으로 번역할 수 있다. 그래서 본 책은 AI(인공지능)으로 100000개의 코로나의 변이를 분석하여 변환테이블로 예술의 조형요소로 변환하였다.

Hackathon Project

1. 스토리

○ 사건의 배경

어느 날 집으로 귀가한 형사는 자신의 아이가 납치된 사실을 알게 된다. 아이를 찾기 위해 형사는 이교도와 거래하여 타임슬립 장치를 얻게 되었고, 이 장치를 매개하여 사건 추정 시간인 11:30으로 시간을 역행한다. 과거의 시간으로 역행하면서 형사는 범인의 단서를 흐르는 시간 속에서 발견하여, 다시 현실로 돌아온다. 그리고 그 단서로 범인을 체포한다.

○ 사건 추정 시간, 11: 30에 대한 진술

‘유치원 교사’는 늘 상의 일처럼 아이를 집에 데려다 주었다. 사건 때문에 늦은 귀가로 홀로 있는 아이가 안타까워 그 날도 아이와 저녁을 먹고 집으로 귀가했다. 아이는 혼자만의 시간이 외로워 이웃집에 사는 ‘여고생’ 언니가 학교를 마치고 집에 돌아오자마자 집에서 같이 놀아달라고 한다. 평소에 아이를 좋아한 여고생은 아이에게 간식을 주면서 잘 놀았다. 몇 시간 뒤 여고생은 집으로 돌아갔고 아이는 홀로 아버지를 기다리다 잠이 든다. 이윽고 11시 20분이 되고 ‘주인 할아버지’는 밀린 월세를 받으러 형사의 집으로 내려가지만 집에서 아무도 나오지 않는다. 주인 할아버지는 바로 다시 집으로 올라간다.

11시 30분 쯤 부터 지하에 사는 아이의 비명 소리를 5분 동안 여러 번 듣고 이상함을 느낀 ‘여고생’, ‘주인 할어버지’가 지하로 내려간다. 그리고 집으로 들어가던 ‘조폭’도 역시 그 소리를 듣고 지하로 내려간다. 형사의 집은 문이 열려 있고 아이는 사라졌다. 창문 틈으로 지나가던 ‘외국인’은 그 광경을 지켜 보고 있고 이웃에 사는 ‘잘생긴 남자’는 친구를 만나러 가던 중 사람이 모여 있는 것을 보고 덩달아 내려오며, 편의점을 다녀오던 형사의 옆집에 사는 ‘평범한 사람’도 그 현장을 본다.

2. 구성

본 작업은 3개의 부분으로 구성된다. 사선의 전개를 알려주는 ‘프롤로그’, 범인의 단서를 조사하는 ‘사건의 현장’, 마지막으로 범인을 검거하는 ‘에필로그’ 이다. ‘프롤로그’는 만화 형태로 형사의 아이가 납치된 사실과 아이를 찾기 위해 이교도들과 거래하여 타임슬립 장치를 얻게 된 형사의 이야기를 그린다. ‘사건의 현장’은 설치 작품으로 관람객이 현장에 들어가 타임슬립 기능으로 범인의 단서를 찾는 공간이다. ‘에필로그’는 현장에서 발견한 단서를 기반으로 범인을 검거하는 게임을 진행한다.

○ 프롤로그 – 만화로 사건의 전개를 알려준다.

○ 현장 – 프로젝션 맵핑과 타임슬립 장치를 매개하여 사건 추정 시간인 11:30으로 시간을 역행하면서 범인의 단서를 발견한다.

○ 에필로그 – 주요 인물의 프로필을 제공한다. 범인을 찾는 게임을 진행한다.

3. 타임슬립 발생 조건 및 현상

○ 작동 – 타임슬립 장치를 관객이 만진다.

○ 조건 – 약 30초에서 1분 사이만 만져야 된다. 그 이상 만지면 암전된다.

(HP 소모, 게임 오버, 악마와의 비밀 계약 위반)

○ 현상 – 맵핑된 영상이 일그러지면서 점점 과거로 역행한다.

- 배경이 과거의 시간으로 역행하면서 범인의 단서들이 노출된다.

- 조명이 깜박인다. (점점 빨리 깜박이면 타임 슬립을 멈추어야만 한다.)

○ 현재로 회귀 – 손을 뗀다. 영상 위에 파편이 붙으면서 현재로 돌아 온다.

4. 타임슬립을 통해 얻을 수 있는 단서

○ 창문에 여자의 구두가 보인다. (가로등 때문에 구두의 모양으로 추정할 수 있다.)

○ 문을 기웃 거리는 사람의 모양이 흐릿하게 보인다.

○ 거울에 특정 색의 옷이 보인다.

○ 냉장고 빛에 의해 범인의 그림자와 행동을 볼 수 있다.

○ 화장대의 거울에 반사된 범인의 모습이 보인다.

○ 대화 소리가 들린다.

○ 시계 소리가 들린다. (시간 알림 소리, 열한시! - 특정 핸드폰 소리)