포항 인공지능 천년만세 중 양청도드리 03:06 

Pohang AI Cheonnyeonmanse - Yangcheong Dodeuri

알고리즘 청소년 작곡자: 김동현 김영재 김지형 어다현 이세혁 장다나 황보동영

양청도드리는 천년만세(계면가락도드리_양청도드리_우조가락도드리) 모음곡 중 두 번째 곡이다. 한 장단이 여섯 박인 웃도드리를 네박짜리 장단으로 변주한 것이다. 도드리 한 장단에서 주요음(主要音) 2개를 추출하고 각 음 앞에 거문고의 문현(文絃)을 삽입하는  방법으로 변주된 곡이다. 문현음 한 개와 주요음 한 개를 이어 연주하기 때문에 두 개의 음(양청)을 연주한다는 뜻에서 ‘양청도드리’라고 한다. 조선 후기 풍류방 음악 문화의 기조가 잘 담겨있는 악곡으로 보허자를 주체적으로 수용하고  발전시키는 과정에서 만들어져 새롭게 향악곡화된 곡이라는 점에서 의의가 크다고 볼 수 있다.  전체 7장으로 구성되며 비교적 경쾌하고 속도감이 느껴지는 곡이다. 본 연주는 2022년 제2회 포항 인공지능 국악작곡 음악회의 일환인 <포항청소년 AI 風流> 에서 청소년들이 위상수학과 인공지능 방법론을 이용하여 새로 해석한 인공지능 양청도드리 연주이다

수제천 주제에 의한 인공지능 합주 II-1 09:28 

AI Ensemble on the Theme of Sujecheon II-1

알고리즘: 정재훈 이동진 Mai Lan Tran 

수제천은 <정읍사(井邑詞)>를 노래하는 악곡으로 원곡명은 <정읍(井邑)>이다. 고려시대부터 조선  전기까지 향악정재(鄕樂呈才)의 하나인 <무고(舞鼓)>에서 노래하던 음악이었으나, 조선 후기에 이르러 <정읍>이 노랫말을 잃고 기악곡화 되었다. 수제천은 정재 <처용무> 반주음악으로도 쓰이고 있다. 본 연주는 수제천에 담긴 독특한 음악 구조를 네 가지 악기(대금, 피리, 해금, 아쟁)가 만들어 내는 위상수학적 연관성으로 시각화하고 이를 인공지능 방법론으로 학습한 후 기계적으로 작곡한 관악 합주곡이다. 수제천 주제를 이용하여 수제천의 기하적인 모양을 흉내내려고 노력하는 음악이기 때문에 반드시 수제천과 같은 곡일 필요는 없고 또 수제천과 다른 음악일 필요도 없다.

<분석 풍경>은 인공지능의 인식을 통해 재구성한 풍경 영상 시리즈다. 카페, 지하철, 시장 등 도시의 장소들과 바다, 산, 새, 나무와 같은 자연의 장면을 촬영한 뒤, 이를 19개의 서로 다른 인공지능 시각 알고리즘으로 분석했다. 얼굴, 감정, 사람의 자세, 사물, 움직임, 거리 등을 인식하는 알고리즘들은 대상의 정보를 라벨, 확률, 윤곽선, 색, 바운딩 박스, 화살표, 수치와 같은 데이터 기반 시각 요소로 변환한다.

관람자는 인공지능이 대상을 어떻게 보고 판단했는지, 그 결과 데이터로 이루어진 새로운 풍경을 마주하게 된다. 익숙한 장면임에도 형태는 희미해지고, 대신 인공지능이 중요하게 읽어낸 패턴, 분류 기준, 그리고 정보의 흐름이 풍경의 구조가 된다. 이를 통해 세계를 바라보는 다른 관점, 인공지능의 시선을 경험하게 된다.

우리가 바라보는 풍경과 인공지능이 인식해 구성한 풍경은 종종 차이를 보인다. 인간과 인공지능은 서로 다른 방식으로 세계를 바라보고, 중요하게 여기는 요소 또한 다르기 때문이다. 인공지능의 분석에는 때때로 착시나 오류도 포함된다. 부서지는 하얀 파도를 눈이라 판단하거나 회색 바위를 코끼리로 분류하기도 하며, 같은 인물을 각도에 따라 남성으로 혹은 여성으로 인식하기도 한다. 이러한 인식의 결과는 인공지능의 특성이자 기술적 한계 때문이기도 하지만, 동시에 예상치 못한 유머와 상상의 가능성을 만들어내기도 한다.

이번 전시에서는 아홉 개의 영상—카페, 지하철, 시장, 교차로, 바다, 산, 새, 나무, 강—이 무작위 순서로 반복 재생되며 서로 다른 장소와 알고리즘이 만들어내는 데이터적 풍경을 이어낸다.

작품에 사용한 인공지능 알고리즘 리스트:
1. YuNet: 얼굴 위치, 크기 인식.
2. Dlib Face Detection: 얼굴 위치, 크기, 특징점 인식.
3. DSFD: 얼굴 위치, 크기, 확신도 인식
4. Keypoint Communities: 얼굴, 위치, 크기, 요소, 몸 포즈 인식
5. Facial Expression Recognition with Adaptive Frame Rate based on Multiple Testing Correction: 감정 인식
6. Distribution-Aware Coordinate Representation for Human Pose Estimation: 몸 포즈 인식
7. Instances as Queries: 사물 인식
8. Densepose: 몸 포즈, 몸 부위 외곽선 인식
9. FairFace: 인종, 성별, 나이 인식
10. L2CS-Net: 시선 인식
11. Real-time deep hair matting on mobile devices: 머리카락 영역 인식
12. Multi-ethnic MEBeauty dataset and facial attractiveness assessment: 아름다움 인식
13. Distinctive Image Features from Scale-Invariant Keypoints: 특징점 인식
14. Panoptic Feature Pyramid Networks: 사물과 배경 구분
15. Mask R-CNN: 개별 객체의 위치와 형태 인식
16. Co‑DETR: 사물 인식
17. Lucas-Kanade: 움직임 인식
18. Depth Anything V2: 깊이 인식
19. Open Vocabulary Monocular 3D Object Detection: 사물 3D 인식

<찬드라 연대기: 인 뉴로버스>(2025)는 인간이나 기계 등 다양한 신경망들이 사는 우주 ‘뉴로버스’를 상상한다. 관객은 작품 주인공인 찬드라가 되어 키보드, 마우스, 스크린과 같은 기계를 활용하거나, 또는 보행대를 밀며 몸으로 직접 이 우주를 항해할 수 있다. 뉴로버스 속 어떤 뇌는 나이들었고 또, 어떤 인공지능은 오래되었다. 뉴로버스는 이들 중 ‘누가 더 정상인가’를 묻지 않는다. 대신, 서로 다른 감각과 인지 방식을 가진 존재들이 함께할 수 있는 가능성을 묻는다.

• 설치 요소 및 참여방식 : 전시장에는 LED 패널에 프로젝션된 실시간 상호작용형태의 영상이 상영된다. 이는 무선 마우스와 화살표 키보드로 영상을 컨트롤 할 수 있다. 또한 증강현실용 앱이 설치된 모바일 태블릿과 결합된 보행대가 전시공간에 놓여지는데, 관객은 보행대를 밀면서 그에 놓여진 테블릿 기기 화면을 터치하면서 화면과 자신의 움직임을 연동시켜볼 수 있다.  

• 
  

<찬드라 연대기: 인 뉴로버스>는 2019년 <찬드라> 시리즈의 대본에서 파생된 일련의 관객참여형 작업이다. 2020년 <찬드라의 신호>, 2021년과 2022년의 <찬드라 X>, 2023년 <소마의 정원>과 <소마 행성 만트라>로 망라된 바 있다.

<찬드라 x>는 간-행성 네트워크 기반 컴퓨팅 환경 속 신-식민주의적 노동의 수행 방식과 “초자본”으로서의 생물 다양성을 다뤘다. AR과 VR의 원격 통신 기술로 구축된 3D 퍼포머티브 장치, 환경 속에서 관객이 간-행성 네트워크 환경 관리자 ‘찬드라’로서의 업무와 권한을 수행하며, 식민화와 피식민화 사이의 불확실성을 경험할 수 있도록 했다.

2023년 아트센터 나비에서의 <소마X찬드라>에서 신성한 음료이자 이를 담는 제기인 “소마”, 달의 신이자 소마의 다름 이름인 “찬드라”들이 함께 하는 옴니버스이자 멀티스버이자 메타버스이다. 공연형식으로 구현되었고, 각 막에서 소마와 찬드라는 다양한 존재로 변신하고 변주한다. 이는 XR로 구현되었다.

이번 포스텍 체인지업 그라운드에서 소개하는 2025년의 <찬드라 연대기>는 신경망적 관점에서 다양한 형태나 반응이나 연결방식으로 존재하는 찬드라를 관객이 직접 구현해내는 방식의 실시간 관객참여형 공연 무대로 구성될 것이다. 이번 작업을 위해 국립아시아문화전당의 제작지원 또한 이뤄졌다.