AI 만화가! AI CARTOONIST

AI로 만화를 그릴 수 있을까? 조원들이 가장 처음에 던진 질문이다. 웹소설 웹툰을 제작하는 것이 초기 목적이었으나 짧은 단편 만화부터 제대로 만들 수 있어야 한다는 피드백이 들어왔다. 따라서 해외의 유명 만화 '블론디' 를 바탕으로 학습한 AI를 통해 3컷 코미디만화의 제작을 목표로 설정하였다. 웹에서 가져온 만화를 대사(OCR)와 그림에 대한 상황설명(Image captioning)으로 묶어 데이터를 직접 제작하였다. 그리고 KoGPT2 Chatbot을 통해 데이터를 파인튜닝하여 컷을 차례대로 생성하였다.  우리는 AI가 제작한 코미디만화가 사람들에게 웃음을 선사할 지는 개개인마다 다를 것이라 생각하였다. 따라서 평가는 조원들의 설문조사로 진행하였다. 더 풍부하고 질 좋은 데이터를 제작하지 못한 것이 아쉽지만 코미디라는 장르를 AI가 소화할 수 있는 지에 대한 참고자료가 되었으면 하는 바람이다.

짧은 영상 콘티 생성 AI

짧은 에피소드 형식의 영상 콘텐츠 수요가 늘어나며, 많은 크리에이터들이 이러한 에피소드를 만들기 위해 노력하고 있다. 하지만 영상의 길이가 늘어지지 않고, 영상 내용이 좋고, 의도한 바를 전하는 영상을 제작하는 것은 힘든 일이다. 때문엥 신입 크리에이터나 입문자의 경우 필요없이 영상 길이가 늘어나거나, 영상의 내용이 부족하거나, 내용을 전달하는 대사와 장면생성에 어려움을 겪을 수 있다. 이에 따라 본 연구에서는 본 연구에서는 KoGPT-2(자연어 생성 AI)와 Stable-diffusion(Text-to-Image 생성 AI)를 활용한 '짧은 에피소드 영상 콘티 생성 AI'을 개발하여, 진입 장벽이 높은 짧은 에피소드형 영상 콘텐츠에, 입문자들도 영상을 제작할 수 있는 영상 콘티를 만드는 것을 목표로 한다. 본 AI에 크리에이터가 제작하고 싶은 내용을 요약문으로 입력하면, 영상을 제작할 수 있는 영상 콘티를 약 4컷으로 생성할 수 있다.

서양 미술 작품을 대상으로 캡셔닝 모델과 트랜스포머 모델을 이용한 해설 생성

미술 작품을 감상하는데 해설이 적혀 있지 않다고 생각해보자. 아마 전공자 혹은 미술에 관심이 있는 사람이 아니라면 작품을 이해하지 못할 수 있다. 미술에 대해 잘 모르는 사람들에게 도움이 되는 모델을 만들기 위해 연구를 시작하였다. 이 연구에는 미술 작품에 대한 해설을 생성하는 모델을 만든다. VIT와 BLIP을 통해 작품에 대한 문장을 얻고, 그 문장을 사용해 GPT2로 해설을 생성한다. 이미지 캡셔닝 모델을 만들 수 없었기에 이미 존재하는 모델을 사용해 텍스트를 얻고 그 텍스트를 통해 해설을 생성하는 것이다. GPT2의 파인튜닝은 르네상스, 바로크, 신고전주의, 낭만주의 작품의 이미지와 해설을 ‘Google Arts & Culture’에서 크롤링하여 모델학습을 진행했다. 세 문장으로 해설을 얻어내는 것이기 때문에, 모델이 생성한 해설이 사람이 작성한 해설과 같진 않아도 몇몇의 문장과 단어는 미술작품들에 공통적으로 나오는 특징들을 찾아내기도 했다는 것이 이 연구의 성과이다.

AI RHYMER - 랩 작사를 위한 라임 중심의 단어 추천 프로그램

본 프로젝트는 선행 연구들의 랩 창작 이론 및 발음 유사도 분류를 이용하여 문맥을 해치지 않으며 라임을 생성하는 단어를 추천하는 프로그램을 구성했다. 랩의 구성 요소는 크게 메세지, 라임, 플로우로 구분하며 이 중 라임은 랩에서 다른 두 요소들에 큰 영향을 가진다. 라임은 기본적으로 비슷한 발음의 음절뭉치를 다수 활용하여 박자감을 주는 역할을 하고 플로우 구성의 기반으로 작용한다. 또한 랩이라는 장르의 특성상 일반적으로 발라드나 알앤비 등의 다른 장르의 노래들에 비해 많은 수의 음절을 빠르게 발음하는데, 가사의 전달력을 높이고 노래에 재미를 더하기 위해서 메세지적으로 중요한 단어에 라임을 맞추는 구성을 가진다. 본 프로젝트는 이러한 역할을 가지는 라임에 중심을 두어 가사만으로는 확실한 판별이 어려운 라임을 '라임이 될 수 있는 음절뭉치'를 탐색하는 알고리즘을 직접 구성하여 다음과 같은 단계를 거쳐 최종적으로 라임을 생성하는 단어를 추천하는 프로그램을 구성했다. 1) seq2seq 기반의 kcBERT 모델을 활용하여 작성된 가사에서 사용자가 설정한 위치에 대체될 수 있는 단어들을 다수 생성 2) 생성된 단어들 각각을 가사에 투입하여 새로 생성된 모든 가사에 대한 라임밀도 점수를 생성 3) 라임밀도 점수를 기준으로 생성된 단어들의 순위 결정 및 순위별 단어를 추천. 본 프로젝트의 핵심인 '라임이 될 수 있는 음절뭉치'를 탐색하는 알고리즘의 경우 음절 길이에 맞는 판단 기준을 제시했을 때 80% 이상의 라임을 정확하게 인식하는 등 높은 정확성을 보였다. 최종 결과물은 10가지 이내의 짧은 음절 길이를 가지는 단어만을 추천하여 기대에 미치지 못했지만 보다 발전된 형태의 단어 추천 모델을 활용한다면 더 유의미한 결과를 얻을 수 있을 것이라 기대된다.

글향아 춘을 써라

기존의 식상하고 형식적인 향수 제품 문구들을 마음에 와닿는 색다른 말들로 표현할 수는 없을까? 우리 조는 보통의 향수 회사가 향을 표현하는 번역투의 말들 대신, 우리나라의 여러 시 작품들에서 사용된 추상적이고 문학적인 표현들을 학습시켜 향을 설명하도록 하는 아이디어를 생각했다. #향기 #사랑 #여행 등의 키워드를 선정해 향기를 묘사할 수 있는 목적에 맞는 시들을 학습시키고자 했고, 향을 설명하는 형식을 갖추고자 여러 향수 회사들의 홈페이지에서 문구를 크롤링해 학습에 방해가 되는 요소를 전처리하는 과정을 거쳤다. 또한, 향수의 실제 향에 맞는 글을 쓰는 정보의 정합성 이슈를 해결하기 위해 인터넷에서 쉽게 구할 수 있는 향기 관련 문구, 각종 꽃들의 꽃말 등의 데이터 역시 추가했다. 이와 같은 데이터를 모두 파인 튜닝으로 학습시키되, 데이터의 양과 학습 epoch 비율을 조절해가면 최적의 결과를 도출하고자 했다. 이후, 다양한 방법으로 기존의 데이터들을 보완해 더 나은 결과물을 얻기 위해 시어들을 치환하여 입력값을 바꾸어 넣는 ‘Input의 구체화’ 아이디어를 적용해보았다. 문장의 주어, 목적어를 특정 향기로 치환함으로써 요구되는 어휘와 글투, 표현 방식을 한 문장에 모두 담을 수 있었다. 생성된 문장을 평가하는 방법으로는 표현의 독창성, 설명이 향기와 부합하는 정도, 서사의 깊이 정도를 기준으로 정해 각 항목에 대한 점수를 메길 수 있는 구글 설문지를 작성해 사람들의 의견을 반영했다. 이렇게 우리 조가 만들어 본 ‘향수 문구 생성기 모델’은 독창적인 표현의 발생 가능성을 높이는 문구 생성 helper의 역할을 할 수 있을 것으로 기대한다. 특정 형식을 설정한 후 그에 맞춰 재조합한다면 소비자가 구매할 향수의 향기를 서사적이고 공감하기 쉬운 방향으로 표현해낼 것이다.

일기로부터 시와 그림 생성

저희 프로젝트는 제목 그대로 사용자가 입력한 일기를 바탕으로 시와 그림을 생성하는 것입니다. 필력 향상 및 정서적 안정을 가져다주는 일기 쓰기를 더 많은 사람들이 흥미롭게 즐길 수 있도록 하고자 하는 동기에서 시작하게 된 프로젝트입니다. 내용과 맥락이 비슷한 일기와 그림을 생성하는 장르 변환의 개념이 아닌, 사용자로 하여금 "인공지능이 내 일기를 보고 이런 창의적인 시와 그림을 썼다"라는 생각이 들 수 있도록 하는 것이 목표입니다. 저희는 웹 크롤링을 통해 시 데이터들을 수집하였습니다. 전처리를 수행하여 약 3400건의 시를 확보하였습니다. 각 시에 대해 최빈 명사/형용사/동사를 최대 8개까지 추출하였습니다. 결론적으로, 약 3400 크기의 (키워드들, 시) 페어 데이터셋을 제작하였습니다. 해당 데이터셋으로 KoGPT2를 파인 튜닝하여, 키워드를 몇 개 프롬프트로 입력하면 그에 알맞는 시를 생성하도록 학습시켰습니다. 저희 프로젝트의 전체적인 파이프라인은 사용자의 일기 입력으로부터 시작됩니다. 사용자가 일기를 입력하면, 시에서 키워드를 추출하였을 때와 같은 방식으로 일기에서 키워드가 추출됩니다. 해당 키워드가 파인튜닝된 KoGPT2의 프롬프트로 제공되고, KoGPT2는 알맞는 시를 출력합니다. 이것이 사용자에게 보여지는 첫 번째 출력입니다. 시가 생성되면 해당 시에서 키워드를 다시 추출합니다. 이제 일기에서 추출된 키워드와 시에서 추출된 키워드를 StableDiffusion에 입력으로 제공합니다. StableDiffusion은 해당 키워드를 바탕으로 구상화(figurative painting)를 생성합니다. 이것이 사용자에게 보여지는 두 번째 출력입니다. 다양한 샘플 일기를 입력으로 사용해 본 결과, 저희는 만족할 만한 결과를 얻을 수 있었습니다. 또한, 파인튜닝에 쓰는 데이터가 더 많아질수록 KoGPT2가 더욱 좋은 시를 생성한다는 것을 파악할 수 있었습니다. 더 많은 데이터 확보, 키워드 추출 방식 개선 등 발전 가능성이 큰 프로젝트라 생각합니다.

AI-flix (KoGPT2를 활용한 대본 생성기) 

이 프로젝트는 줄거리를 입력하면 그에 맞는 드라마 대본이 출력되는 모델을 개발하고자 하였다. 대본의 형식, 극의 장르, 배경, 사건에 맞는, 또한 극의 진행 상황에 맞는 대본을 생성하고자 하였다. AI hub에서 제공하는 KBS 방송 콘텐츠 대본 요약 자료를 활용하여 미세조정된 KoGPT2모델을 학습시켰다. 생성된 대본은 대본의 형식, 서사의 일관성, 이야기의 흥미성 등을 조원들이 정성적으로 평가하였다. 이 프로젝트는 AI가 대본의 형식에 맞는, 장르에 적절한 말투를 사용하는 대본을 생성한 것과 진행하면서 겪었던 시행착오들의 원인을 밝히며 문제를 해결해 나가고자 여러 시도를 한 것에 의의를 둔다.

사투리하는 인공지능: AI를 통한 방안 기계번역

한국어 기반 자연어 중 방언(사투리)의 사용이 적지 않음에도 불구하고 방언을 메인으로 하는 인공지능의 연구가 상대적으로 저조하다. 본 프로젝트에서는 기존의 선행 연구인 '언어적 특성과 서비스를 고려한 딥러닝 기반 한국어 방언 기계번역 연구 (2021)'를 발전시켜 방언과 표준어 사용자 간의 언어 장벽을 해소하고 방언 사용자의 인공지능 서비스 사용 기회 확대에 기여해 보고자 한다. 연구에는 AI Hub에서 제공하는 강원도, 전라도, 충청도, 제주도, 경상도 5개 지역 한국어 방언 발화 텍스트 데이터를 사용하였으며, 5개 지역과 번역 방향에 따라 총 10개의 모델을 구현한다.

AI를 활용한 로맨스 소설 생성 및 개선 방안에 대한 연구

저희 조의 목적은 실습에서 사용되었던 KoGPT2 모델을 활용한 문장 생성기의 예시를 기반으로 더 나은 소설을 생성하는 것이었습니다. 실습 코드에서 생성된 소설로부터 저희는 크게 두 가지 종류의 개선의 여지들을 찾을 수 있었습니다. 첫 번째는 맥락적 요소를 개선하는 것입니다. 소설을 구성하는 문장들은 소설의 처음에서 끝에 이르기까지 소설의 주제에 대한 문장이어야 하고, 또 줄거리에 맞는 문장이어야 합니다. 두 번째는 문법적인 요소를 개선하는 것입니다. 실습 코드에서 본 문장들은 기본적인 문장 형식에서 어긋나 있거나, 부자연스러운 표현들을 포함한 경우가 다소 있었습니다. 예를 들어, 반복 penalty를 줄인 상태에서는 같은 어절이나 단어를 반복하는 경우가 있었고, 반복 penalty나 temperature를 높인 경우에는 두서없이 나열된 단어들이 제대로 된 문장의 형식을 갖추지 못하는 경우도 많이 보았습니다. 저희는 이러한 요인들을 개선해서 보다 자연스럽게 읽을 수 있는 소설을 생성할 수 있는 방법을 탐구해보기로 하였습니다.

Corpus의 갈래에 따른 한국어 NLP 토큰화 방식의 차등성

우리 프로젝트의 연구 목표는 다양한 갈래의 글을 수집한 뒤, 상기한 언어의 특수성을 고려하여, 각각의 토큰화 과정들의 결과치를 비교 및 분석하고자 하였다.

AI가 시를 만든다면?

현대시 생성, KoGPT2, 파인 튜닝

이 프로젝트는 문학 작품을 창작하는 인공지능들이 점차 개발되고 있는 상황에서, 다양한 시인의 현대시를 생성하는 모델을 개발하고자 하였다. 사용한 방식은 시간적인 면에서의 장점이 있고, 적은 수의 데이터로도 학습이 가능한 KoGPT2 파인 튜닝 방식이며, 파인 튜닝을 통하여 보편적 현대시 생성 모델 하나와 각 시인의 현대시 생성 모델 세 개를 학습시키고, 공통적인 문장으로 시작하는 시를 생성하여 비교하였다. 시를 평가하는 방법으로는 형식성 평가와 주관적 평가를 진행하여, 해당 시가 형식적으로 운율성이 있는지, 그리고 사람이 시를 봤을 때 해당 시가 기존 시인의 시와 얼마나 유사하다고 볼 수 있는지를 판단하고자 하였다. 이 프로젝트를 통해 인공지능을 사용하여 특정 시인의 시를 만들어낼 수 있는 지, 그리고 만들어낸 시를 어떤 식으로 평가할 지에 대해 연구하였고, 최종 결과물을 통해 인공지능이 기존 시인의 시의 특성을 반영할 수 있다는 결론을 도출했다.

Code 신해철 : 작사가 김AI나의 데뷔

#AI작사 #가수 #신곡 #예측 #KoGPT2

내가 좋아하는 가수의 다음 앨범과 노래 가사 내용을 예측할 수 있다면 얼마나 좋을까? 이 연구는 기계공학, 컴퓨터공학, 디자인공학 등의 다양한 전공을 기반으로 한 학생들이 모여, AI의 자연어처리 분야와 관련한 흥미로운 질문을 던짐으로서 시작되었다: ‘Ko-GPT2를 활용하여 가수(싱어송라이터)들의 다음 신곡 가사를 예측한다면, 원곡과 같은 감동의 전달이 가능할까?’ 위 질문에 대한 답을 찾기에 가장 적합한 대상 가수는 ‘신해철’ 이라고 판단했다. 먼저, 직접 가사를 작성했던 리릭시스트(lyricist)이기 때문에, 신해철의 노래 가사에는 그 만의 특징이 존재할 것이라고 생각했다. 또한, 아직까지도 수많은 팬들이 있지만, 아쉽게도 신해철의 신곡을 들을 수는 없다. 따라서 AI를 이용하여 신해철의 신곡을 생성해 보는 것이 연구 목적 달성과 감동의 수요 측면에서 가치 있는 일일 것이라고 생각했다.

수식과 주제어를 통한 한국어 수학 문장제 생성

학생들의 수학적 문제해결력을 기르기 위해서는 문장제로 된 수학문제를 해결하는 연습이 필요하다. 우리는 이러한 문제들을 자연어생성모델을 통해 접근해보기로 하였다. 우리는 2 개의 연립방정식과 영어로 이루어진 ALG 514 데이터셋을 활용해 모델을 학습하여 수학 문장제를 생성해내었다. 본 연구는 자연어 생성모델을 통해 문장제 모델을 생성해보는 것을 영어가 아닌 한국어로도 시도해보고, 이때 발생하는 몇 가지 차이점들을 해결해보고 생성하는데 의의를 둔다.