UNIST 랩요정들의 LG AI Hackathon 3위 이야기

지난 9월 1일부터 10월 9일 까지 진행된 LG 사이언스파크 주최 분자구조 이미지 SMILES 변환 AI 경진대회에서 UNIST 산업공학과 & 인공지능대학원 소속 랩요정들 팀이 547팀이 참여한 가운데 최종 3위 (Top 0.6%) 를 수상하였습니다. 본 페이지에서는 랩요정들 팀의 구성원들 이야기를 들어보기 위해 인터뷰를 진행하였습니다.

예진: 올해 여름 연구실에서 제가 맡아서 진행했던 프로젝트 중 하나가 혼합 가스 시료에 사용된 단일 가스 종류를 예측하는 프로젝트였습니다. 해당 프로젝트를 진행하기에 앞서 여러 논문들을 읽었는데, 그때 제 관심을 끌었던 논문이 바로 분자 화합물 데이터를 통한 냄새 예측에 관한 것이었습니다. 분자 화합물을 그래프로 표현한 뒤, 그래프 기반의 학습 모델인 Graph Convolutional Network 을 통해 본 화합물의 물성을 예측한다는 것이 무척이나 흥미로워 꼭 한번 도전해보고 싶었으나, 당시에는 학습 시킬 데이터를 구하는 것이 쉽지 않아 실제로 구현을 해보지 못해 무척이나 아쉬웠습니다. 그런데 때 마침, 분자구조 데이터를 활용하는 이번 해커톤을 알게 되었습니다. 이번 해커톤의 목표 자체가 분자의 물성을 예측하는 것은 아니었지만, 분자 구조 이미지를 이용한다는 것 자체만으로 도전을 해보고 싶다는 마음을 불러일으켰습니다. 이전에는 한 번도 해커톤에 참여해본 적이 없던 터라 여러 걱정들이 앞섰으나, 그런 걱정들 보다도 평소 관심 있던 주제에 도전한다는 설렘이 커 당장에 뜻이 맞는 친구들을 모아 본격적으로 해커톤에 참여하였습니다!

홍준: 저는 예진 누나의 권유를 통해 해당 대회를 알게 되었습니다. 평소 다양한 기계학습 문제 및 해결방법에 관심이 많았는데. 해당 대회에서, 제가 경험해보지 못한 분야의 문제를 마주한다는 부분이 매력적이었습니다. 이번 대회는 바로 옆 이정혜 교수님 데이터 마이닝 연구실의 학생들과 협업하게 되었는데, 저희 연구실 생활을 하며 배웠던 Collaborative Engineering 을 새로운 사람들과 실현해 보고 싶었습니다. 평소 서로의 연구주제나, 방법론에 관련한 이야기를 나누었기 때문에 실제로 협업을 한다면 각자가 가진 장점이 시너지가 되어 좋은 결과를 이끌 수 있을 것이라는 믿음이 있었습니다. 마지막으로, 해당 해커톤의 주제가 인공지능 대학원의 수업 시간에 배운 모든 기계학습 방법론을 적절하게 사용해야 풀 수 있는 문제라고 판단했습니다. 그래서 실제 기업에서 사용하는 데이터에 배운 지식들을 잘 적용해서 문제를 해결해보고 싶은 마음이 컸습니다.

재호: SMILES 를 처음 알게 된 건 올해 초입니다. UNIST 에서 미국 UC 버클리대학교에서 진행하는 창업캠프를 보내줬었는데 이때 저희 팀에서 낸 아이디어가 약물재창출 관련 내용이었습니다. 당시 자료조사를 하면서 SMILES 에 대해서 처음 알게 됐고 이번에 관련 대회가 올라왔다고 해서 관심을 가지게 됐습니다. 또한 기존에는 시퀀스 데이터를 다뤄본 적이 없었는데 해당 대회를 통해서 경험해보고자 했습니다.

동철: 이전에 동면을 유도하는 물질을 활용하여 심정지 상황에서 골든타임을 확장하는 프로젝트를 진행한 적이 있었습니다. 프로젝트 실현을 위한 가장 핵심적인 일은 3-아이오도타이로나민이라는 화합물의 대량 생산이었습니다. 여러 한계로 인해 프로젝트는 계속할 수 없었지만 저는 기계학습을 통해서 이러한 문제를 해결해 볼 수 있지 않을까 지속적으로 고민하고 있었습니다. 그러던 중 인공지능을 활용하여 분자구조 이미지를 식별하는 이번 대회를 알게 되었고 그동안 고민했던 문제를 해결할 수 있는 단서를 얻을 수 있을 것이라는 기대감에 대회를 참가하게 되었습니다. 또한 UNIST에서 연구 중인 훌륭한 연구자분들과 함께 협업을 할 수 있는 좋은 기회라고 생각이 들었습니다. 대회를 참여하면서 이미지 분석에 대해 많이 배울 수 있고, 그동안 배운 기계학습 방법론을 실제 문제에 적용해보고 저의 강점을 통해 팀에 기여하고자 하는 기대감도 있었습니다. 실제로 대회를 진행하면서 유능한 연구자분들과 함께 하면서 제가 기대했던 것 이상으로 더 많은 부분을 배울 수 있는 좋은 기회가 되었습니다.

(Q2) 대회에서 이루고자 했던 목표가 있다면?

예진: (팀을 꾸린 장본인으로서…) 이번 대회에서 가장 우선순위를 두었던 목표는 한 달여간의 대회 기간 동안 다 함께 즐겁게 임하는 것이었습니다. 리더보드 상위권에 랭크되어 있는 팀들 중에 랩요정들 팀이 총 4명의 팀원으로 구성되어 가장 많은 인원을 보유한 팀이었는데요, 사실 저희도 이 네 명의 조합으로 팀을 꾸려본 적은 처음이었습니다. 심지어 대회 초반에는 서로 잘 몰라 어색한 친구들도 있었습니다 ㅎㅎ 상황이 이렇다 보니 협업에 대한 걱정이 좀 되기도 하였는데 정말 걱정이 무색하게 저희 모두 ‘무사히’ 를 넘어서 ‘즐겁게’ 해커톤을 마무리하였습니다. 저희 랩 요정들 팀은 철저히 역할 분담을 하면서도 중요한 의사 결정은 다 같이 모여 반드시 디스커션을 하는 과정을 거쳤는데, 각자의 역할을 게을리하지 않고 서로를 존중하는 태도를 잃지 않은 덕에 좋았던 분위기도 끝까지 유지하고 더불어 좋은 성과도 얻게 된 것 같습니다. 아직은 어설프고 배워나가야 할 것이 많은 네 명이 모여 이렇게 재밌고 즐겁게 해커톤을 마무리하였다는 것이 이번 대회에서 3등을 수상한 것만큼이나 뜻깊게 느껴집니다. 애초 목표로 삼았던 다 함께 즐겁게 참여하는 것도 이루고 수상의 영광도 누리게 되었으니 이번 해커톤 목표는 톡톡히 이루었다고 봐도 좋을 것 같습니다! ㅎㅎ (아직도 첫 제출 후, 일등을 찍고 넷이 얼싸안고 기뻐하던 모습이 생생합니다 ㅜㅜ)

재호: 두 가지 목표가 있었던 것 같아요. 첫 번째는 제가 하고 있는 공부와 연구에 도움이 되도록 모델을 공부해보고 이해해보자였습니다. 강의자료로만 공부해왔던 Recurrent Neural Network이나 Long Short-Term Memory (LSTM)이 실제로 어떻게 쓰이고 해당 모델에 들어가는 데이터 셋은 어떤 상태로 준비돼야 하는지 이런 테크니컬 한 부분을 알아가고 싶었습니다. 이번 대회를 통해 시퀀스 관련 모델을 만져볼 수 있었고 생각하지도 못했던 어텐션 모델까지 직접 짜보고 이해할 수 있는 시간을 가질 수 있어 좋았던 것 같습니다. 두 번째는 팀원끼리의 협업 능력 향상입니다. 사실 이런 리더보드 대회는 팀원들끼리의 업무 분배와 협업하는 능력이 중요합니다. 대회를 통해 협업하는 방법을 배우고 효율적으로 대회에 참여하는 방법을 배울 수 있을 거라 생각했고, 실제로도 Git 과 Notion을 사용하면서 이런 부분에 대한 이해도가 커진 것 같습니다.

동철 : 새로운 분야에 대한 도전하고 거기에서 마주하는 한계를 극복하는 것을 좋아하는데 이번 대회에서 많이 다뤄보지 않은 이미지 데이터 분석에 도전해보고 싶었습니다. 대회를 진행할 때 복잡한 분자구조에도 강건한 모델을 만들고 일반화(Generalization) 성능을 향상시키기 위해서 더 많은 데이터를 학습하고자 했는데 데이터가 대용량이어서 처리하는데 많은 시간이 소요되어 분석하는데 어려움이 있었습니다. 연산 비용을 줄이기 위해 데이터의 분포를 고려하여 샘플링하고 병렬 처리로 데이터를 생성하였습니다. 중간중간 어려움이 있었지만 함께하는 분들과 잘 논의하고 해결하며 이미지 데이터 분석에 대한 도전이라는 목표를 잘 마친 것 같습니다. 또 다른 목표 중에 하나는 UNIST 와 연구실의 우수한 데이터분석 역량을 알리는 것이었습니다. 좋은 결과를 거두어 위의 목표에 조금이라도 공헌할 수 있어서 기쁘게 생각합니다

홍준: 첫 번째 목표는 무엇보다도 주어진 문제에 대한 해결 방법을 저희 팀이 제시하는 것이었습니다. 수업 시간에 머리로만 익힌 딥러닝 방법들을 적극적으로 구현해보고 성능을 테스트하는 데 있어 많은 실험들을 수행해봤습니다. 직접 구현한 모델로 처음 제출에서 1등을 했던 순간에는 너무나 뿌듯했습니다.

두 번째 목표는 과정에 관한 것입니다. 저 혼자 진행하는 프로젝트가 아닌 만큼 다른 사람들과 효과적으로 소통하면서 프로젝트를 진행하고 싶었습니다. 평소 연구실에서 사용하던 Notion 이나 Git 과 같은 협업 툴을 사용해서 프로젝트를 진행해 볼 좋은 기회라고 생각했고, 팀원끼리 정한 규칙에 맞추어 각자의 진행사항을 최대한 기록하며 프로젝트를 진행하도록 조율하였습니다. 결과적으로 커뮤니케이션 비용을 줄이고 팀원 각자의 역할을 한눈에 보며 프로젝트를 진행하게 되어 서로 효율적으로 일을 할 수 있지 않았나 생각됩니다. 최종 3위라는 가시적인 결과가 남길 수 있게 되어서 매우 뿌듯하지만, 개인적으로 이루고자 했던 두 가지 목표를 이루게 되어 더욱 뜻깊은 해커톤이었다고 생각합니다. 추가로 깔끔하게 정리된 Git repository 와 저희 팀의 자취가 담긴 Notion 페이지를 볼 때마다 너무 뿌듯합니다!

일반적인 표현식 모델에 맞춰 모델에 바로 들어갈 수 있도록 데이터를 전처리 시켰습니다. 먼저 이미지넷에서 사전 학습된(pre-trained) 모델을 사용하고자 이미지넷 세팅에 맞게 이미지의 리사이즈와 정규화를 진행했습니다. 여기서 주의를 해야 할 점이 어떤 라이브러리를 이용해 리사이즈를 진행하느냐에 따라 데이터의 값이 바뀐다는 점입니다. 특정 라이브러리의 경우 리사이즈를 진행하면 데이터의 값이 0과 1사이로 바뀌어서 나오는 경우가 있었습니다 (대회 후반부에 직접 생성한 데이터를 이용해 학습하고자 했는데 해당 문제를 늦게 찾아내 애를 먹은 기억이 있습니다). 표현식의 경우 SMILES 데이터셋에서 나올만한 Token 들을 모두 고려해서 Token 딕셔너리를 구성했습니다. 이후 이미지 파일은 hdf5 파일로, token 파일들은 json 파일로 저장을 해 학습과정에서 바로 불러올 수 있게끔 준비했습니다.

모델 학습

모델로는 이미지 캡셔닝 방법 중 하나인 Show, Attend and Tell (ICML 2015) 방법을 사용했습니다. 이미지 캡셔닝이란 어떤 이미지를 보고 해당 이미지를 설명할 수 있는 문장을 만들어내는 방법입니다. 예를 들어 인공지능이 어떤 이미지를 보고 "강아지가 공원에서 뛰어놀고 있습니다" 라고 설명할 수 있는 것처럼 저희도 분자구조 이미지를 가지고 해당분자구조에 대응하는 문장을 만들어내고자 했습니다.

저희 모델의 구조는 크게 세 파트로 나뉩니다. 이미지를 인식하고 해당 이미지에서 필요한 특성(feature)들을 뽑아내는 Encoder 파트, 학습하는 과정에서 이미지의 어떤 부분을 집중해서 봐야 할지 알려주는 Attention 파트, 그리고 Encoder 와 Attention에서 알려준 정보를 가지고 알맞은 Token 을 순차적으로 내뱉는 Decoder 부분이 있습니다. 아래 그림은 모델의 전체 구조를 보여줍니다. 각 Decoder에서 LSTM cell 은 token 벡터를 출력합니다. 저희는 예측한 token 벡터와 정답 레이블의 원-핫(one-hot) 벡터 사이의 Cross-Entropy 손실함수를 사용하여 모델을 학습했습니다. Tesla V100 GPU 3유닛을 사용하였고, 대회에서 제공한 700,000 개의 학습 데이터셋을 기준으로, 1 에폭당 2시간이 소요되었습니다. 학습을 진행하면서 10~12 에폭 사이 동안 과적합(overfitting)이 발생하여 검증 데이터셋을 활용해 early stopping 을 적용하였습니다. 기타 Hyperparameter 등은 저희가 공개한 Git repository 를 참고하면 자세히 알 수 있습니다.

• Encoder Network

Encoder 네트워크는 256 x 256 사이즈의 RGB 이미지를 입력으로 받아서 14 x 14 크기의 2048 채널을 가지는 이미지로 인코딩합니다. 각각의 encoded 이미지는 원본 이미지를 표현할 수 있는 유용한 feature를 담고 있다고 볼 수 있습니다. 네트워크 구조를 어떻게 구성하느냐에 따라 encoder의 성능이 차이가 납니다. 저희는 새로운 네트워크 구조를 제시하기 보다는 이미지넷 분류 문제에서 좋은 성능을 보였던 모델을 사용했고, 해당 네트워크를 계속 변경해 보면서 성능을 향상시켰습니다. Top-1 error 와 Top-5 error를 기준으로 EfficientNet-B0, ResNeXt-101-32x8d, WideResNet-101-2, ResNet-152 네개의 모델을 선택하였습니다. 처음에는 EfficientNet 계열의 모델들을 사용했는데 생각보다 성능이 잘 안 나와서 ResNet 계열 모델 위주로 학습을 진행했습니다. 아무래도 이미지넷에서 학습된 파라미터를 사용하다 보니 분자구조 이미지에 알맞은 정보들을 잡아내지 못할 거라 생각했습니다. 기존에 학습이 된 레이어를 바탕으로 분자구조 이미지를 추가로 학습시켜 Fine-Tuning 을 하였습니다. Fine-tuning은 모델의 전체 레이어에서 앞단의 5개의 레이어를 제외한 네트워크의 파라미터를 업데이트하여 이루어졌습니다.

• Attention Network

기존의 Show and Tell (CVPR 2015) 모델과 Show, Attend and Tell 모델의 가장 큰 차이점은 Attention 네트워크의 존재입니다. Attention 은 Encoder 자체가 이미지의 특정 부분에 더 집중을 할 수 있게 도와줍니다. 처음에 언급했던 “강아지가 공원에서 뛰어놀고 있습니다" 라는 예시를 가지고 설명을 하자면 만약 t 시점에서 강아지라는 단어를 예측해야 한다면 Attention 네트워크는 이미지에서 강아지가 있는 부분에 집중할 수 있도록 하는 가중치를 학습할 것입니다. 어떻게 보면 분자구조 이미지는 규칙이 담겨있는 이미지입니다. 원소가 있고 각 원소마다 연결되어 있는 결합 구조를 순차적으로 풀어나가야 하나의 SMILES 표현식을 만들 수 있습니다. 이에 저희는 매 시점마다 Encoder 가 집중을 해야 하는 부분이 달라야 한다고 생각했고 Attention 네트워크가 이 문제를 해결해 줄 수 있다고 생각했습니다.

Attention 네트워크에서는 두 개의 입력을 받습니다. 하나는 Encoder 에서 나온 이미지 feature 벡터를 받고 다른 하나는 Decoder 의 hidden 벡터를 받습니다. 해당 벡터들을 미리 설정한 Attention 차원에 맞춰주고 두 개의 벡터들을 서로 합쳐주는 작업을 진행합니다. 이후 이미지의 크기에 맞춰 다시 한번 벡터들을 줄여주는 작업을 하고 소프트맥스 레이어를 적용하여 각 token 마다 이미지의 어떤 부분에 집중을 해서 봐야 할지 학습을 하게 됩니다.

• Decoder Network

Decoder 네트워크는 인코딩된 이미지에 Attention 네트워크의 가중치가 곱해진 벡터, 그리고 Decoder의 이전 Hidden state를 입력으로 받아, 다음 Hidden state를 출력으로 반환합니다. 출력된 Hidden state는 fully connected layer를 거쳐 token에 대한 확률 값으로 표현됩니다. Decoder 네트워크는 LSTM cell로 구성을 했습니다. SMILES 특성상 괄호가 열리면 뒤에서는 괄호가 닫혀야 하는데 이러한 장기적인 패턴을 고려하기 위해 LSTM cell이 적합하다고 판단을 했습니다.

Ensemble 방법

대부분의 리더보드 대회와 마찬가지로 저희는 대회 후반부부터 어떻게 하면 모델을 앙상블 시킬 수 있을까? 고민하기 시작했습니다. 다만 문제가 있었다면 일반적인 분류나 회귀 문제와는 다르게 이번 대회는 하나의 문장을 예측하는 문제였고 이에 적절한 앙상블 방법을 생각하기 어려웠습니다. 각 모델마다 서로 다른 문장을 뱉어내고 해당 문장의 길이도 모델마다 일치를 하지 않아 어떻게 하면 앙상블을 해볼까 고민하던 중 데이터마이닝 랩의 김경빈 연구원이 "모델 페어 기반으로 앙상블을 시도해볼 수 있지 않을까?" 아이디어를 주셔서 이에 착안하여 구현해보았습니다. 위의 그림을 토대로 설명하면,

1. 모델 1, 2, 3 이 각각의 결과 1, 2, 3을 예측합니다.

2. 이때 유사도를 비교하기 위해 각 결과들의 페어를 만들어주고, 각 페어마다 유사도를 측정합니다.

3. 유사도가 100%일 경우: 두 모델의 예측값을 사용합니다.

4. 유사도가 일치하지 않는 경우: 유사도가 가장 높은 페어에 속해있는 모델 순서대로 높은 점수를 부여합니다. 모델에 부여된 점수를 합산하여, 누적 점수가 가장 높은 모델의 결과를 선택합니다.

하나의 데이터에 대해서 서로 다른 모델들이 내놓은 예측치가 비슷한 유사도를 보이면 어느 정도 agreement 가 있는 게 아닐까라는 생각을 가졌습니다. 모델 구조의 설명을 위해 예시에서는 3개의 모델만 나타내었지만 저희는 앞서 학습한 8개의 단일 모델 중에서 성능이 가장 좋았던 5개의 모델을 활용하여 앙상블 모델을 구성하였습니다. 실제로 해당 앙상블 방법을 적용하니 단일 모델 최고 성능 97.2 점에서 앙상블 모델 99.6점까지 올릴 수 있었습니다.

GPU 멀티프로세싱

앙상블 기법을 사용하면 단일 모델을 사용했을 때 보다 높은 정확도를 얻을 수 있지만, 하나의 데이터 샘플에 대해 연산을 여러번 하기 때문에 결과 도출에 소요되는 시간이 증가하게 됩니다. 저희는 GPU 병렬처리 연산을 통해 위 문제점을 해결하였고, 1개의 데이터 샘플을 예측하는데 소요되는 시간을 0.4102초에서 0.1992초로 두 배 가까이 줄일 수 있었습니다. 평소 랩에서 사용하는 Ray (USENIX 2018) 라이브러리를 통해 GPU 병렬처리를 하였습니다.

Ray를 사용하기 위해서는 우선 병렬처리할 함수를 Ray Decorator로 wrapping 합니다. 그리고 해당 함수에 할당할 리소스 양을 정해줍니다. 저희는 앙상블을 위해 다섯 개의 모델을 하나의 GPU에서 병렬처리할 수 있도록 GPU의 개수를 0.2로 설정하였습니다. 그런 다음 ray.get 함수를 사용해서 해당 클래스에서 사용되는 함수를 remote를 통해 호출하면 GPU를 병렬처리할 수 있습니다. 저희는 예측 결과만 반환하도록 해당 함수를 설계하였기 때문에, 리스트 안에 예측 결과를 저장하도록 하였습니다.