예전에는 여러 영역의 심사에서 글솜씨만으로도 1차적인 스크린이 가능했다고 한다.
가령 영어 논문이다 치면 영어 문장을 얼마나 잘 썼는지를 가지고 데스크 리젝을 결정한다. 국문 제안서나 지원서라고 하면 뭐 전체적인 문체나 맞춤법, 형식 준수 여부로 어느 정도 스크린을 한다. 내용도 읽지 않고 너무하다 할 수도 있겠지만 신기하게 이러한 소위 '문서의 와꾸'랑 최종 퀄리티가 얼추 정비례 하기 때문에, 이러한 방식으로 정말 엉망진창인 것들을 읽지 않고도 거를 수 있었다는 것이다.
근데 요새는 ChatGPT나 Gemini 등을 위시로 하는 LLM 덕에 전체적인 글쓰기 실력이나 포맷 맞추는 퀄리티가 상향 평준화 되었다. 영어도 이제 원어민 레벨은 아니겠지만 중국 한국 일본 파키스탄 에디오피아까지 다들 거슬리지 않는 수준으로 잘 쓰고, 당장 그걸 심사하는 우리도 원어민이 아니기 때문에 거슬리는 부분이 없다. 지원서 같은건 이제 입시하는 고등학생들 자기소개서에서조차 그 흔한 비문을 찾아볼 수가 없다.
글솜씨로 1차 스크린을 못 하니 이제는 모든 지원서를 읽어봐야 한다. 단순히 시간이 늘어나는 것도 힘들지만, LLM의 그럴듯한 포장과 별개로 전체 지원자/투고논문 대비 엉망진창의 비율은 과거와 유사하기 때문에, 한참 읽다가 '개똥이잖아'를 발견하는 횟수가 늘어나는 것이 가장 큰 스트레스다.
그래서 심사하는 사람들(=나)도 '니들도 ChatGPT 썼으니 나도 쓴다' 마인드로 1차 스크린을 AI/LLM으로 돌리는데...
아직까지 내가 느끼기에 AI가 스타일 변환(개똥같은 글->괜찮은 글)이나 평균 수준의 창작(형식적인 문장들 만들어내기)에는 탁월한 반면, 평가는 잘 못 한다고 느낀다. 평균 혹은 이를 약간 상회하는 수준의 아웃풋을 뱉어내야 하는 AI 특유의 경향이, 결론적으로 독자적인 관이 필요한 가치판단이나 의사결정에 있어서는 도리어 마이너스가 되는 느낌이랄까.
가령 공고문이랑 전혀 다른 개똥같은 제안서를 하나 껴서 올려도 가끔은 '제일 완성도가 높다'는 식으로 칭찬해 준다. 그 칭찬의 이유는 꽤나 그럴듯하지만 실상 아무말 대잔치 수준이다. 그 뿐 아니라 동일 플랫폼(ChatGPT, Gemini 뭐가 됐든)에서 같은 제안서에 대해 동일한 프롬프트로 평가를 요청해도 반복할 때마다 결과가 계속 달라진다. '다른 세션에서는 2번이 최고라는데?' 하면 곧바로 2번의 평점이 올라가기도 한다.
명확한 평가 기준이 없어서인가 싶어 무척이나 디테일한 평가 가이드라인을 줘도, 결과는 마찬가지다. 다른 세션에서 새롭게 요청하면 결과는 또 달라지고, 채팅창 끄고 새로 시키면 또 달라지고... 내가 사용법을 잘 몰라서일수도 있지만, 어쨌든 내 경우 중요한 평가나 심사에 있어서는 AI의 도움을 받지 못 하고 있다.
그런 와중에 흥미롭다고 느끼는 지점은, 오히려 LLM으로 마사지를 하지 않은 글들이 AI 마사지로 무색무취해진 서류더미 사이에서 빛을 발한다는 것이다. 서툴고 투박하거나 약간의 비문이 있으면 오히려 '그래 이게 고등학생이 쓰는 글이지'라며 반갑기도 하고, ChatGPT는 절대 만들어 내지 않는 '불필요하게 긴 호흡'의 문장(바로 제가 쓰고 있는 이것)들 역시 AI 산출물에서는 느낄 수 없는 독특한 리듬감을 전달한다.
근시일내에 AI가 쓴 글을 AI가 평가하고 사람은 단지 프롬프트만 전달하는 세상이 올 수도 있겠다. 그러나 최소한 평가의 영역에서만큼(창작 역시 AI가 뱉어준게 쓸만한지는 취사선택 해야 한다는 면에서) 여전히 인간이 해야 할 일이 존재하는 듯 하다. 그리고 설사 AI가 모든 창작과 평가의 세계를 완전히 지배하는 순간이 온다 하더라도, 오히려 평균의 영역에 속하지 않는 사람들의 고유한 쿠세(?)는 더욱 가치를 가지게 되지 않을까.
여담이지만 아무리 AI에게 사정을 해도 이런 똥글을 써주진 않는다. ChatGPT한테 물어보니 '연구실 홈페이지에 이런 개인적인 글을 쓰는 것을 자제해야 한다'는 엄중경고를 들었다 (정말입니다).
개인적인 이유로 2026년에는 국제학회에 활발히 참석하기 매우 어려워졌다. BBAA 같은 국제풍공학회야말로 (놀러)가기 좋지만 아마도 참석이 어려울테고(사실 오라고 한 적도 없다), 그나마 하나 정도 간다면 EMI. 그것도 최대한 짧게 가 보려고 한다. 화요일에 출국해서 금요일에 귀국하는 대가들의 빡빡한 일정을 나도 경험해 볼 계획이다.
그 대신 가능한 학생들은 최대한 많이 보내보려고 한다. 선호와 시윤이는 EMI에 초록을 제출했고 훈이는 i3CE에 초록을 냈다. 은찬이의 연구 역시 EMI에서 발표하면 좋을 것 같은데... 더불어 한국에서 9월에 열리는 IABSE에도 시윤이랑 선호가 하고 있는 연구가 가장 성공적으로 마무리 되었을 때를 가정하여 초록을 각각 하나씩 제출했다. 그나저나 IABSE가 할 무렵 시윤이는 이미 졸업하고 떠났을 때라 아마도 내가 대신 발표를 해야 하는 불길한 예감이 든다.
지도교수가 없는 해외학회만큼 학생들에게 좋은(=위험한)건 없다고 알려져 있지만, 뭐 어떻게 되겠지...
EMI 2026
June 2-5, 2026
Boulder, Colorado
Abstract Submission Opens - Nov 1, 2025
Abstract Submission Deadline - Jan 15, 2026
Early Registration Opens - Feb 15, 2026
Early Bird Registration Deadline - Mar 31, 2026
i3CE 2026
June 14-17, 2026
Incheon, South Korea
Abstract Submission Deadline - Nov 15, 2025
Full Paper Submission Deadline - Feb 1, 2026
Early Bird Registration Deadline - May 19, 2026
IABSE Congress Incheon 2026
September 16-18, 2026
Incheon, South Korea
Abstract Submission Deadline - Sep 15, 2025
Full Paper Submission Deadline - Mar 15, 2026
Early Bird Registration Deadline - Jun 30, 2026