참가
AI Bookathon은 우리학교에서 열린 인공지능으로 에세이를 쓰는 해커톤 대회이다. 나는 글쓰기와 인공지능 모두 관심이 있었기 때문에 예전에 처음 이 대회를 봤을 때부터 참가해보고 싶다는 생각이 들었다. 참가를 해서 팀을 이루는 과정에 문제가 있었지만 우여곡절 끝에 경희대에서 같이 참가하신 분들과 함께 팀이 되었다.
모델링
이전 대회의 후기들을 보면 매우 소량의 데이터로 fitting을 시켜서 모델을 학습해 사용한 것 같았다. 주제가 공개된 이후에 데이터를 모아서 추가로 학습시킨 팀도 있는 듯 보였지만… 내가 생각했을 때 그건 PLM 모델의 LanguageModeling 능력을 100% 활용할 수 있는 방법은 아니라는 생각에 다른 방식으로 접근하기로 했다. 뭐랄까 그렇게 학습하는 건 진짜 글을 쓰는 모델을 만든다기보다는 특정 종류의 글을 모델에 implicit 하게 저장해놓고 불러오는? 느낌같아서…
나의 학습 목표는 “최대한 범용적이고 전반적인 에세이를 쓰는 능력이 좋은 모델을 만들자!” 였다.
이런 생각에 따라 가능한 좋은 PLM모델을 골랐고, 가능한 다양하고 좋은 데이터를 많이 모으기 위해 노력했다.
또한 한 가지 고민이 있었는데 대회는 2만자 내외의 글을 작성해야했기 때문에 모델이 어떻게 긴 context를 유지하며 글을 써나갈 수 있을까 고민을 했다. 그 방법으로 하나의 글을 여러 개로 segmentation하고 각각의 segment마다 요약문을 요약모델을 이용해 뽑아냈다. 그리고 이전 segment에서 나온 요약문들을 현재 segment의 prompt로 함께 넣어주면서 과거의 기록을 유지할 수 있도록 학습시켰다.
평가 결과와 심사기준
결과적으로 수상은 하지 못했다. 매우 여러가지 원인이 있을 수 있겠지만…. 중요한 부분은 심사기준이 우리팀의 전략과 잘 맞지 않았던 거 같다. 본선 시작 바로 전날까지는 대회 측에서 사람의 개입은 매우 한정적으로만 가능하다고 공지를 했었다. 기본적으로는 초기프롬프트를 제외하고는 거의 모델이 문장을 생성하고 사람은 매번 생성이 되었을 때 특정 부분을 선택해서 뒷부분은 버릴 수 있고 거기에 한 어절을 추가할 수 있는 수준? 그런데 막상 본선 대회가 시작되고 보니 사람의 개입에 사실상 제한이 없었다. 모델의 원하는 결과만 뽑아내도 되고, 사람이 수정을 해도 되고, 사람이 원하는 부분에 문장을 넣어서 다시 생성을 시켜도 되고…. 우리팀을 사람의 개입이 적게 모델의 능력을 많이 활용해 글을 써내는 게 중요한 부분일 거라고 생각하고 사람은 4개의 소제목만 작성하고 본문의 텍스트는 전부 그 소제목을 이용해 모델로만 생성했는데 이건… 패착이었다.
그리고 또 중요한 포인트가 팀이 총 15팀이라 2만자 가량의 작품이 15편이 있는건데 절대 심사위원들이 글을 다 읽을 수가 없다. 근데 이게 또 2만자 내외로 글을 쓰라고 안내는 했지만 막상 그만큼 길게 안써도 딱히 패널티는 없었던 모양이다. 실제로 1등팀의 글은 1만자가 되지 않았던 거 같다. 어차피 다 못 읽을 글이라면 그냥 분량을 줄이고 퀄리티를 높이는 게 훨씬 전략적으로 옳은 선택인 건… 당연한데 뭔가 이 부분에 대해 미리 안내가 없었던 건 아쉬운 부분이 있다.
심사위원 중 NLP를 하시는 교수님 한 분은 우리팀이 기술적으로는 제일 잘 했다고는 했는데 전반적으로 평가기준이 기술성이 그렇게 중요한 거 같지는 않았고 애초에 분량이 중요하지 않고 사람의 개입이 많이 허용되는 상황에서는 굳이 모델 자체적으로 긴 맥락을 유지할 수 있는 기법에 투자한 건 의미가 크게 없다보니 뭐… 아쉽지만 우리팀 전략 중에 심사기준에 잘 맞는 게 없었던 셈이다. 물론 이제 사람보다 훨씬 글을 잘 쓰는 슈퍼 AI에세이 모델을 만들었다면 그런 기준 같은 거 다 무시하고 상을 탈 수도 있었겠지만?
혹시나 다음 번 AI X Bookathon 대회에 참여하신다면 이런 방식으로 심사가 된다는 건 알고 접근하시는 게 좋을 것 같아요.
결과물
저희가 학습한 모델을 huggingface로 공개되어 https://huggingface.co/khu-bot 에서 볼 수 있습니다.
저희가 작성한 코드와 최종 작품은 https://github.com/khu-bot/ai-essayist 여기에서 볼 수 있고,
저희 다른 팀원이 작성한 저희 팀 기법과 관련된 자세한 후기는 https://laonmoon.tistory.com/199 여기에서 보실 수 있습니다.