All Projects

SKKU AI X Bookathon 4회 대회에 참가하여 에세이를 쓰는 모델을 개발하고, 인공지능을 이용해 글을 작성하였습니다. 코드나 학습한 모델 등의 결과물은 공개되어 있습니다.

이번에 개인적인 용도로 BART를 학습하게 되었다. 다른 사람들은 많이 쓰는 것 같은데 나는 아직 사용해본 적이 없었기 때문에 이참에 huggingface의 transformers를 써보면 좋을 것 같았다. 나는 Pretrained Model을 학습할 만한 개인 장비가 없었기 때문에 이번에도 구글의 TPU Research Cloud를 지원받아서 TPU를 사용해야 했고 효율성을 위해 Tensorflow로 구현하게 되었다.

Tensorflow2을 이용해 LAS, DeepSpeech2 구조의 ASR 모델들을 구현하였습니다. 또한 학습/평가/추론 코드도 함께 구현하였고, 구현한 모델을 GPU에서 학습하여 간단히 실험하고 결과를 첨부하였습니다.

Tensorflow2을 이용해 RNN, RNN+Attention, Transformer 구조의 Seq2Seq 모델들을 구현하였습니다. 또한 학습/평가/추론/서빙 코드도 함께 구현하였고, 구현한 모델을 TPU에서 학습하여 간단히 실험하고 결과를 첨부하였습니다.

Convolution을 이용한 간단한 한국어 띄어쓰기 교정 모델입니다. 속도를 우선으로 고려하였습니다. 아래에서 바로 사용해보실 수 있습니다. 이 데모의 모델들은 모두의 말뭉치 국립국어원 문어 말뭉치(버전 1.0) 데이터를 이용하여 학습한 모델입니다.