대용량 텍스트 번역기 '도다리' 개발 중

8개월전 당시 지식만으로 '나의 우주'를 바로 만들어 낼수 없었다. 한계에 봉착하다보니 다른 개발로 눈이 돌아갔다..가 돌아왔다. 이제 방법을 바꿨다. 예전처럼 수학 공부만 하지 않을 거다. 나는 엔지니어다. 나는 만들면서 공부해야 머리가 돌아가는 사람이다. 이에 대용량 번역기 '도다리' 개발을 시작했다.

 

1. 현재는 txt파일만 되는데, epub과 pdf 번역까진 구현하려 한다.

- AI관련 전자책 몇권을 구했는데 이걸 한국어로 번역해 놓고 읽으면 속도가 더 빨라질것 같다.

- 수천개의 한국 야설파일들을 구했는데 이것들을 영어로 번역해 finetuning 해보고 싶었다. 

- 번역기 '도다리'는 이러한 목적과 이유로 개발을 시작했다.

 

2. 번역 모델은 facebook의 nllb를 사용한다. ai번역이라 여타 기계번역보다 품질이 월등하다. ai번역 모델에도 여러 종류가 있는데 가장 가성비가 좋은 nllb를 선택했다. 나중에 고급 번역을 원하는 사람들이 많아진다면 그때 모델 추가할 거다.

3. 여러 파일들을 번역할 수 있다. 예를 들어. 1.txt, 2.txt, 3.txt ... 등 번역할 파일들이 많을때가 있다(지금 내 경우가 그렇다). 이때 폴더를 선택하면 해당 폴더안에 있는 모든 파일들을 번역해준다.

 

4. 번역 언어도 한국어, 영어, 일본어로 최소화했다. 위 2번 번역모델과 같이 기능은 금방 구현이 가능함에도 - 거의 2,3초정도 걸린다 - UX를 위해 일부로 줄였다.

 

5. 사용하기 쉽게 만들었다. 순서 1,2,3,4만 따라가면 번역이 된다. 언어도 나중에 영어를 추가할지 모르겠으나 default는 한국어로 할 거다. 개발자 용어는 최대한 배제했다.

 

6. 번역 결과는 '번역된 문장(원본문장)' 파일 하나와 '번역된 문장' 파일 하나, 이렇게 2개의 파일을 토해낸다. 번역이 이상하거나 원문이 궁금할 경우가 있기 때문이다.

 

 

-------------- 개발 소회

1. gradio 적응이 안된다. 지금 닥친 가장 큰 허들이다.

2. 파이썬에서 클래스 처음 써봤다. 뭔가 좀 이게 맞나 싶다.

3. 개발 속도가 괜찮다. 이틀만에 이 정도면 나쁘지 않다.

4. txt파일 번역까지 거의 문제가 없다싶으면 일단 github에 올릴거다.

5. epub과 pdf는 해당 파일 구조를 분석해야해서 시간이 좀 걸릴 거다. 그래도 1주일은 안걸릴거다. 걸려서도 안되고.

---

1. 모델을 facebook nllb 200에서 nhnq nllb로 변경했다.

- 번역퀄러티가 훨씬 좋아졌다.

- 대신 다국어는 버린다. 오직 영어와 한글, 양방향 번역만 하기로 했다.

- 이 덕분에 ui는 더욱 간단하게 바꿀수 있게됐다.

2. nhnq nllb의 txt 번역 버전이 완성되면 일단 github에 공개할 예정이다.