논문 번역을 위해 만든 에이전트, Sidepaper AI를 소개합니다. 같은 논문을 Claude Cowork (Opus 5.5)보다 4.4배, Codex (gpt-6.1-sol)보다 2.2배 빠르게 번역합니다.
Sidepaper AI는 학술 논문 번역에 특화된 에이전트입니다. 범용 에이전트가 여러 종류의 작업을 두루 처리하도록 만들어진 것과 달리, Sidepaper AI는 논문 한 편을 읽고, 번역하고, 그림과 표를 본문과 함께 정리하는 일에 맞춰 설계되었습니다.
그 결과 Sidepaper AI는 머신러닝 논문 5편을 평균 2분 37초 만에 번역했습니다. 같은 논문을 같은 조건에서 번역했을 때 Claude Cowork (Opus 5.5)보다 4.4배, Codex (gpt-6.1-sol)보다 2.2배 빠른 속도입니다.
Sidepaper AI는 논문 한 편의 번역을 평균 2분 37초에 완료했습니다. 같은 논문에 Codex (gpt-6.1-sol)는 5분 42초, Claude Cowork (Opus 5.5)는 11분 32초가 걸렸습니다.
Sidepaper AI는 평가한 모든 논문에서 비교 대상보다 먼저 번역을 마쳤습니다. 차이가 가장 작은 논문에서도Claude Cowork (Opus 5.5) 대비 3.4배, Codex (gpt-6.1-sol) 대비 1.7배 빨랐으며, 가장 큰 차이는 Claude Cowork (Opus 5.5) 대비 5.4배였습니다.
평가에는 arXiv에서 CC BY 4.0 라이선스로 공개된 머신러닝 논문 5편을 사용했습니다. 9쪽 분량의 짧은 논문부터 27쪽 분량의 긴 논문까지 포함했습니다.
| 논문 | arXiv | 쪽 |
|---|---|---|
| Mistral 7B | 2310.06825 | 9 |
| Tree of Thoughts | 2305.10601 | 14 |
| QLoRA | 2305.14314 | 26 |
| Direct Preference Optimization | 2305.18290 | 27 |
| LLaMA | 2302.13971 | 27 |
비교한 방식은 다음과 같습니다.
모든 방식은 Sidepaper 앱과 동일한 번역 지침과 결과 검증을 거쳤으며, 번역 결과가 검증을 통과해 앱에 반영된 시점을 완료 시점으로 측정했습니다. 방식마다 논문당 3회씩, 한 번에 한 편씩 번역했고 논문별 평균을 다시 평균해 최종 값을 냈습니다.
