기계 번역 — 언어의 장벽 허물기

기계 번역은 {AI→에이아이}의 가장 오래된 도전 과제 중 하나예요.

1954년 조지타운-{IBM→아이비엠} 실험이 최초의 공개 시연이었어요.

다이어그램 왼쪽을 보시면 1세대 룰기반 번역이 보여요.

언어학자가 직접 문법 규칙과 사전을 수작업으로 만들었어요.

"주어+동사+목적어"를 "주어+목적어+동사"로 바꾸는 식이었죠.

하지만 새 언어쌍을 추가하려면 수년이 걸렸어요.

가운데 박스를 보시면 2세대 통계 기반 번역 {SMT→에스엠티}가 있어요.

{SMT→에스엠티}는 수백만 병렬 문장쌍에서 통계적 패턴을 학습해요.

베이즈 정리를 활용해서 가장 확률 높은 번역을 선택하는 방식이에요.

하지만 문장이 길어지면 단어 정렬이 깨지는 한계가 있었어요.

오른쪽을 보시면 3세대 신경망 번역 {NMT→엔엠티}가 있어요.

2014년 {Sutskever→서츠케버}의 {Seq2Seq→시퀀스투시퀀스}가 혁명을 일으켰어요.

딥러닝으로 소스 문장 전체를 이해하고 한 번에 번역하는 방식이에요.

2017년 {Transformer→트랜스포머}가 등장하면서 번역 품질이 비약적으로 올랐어요.

하단 비교 테이블을 보시면 세 패러다임의 차이가 한눈에 보여요.

데이터 필요량은 룰기반은 불필요, {SMT→에스엠티}는 수백만, {NMT→엔엠티}는 수천만 문장쌍이에요.

유창성은 룰기반이 가장 딱딱하고 {NMT→엔엠티}가 인간 수준에 가까워요.

새 언어를 추가하는 데 걸리는 시간도 수년에서 수일로 단축됐어요.

현재는 {Transformer→트랜스포머} 기반 {NMT→엔엠티}가 산업 표준이에요.

번역 연구에서 탄생한 {Attention→어텐션}과 {Transformer→트랜스포머}가 {NLP→엔엘피} 전체를 바꿨어요.

이 레슨에서 그 핵심 기술들을 하나씩 깊이 파헤쳐 볼게요.