Fine-tuning과 전이학습 — 기존 지식 활용하기

버트나 지피티 같은 사전학습 모델은 범용적 언어 지식은 있지만 특정 과제엔 부족해요.

도메인 전문 용어를 모르고, 구체적 과제 수행 훈련이 안 되어 있거든요.

{fine-tuning→파인튜닝}은 사전학습 가중치를 특정 과제 데이터로 추가 학습하는 거예요.

비유하면, 의대 졸업 후 전공의 과정을 밟는 것과 같은 원리예요.

왼쪽 빨간 영역을 보세요. 사전학습 모델의 네 가지 한계가 정리되어 있어요.

범용 언어 패턴만 학습했기 때문에 의료 용어 같은 전문 표현은 인식하지 못해요.

또한 감성분석이나 개체명 인식 같은 구체적 과제를 수행하도록 훈련되지 않았어요.

가운데 파란 박스를 보시면, {fine-tuning→파인튜닝} 과정의 핵심 공식이 있어요.

사전학습된 가중치 W₀에 과제 데이터로 학습한 변화량 델타W를 더하는 거예요.

{learning rate→러닝 레이트}는 2e-5 정도로 아주 작게 설정해요. 기존 지식을 보존하면서 조정하려면요.

오른쪽 초록 영역을 보세요. {fine-tuning→파인튜닝} 후의 결과가 놀라워요.

도메인 특화 지식을 습득하고, 과제별로 정확한 출력을 내놓을 수 있게 돼요.

특히 천 개 정도의 소량 데이터로도 90% 이상의 정확도를 달성할 수 있어요.

학습 시간도 3에서 5 {epoch→에폭}이면 충분하니까 굉장히 효율적이에요.

하단의 주황 박스를 보시면 비유가 있어요. 의대 졸업이 사전학습, 전공 선택이 {fine-tuning→파인튜닝}이에요.

일반 모델의 정확도가 65에서 72%인 반면, {fine-tuning→파인튜닝} 후엔 89에서 95%까지 올라가요.

이 엄청난 성능 차이가 {fine-tuning→파인튜닝}이 필수인 이유예요.

의료, 법률, 금융 같은 전문 분야에서는 {fine-tuning→파인튜닝} 없이는 실무 적용이 불가능해요.

적은 데이터와 짧은 학습 시간으로 전문가 수준의 모델을 만드는 것, 그것이 핵심이에요.

다음 블록에서는 이 아이디어가 어떻게 발전해왔는지, {transfer learning→트랜스퍼 러닝}의 역사를 살펴볼게요.