코드를 읽고 설명하면, 합격합니다
이 레슨과 관련된 학습 키워드
트랜스포머 기반 NLP — BERT에서 GPT까지 → 사전학습 모델
BERT는 놀라운 이해(understanding) 능력을 보여주었지만, 치명적인 한계가 있었습니다: 텍스트를 생성(generation)할 수 없다는 것입니다.
왜 BERT는 생성을 못하는가?
언어 생성이 필요한 이유:
핵심 질문: "왼쪽에서 오른쪽으로 한 단어씩 생성하면서도 높은 품질을 유지하려면 어떤 모델이 필요한가?"
이 질문의 답이 바로 GPT(Generative Pre-trained Transformer)입니다. GPT는 BERT보다 먼저 등장했지만(2018년 6월 vs 10월), BERT의 성공 이후 생성 능력의 중요성이 재조명되었습니다.
BERT는 텍스트를 이해하는 데는 뛰어나지만, 새로운 문장을 생성할 수 없다는 치명적인 한계가 있었어요.
그림 왼쪽 파란 박스를 보세요. BERT는 양방향으로 문맥을 보기 때문에 빈칸 채우기에는 완벽해요.
하지만 "나는 오늘"이라는 시작 문장에서 다음 단어를 생성하려면, 아직 존재하지 않는 오른쪽 문맥은 볼 수 없어야 해요.
오른쪽 초록 박스를 보시면, {GPT→지피티}는 왼쪽 문맥만 사용하는 단방향 모델이에요.
이 구조 덕분에 한 {token→토큰}씩 순차적으로 새로운 텍스트를 만들어낼 수 있죠.
가운데 주황색 영역을 보시면, 텍스트 생성이 필수인 과제들이 나열되어 있어요.
번역, 요약, 대화, 코드 생성, 창작 — 이 모든 과제에서 {GPT→지피티} 방식의 생성 능력이 핵심이에요.
하단 파란 강조 박스의 핵심 질문을 보세요.
"왼쪽에서 오른쪽으로만 보면서 고품질 텍스트를 생성할 수 있는가?" — 이것이 {GPT→지피티}의 출발점이에요.
{GPT→지피티}의 놀라운 발견은, "다음 단어 예측"이라는 단순한 목표만으로 언어의 문법, 의미, 상식을 모두 학습할 수 있다는 거예요.
이것을 {autoregressive→오토리그레시브} 언어 모델이라고 불러요. 자기가 생성한 출력을 다시 입력으로 사용하는 구조죠.
BERT가 시험 문제의 빈칸을 채우는 학생이라면, {GPT→지피티}는 백지에서 에세이를 쓰는 학생이에요.
빈칸 채우기는 답이 정해져 있지만, 에세이 쓰기는 무한한 가능성을 가지고 있어요.
바로 이 "생성" 능력 때문에 {GPT→지피티}가 {ChatGPT→챗지피티}로 발전하면서 세상을 바꿀 수 있었던 거예요.
2018년 {GPT→지피티}-1에서 시작해서, 2023년 {GPT→지피티}-4까지 불과 5년 만에 혁명적인 발전이 이루어졌어요.
이번 강의에서는 이 놀라운 여정을 처음부터 끝까지 따라가 볼 거예요.
먼저 자기회귀 모델의 수학적 원리를 이해하고, 그 다음 각 버전의 혁신을 하나씩 살펴볼게요.
특히 {GPT→지피티}-3의 {in-context learning→인컨텍스트 러닝}과 {RLHF→알엘에이치에프}는 AI 역사의 전환점이에요.
자 그러면, 왜 "다음 단어 예측"이 그렇게 강력한지부터 알아볼까요?
이 단순한 목표가 어떻게 인간 수준의 언어 능력으로 이어지는지, 수학적 기반부터 차근차근 시작해봐요.