GPT와 자기회귀 언어 모델

1 / 17

100%

BERT는 놀라운 이해(understanding) 능력을 보여주었지만, 치명적인 한계가 있었습니다: 텍스트를 생성(generation)할 수 없다 는 것입니다. 왜 BERT는 생성을 못하는가? BERT는 양방향(bidirectional)으로 문맥을 봅니다 "나는 [MASK]에 갔다"에서 왼쪽과 오른쪽을 동시에 참조합니다 그런데 새로운 문장을 생성할 때는 오른쪽 문맥이 아직 존재하지 않습니다 한 단어씩 순차적으로 생성해야 하는데, BERT는 이 구조가 아닙니다 언어 생성이 필요한 이유: 번역: "Hello" \to "안녕하세요"를 한 토큰씩 생성해야 합니다 요약: 긴 문서를 짧은 문장으로 새로 작성해야 합니다 대화: 사용자의 질문에 자연스러운 답변을 만들어야 합니다 창작: 시, 코드, 이야기 등을 처음부터 만들어야 합니다 핵심 질문: "왼쪽에서 오른쪽으로 한 단어씩 생성하면서도 높은 품질을 유지하려면 어떤 모델이 필요한가?" 이 질문의 답이 바로 GPT(Generative Pre-trained Transformer) 입니다. GPT는 BERT보다 먼저 등장했지만(2018년 6월 vs 10월), BERT의 성공 이후 생성 능력의 중요성이 재조명되었습니다.

0:00 / 3:23

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

트랜스포머 시험attention 수식 정리self-attention 원리트랜스포머 과제

비전공/입문자

트랜스포머 쉽게attention 직관트랜스포머란

취준생

트랜스포머 면접attention 구현NLP 엔지니어 준비

직장인

트랜스포머 실무LLM 파인튜닝

대학원생/연구자

attention mechanism 논문efficient transformer 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비