BERT와 사전학습

1 / 15

100%

사전학습(Pre-training)은 대규모 레이블 없는 데이터 로 모델을 먼저 학습시키는 방법입니다. 언어의 일반적인 패턴을 먼저 배운 뒤, 특정 과제에 맞게 미세 조정합니다. 왜 사전학습이 필요한가? 레이블 데이터는 비싸고 부족합니다 (수천~수만 건) 레이블 없는 텍스트는 인터넷에 무한히 존재합니다 (수십억 문장) 일반적인 언어 지식을 먼저 습득하면 적은 레이블로도 높은 성능을 달성합니다 사전학습의 핵심 아이디어: 1. 자기지도 학습(Self-supervised Learning) : 입력 자체에서 학습 신호를 생성합니다 2. 빈칸 채우기(Cloze Task) : 문장의 일부를 가리고 맞추는 방식으로 문맥 이해력을 학습합니다 3. 전이 학습(Transfer Learning) : 한 과제에서 배운 지식을 다른 과제에 활용합니다 사전학습 이전 vs 이후: 이전: 과제마다 처음부터 모델을 학습 \to 데이터 부족, 낮은 성능 이후: 사전학습 모델을 파인튜닝 \to 적은 데이터로 높은 성능 비유: 대학에서 기초교양을 먼저 배우고(사전학습), 전공을 깊이 공부하는 것(파인튜닝)과 같습니다.

0:00 / 3:08

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

트랜스포머 시험attention 수식 정리self-attention 원리트랜스포머 과제

비전공/입문자

트랜스포머 쉽게attention 직관트랜스포머란

취준생

트랜스포머 면접attention 구현NLP 엔지니어 준비

직장인

트랜스포머 실무LLM 파인튜닝

대학원생/연구자

attention mechanism 논문efficient transformer 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비