그래디언트 클리핑과 학습률 스케줄

1 / 17

그래디언트 폭발 문제: 왜 학습이 갑자기 터지는가

100%

그래디언트 폭발이란? 역전파(backpropagation) 과정에서 체인룰에 의해 그래디언트가 레이어를 거슬러 올라갑니다. 각 레이어에서 가중치 행렬 W를 곱하게 되는데, 이 행렬의 최대 고유값(λ_max)이 1보다 크면 그래디언트 크기가 기하급수적으로 증가합니다. 왜 RNN에서 특히 심각한가? RNN은 시퀀스 길이 T만큼 동일한 가중치 행렬을 반복 적용합니다. λ_max = 1.5인 행렬을 100번 곱하면 약 4\times10¹⁷으로 폭발합니다. CNN이나 일반 MLP와 달리, RNN의 "깊이"는 입력 시퀀스 길이에 비례하므로 통제가 어렵습니다. 폭발 vs 소실: 동전의 양면 λ_max > 1: 그래디언트 폭발 \to loss가 NaN, 가중치가 inf λ_max < 1: 그래디언트 소실 \to 초기 레이어 학습 불가, loss 정체 λ_max \approx 1: 안정적 학습 (이상적이지만 달성 어려움) 실전에서의 증상 loss가 갑자기 NaN 또는 inf로 점프 가중치 값이 1e+10 이상으로 발산 학습 곡선이 갑자기 수직 상승 후 무한대 gradient norm이 1000 이상으로 급등 해결 접근법 그래디언트 폭발을 방지하는 가장 직접적인 방법이 Gradient Clipping입니다. 그래디언트의 노름이 임계값을 초과하면 크기를 줄여서 안전한 범위로 제한합니다. LSTM/GRU의 게이트 메커니즘도 이 문제를 완화하지만, 클리핑은 아키텍처와 무관하게 적용할 수 있는 범용적 해법입니다.

0:00 / 2:44

이런 분들이 찾고 있어요

이 레슨과 관련된 학습 키워드

CS/AI 전공 대학생

딥러닝 기말고사딥러닝 중간고사인공지능 전공 정리딥러닝 과제신경망 시험 대비

비전공/입문자

딥러닝 쉽게 설명딥러닝이란AI 기초 공부딥러닝 독학딥러닝 입문 추천

취준생

딥러닝 면접 질문AI 엔지니어 준비딥러닝 포트폴리오

직장인

딥러닝 실무 적용AI 업스킬링직장인 딥러닝 강의

대학원생/연구자

딥러닝 최신 동향neural network 서베이

AI 교육 플랫폼

AI 교육 플랫폼 추천AI 강의 사이트머신러닝 온라인 강의딥러닝 강의 추천

AI 독학/로드맵

AI 독학 방법머신러닝 공부 순서딥러닝 로드맵머신러닝 독학 로드맵

AI 취업/커리어

AI 취업 준비데이터 사이언티스트 강의ML 엔지니어 준비AI 면접 준비