코드를 읽고 설명하면, 합격합니다
이 레슨과 관련된 학습 키워드
신경망 기초 — 뉴런에서 학습까지 → 학습 기초
다양한 손실 함수와 각각을 언제 사용해야 하는지, 그리고 이들이 훈련에 미치는 영향을 탐구합니다.
손실 함수(Loss Function)는 모델의 예측값과 실제 정답 사이의 "틀린 정도"를 하나의 숫자로 표현합니다.
왜 필요한가?
손실 vs 비용 vs 목적 함수:
핵심 요구사항 3가지:
1. 미분 가능: 역전파에 필수
2. 예측이 정답에 가까울수록 값이 작아야 함
3. 연속적: 파라미터 변화 → 손실 변화가 매끄러워야
$\theta^* = \arg\min_\theta \frac{1}{N}\sum_{i=1}^{N} L(f_\theta(x_i), y_i)$
비유하면 시험의 감점입니다. 정확도는 높을수록 좋지만, 감점(=손실)은 낮을수록 좋습니다. 경사 하강법의 목표는 이 감점을 최소화하는 것입니다.
손실 함수가 무엇인지부터 시작할게요.
모델 학습의 가장 핵심적인 개념이에요.
그림 왼쪽을 보세요, 초록 점이 정답이고 빨간 점이 예측이에요.
둘 사이의 주황 점선이 바로 오차예요.
손실 함수는 이 오차들을 숫자 하나로 요약하는 함수예요.
왜 숫자 하나여야 할까요?
경사 하강법은 기울기를 계산해서 내려가야 하거든요.
만약 손실이 벡터면, 어느 방향으로 내려가야 할지 모호해져요.
가운데 파이프라인을 보세요.
오차 벡터가 손실 함수를 거쳐 스칼라 하나로 변환돼요.
엘은 일엔 시그마 엘아이라는 공식으로 표현해요.
오른쪽 보라색 박스를 보시면 용어 구분이 있어요.
로스는 샘플 하나의 오차를 뜻해요.
코스트는 전체 데이터의 평균 손실이에요.
오브젝티브는 정규화 항까지 포함한 최종 목표예요.
실제 논문에서는 셋을 혼용하는 경우가 많아요.
하단을 보면 손실 함수를 네 가지로 분류했어요.
회귀용으로는 엠에스이, 엠에이이, 후버가 있어요.
분류용으로는 크로스 엔트로피와 포컬 로스가 대표적이에요.
거리 기반은 임베딩 학습에 쓰이는 컨트라스티브, 트리플렛이 있어요.
정규화 손실은 과적합을 막는 보조 손실이에요.
이번 레슨에서 이 네 범주를 모두 깊이 다뤄볼 거예요.